Перейти к содержимому



Как закрыть теги от индексации в поисковых системах

#1 bigbaaaan
bigbaaaan
  • Неактивные
  • 73 сообщений
  • Репутация: 1
0

Отправлено 24 Декабрь 2013 - 14:30

Здравствуйте уважаемые друзья. Я новичок в сайтостроении. Недавно запустил свой первый блог. Ведет его моя жена, а я занимаюсь продвижением (вернее пытаюсь заниматься продвижением). Вот адрес самого блога: simonca.ru

Немного предыстории. Учился создавать сайты самостоятельно, также проходил обучение в бесплатной школе Start-up. Что можно сказать об этой школе!? Полный отстой. Называется она бесплатной, но бесплатны только первые 4 занятия, где объясняют простую банальщину, типа как зарегистрироваться на хостинге, как завести странички в соц. сетях и т.д. Остальные занятия все платные, хотя они обещали, что мы научимся создавать сайты за 21 день. Ну в общем не об этом сейчас.

Так вот, запустил я свой блог, установил файл robots.txt, который дала школа. После того, как я зарегистрировал блог в гугле, в поиске появилось много страниц с тегами. То есть страницы повторялись, например в поиске находится тег Зубы (сама статья называется 10 правил для белоснежной улыбки), а в поиске появился тег этой статьи. То есть адрес ссылки такой simonca.ru/tag/Зубы. Немного поискал в инете, оказывается в файле robots.txt не были закрыты от индексации теги. Теперь такая ситуация в основной выдачи 13 страниц, а в supplemental выдаче 53 страницы. Скажите, пожалуйста, можно ли как-то исправить ситуацию? Или проще новый блог запустить. Насколько я знаю, когда много страниц в supplemental это плохо для сайта. То есть гугл теряет доверие к таким сайтам. Помогите, пожалуйста, подскажите кто-что знает по этому поводу. Кстати забыл сказать, что блог работает на Вордпресс.

 

 

  • 0

#2 Ixman
Ixman
  • Пользователь PRO
  • 3 171 сообщений
  • Репутация: 844

Отправлено 24 Декабрь 2013 - 14:43

Закрыть технические страницы через мета тег robots, либо уникализировать их, чтобы они были полезны для поиска
  • 0


#3 bigbaaaan
bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 15:03

Спасибо большое что так быстро ответили. Скажите, пожалуйста, а как это сделать? Я закрыл индексацию тегов таким образом: Disallow: /tag в robots. Правильно?
  • 0

#4 Ixman
Ixman
  • Пользователь PRO
  • 3 171 сообщений
  • Репутация: 844

Отправлено 24 Декабрь 2013 - 15:12

По сути правильно, но Google давно забил на robots.txt, так что, чтобы исключить страницы из индекса надо их закрыть через мета тег роботс. Я к сожалению не силён в пабличных движках, ибо ими не пользуюсь, возможно для WP есть плагин по добавлению мета тега robots
  • 0


#5 BLIK
BLIK
  • Супермодератор
  • 4 576 сообщений
  • Репутация: 1049

Отправлено 24 Декабрь 2013 - 15:14

Закрывайте не нужное все. Всю техническую часть. Настраивайте произвольные ссылки. Пример закрытия робот.тхт
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

Это закрытие для вордпресс.
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#6 bigbaaaan
bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 15:24

Большое спасибо!
  • 0

#7 BLIK
BLIK
  • Супермодератор
  • 4 576 сообщений
  • Репутация: 1049

Отправлено 24 Декабрь 2013 - 15:27

Пожалуйста. Я вам дал пример. На основании чего составьте свой файлик. И после составления проверьте его в яндекс вебмастере. Все ли закрыли, что хотели и есть ли доступ к чему нужно. :)
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#8 bigbaaaan
bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 16:42

Дело в том, что Яндекс пока не подтвердил "Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом". А вот с гуглом возникли такие проблемы в так называемых соплях у меня 53 страницы и всего 13 в общей выдачи. Кстати файл robots.txt я проверял в яндексе, он показал что все в порядке. А когда добавил сайт в гугл, в выдаче появились теги, вместе со статьями. Сейчас установил плагин Robots Meta, попробую в нем разобраться. Я просто новичок и это мой первый блог. Ну как говорится первый блин комом.
А у вас есть свои проекты?
  • 0

#9 BLIK
BLIK
  • Супермодератор
  • 4 576 сообщений
  • Репутация: 1049

Отправлено 24 Декабрь 2013 - 16:48

Какая разница проиндексировал яндекс сайт или нет. Робот.тхт можно проверить тут http://webmaster.yandex.ru/robots.xml без всяких проблем. Там Список URL вставьте проверьте,закрыли не нужное или нет. И разрешен ли доступ к нужным страницам. И последние не советую сайт грузить плагинами, если можно обойтись без них.
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#10 Ixman
Ixman
  • Пользователь PRO
  • 3 171 сообщений
  • Репутация: 844

Отправлено 24 Декабрь 2013 - 17:04

BLIK, а как на счёт того, что GoogleBot игнорирует robots.txt? И из "соплей" страницы исключить robots'ом не удастся?
  • 0


#11 BLIK
BLIK
  • Супермодератор
  • 4 576 сообщений
  • Репутация: 1049

Отправлено 24 Декабрь 2013 - 17:21

BLIK, а как на счёт того, что GoogleBot игнорирует robots.txt? И из "соплей" страницы исключить robots'ом не удастся?

Если робот.тхт правильно составлен. И посмотреть, что в гугле в выдаче, то сопли то появляются с пометкой документ запрещен в робот.тхт. Да и потом все сопли можно зайти в тот же гугл вебмастер и удалить "сопливые URL". Да и гугл сопли в выдачу не ставит. Сопли видны только при проверке сайта. Которые, как я сказал, с пометкой документ запрещен в робот.тхт.
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#12 Ixman
Ixman
  • Пользователь PRO
  • 3 171 сообщений
  • Репутация: 844

Отправлено 24 Декабрь 2013 - 17:23

Ну их вообще можно избежать мета тегом, лично исключал так страницы
  • 0


#13 bigbaaaan
bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:26

Какая разница проиндексировал яндекс сайт или нет. Робот.тхт можно проверить тут http://webmaster.yandex.ru/robots.xml без всяких проблем. Там Список URL вставьте проверьте,закрыли не нужное или нет. И разрешен ли доступ к нужным страницам. И последние не советую сайт грузить плагинами, если можно обойтись без них.

Вот что выдал яндекс после проверки robots. txt
Строка
16-30 User-agent: Yandex
Disallow: /cgi-bin
...
Host: simonca.ru


32-33 Sitemap: http://simonca.ru/sitemap.xml.gz
Sitemap: http://simonca.ru/sitemap.xml

Что это значит? Все нормально?
  • 0

#14 BLIK
BLIK
  • Супермодератор
  • 4 576 сообщений
  • Репутация: 1049

Отправлено 24 Декабрь 2013 - 17:32

Ну их вообще можно избежать мета тегом, лично исключал так страницы

Гугл спецэффический. Самое оптимальное, ну и закрыть мета тегом и так в робот.тхт закрыть. Ну и наверняка чтоб избавиться от соплей, зайти в вебмастер и удалить URL соплей(если есть) Вот и все. :)

Вот что выдал яндекс после проверки robots. txt
Строка
16-30 User-agent: Yandex
Disallow: /cgi-bin
...
Host: simonca.ru


32-33 Sitemap: http://simonca.ru/sitemap.xml.gz
Sitemap: http://simonca.ru/sitemap.xml

Что это значит? Все нормально?


Вот вам пример, что яндекс выдает при проверке ссылки. Я просто взял в пример этот форум. Вбил ссылку на страницу с него же и он показал,что ссылка такого плана запрещена правилом. Вот как проверяют. Проверяйте URL доступ к ним.

Прикрепленные изображения

  • пример.png

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#15 bigbaaaan
bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:34

Если робот.тхт правильно составлен. И посмотреть что в гугле в выдачи, то сопли то появляются с пометкой документ запрещен в робот.тхт Да и потом все сопли можно зайти в тот же гугл вебмастер и удалить "сопливые URL". Да и гугл сопли в выдачу не ставит. Сопли видны только при проверки сайта. Которые как я сказал с пометкой документ запрещен в робот.тхт.

Кстати, я действительно заметил, что ссылки в соплях прыгают. Проверил сайт, показал, что в соплях 49 ссылок, через минут 10 проверяю уже 53 стоят, еще через 5 минут 47 показывает. Ничего не понятно.
  • 0

#16 Ixman
Ixman
  • Пользователь PRO
  • 3 171 сообщений
  • Репутация: 844

Отправлено 24 Декабрь 2013 - 17:35

BLIK, в справках Google указано, если страница закрыта через robots.txt, то они не гарантируют, что GoogleBot найдёт на странице мета тег
  • 0


#17 bigbaaaan
bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:35

Вот что я еще не могу понять. В гугле сайт индексируется, когда ввожу адрес сайта выдает ссылки на сайт, а вот на liveinternet.ru в категории позиции гугла написано нет данных.
  • 0

#18 BLIK
BLIK
  • Супермодератор
  • 4 576 сообщений
  • Репутация: 1049

Отправлено 24 Декабрь 2013 - 17:38

Для начала составьте файл основной, закройте админ часть и технические разделы(гугл их даже в сопли не кидает) а потом уже редактируйте то, что не будет устраивать.

BLIK, в справках Google указано, если страница закрыта через robots.txt, то они не гарантируют, что GoogleBot найдёт на странице мета тег

Ну я и говорю гугл не яндекс. Мне если и нужно было избавиться, я прописывал и робот.тхт и ставил в гугле URL на удаление и все.
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#19 bigbaaaan
bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:46

А вы случайно не знаете как посмотреть ссылки которые попали в "сопли"?
  • 0

#20 Ixman
Ixman
  • Пользователь PRO
  • 3 171 сообщений
  • Репутация: 844

Отправлено 24 Декабрь 2013 - 17:48

https://www.google.r...-8&oe=UTF-8

domain.ru замените на свой адрес
  • 0


robot
robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
BLIK BLIK 1-й за Ноябрь
Очков активности: 672 0 тем, 32 сообщения, 14 баллов репутации
ТОП самых активных за этот месяц
  • Фотография BLIK
    #1

    BLIK
    Очков активности: 63 Вне конкурса за определение пользователя месяца

  • Фотография Vmir
    #2

    Vmir
    Очков активности: 48 1 тема, 13 сообщений, 2 балла репутации

  • Фотография Victim
    #3

    Victim
    Очков активности: 31.5 0 тем, 7 сообщений, 3 балла репутации

  • Фотография FIvYUr
    #4

    FIvYUr (moy-evroopt.ru)
    Очков активности: 15 0 тем, 10 сообщений, 1 балл репутации

  • Фотография kolver
    #5

    kolver
    Очков активности: 15 1 тема, 7 сообщений, 1 балл репутации

  • Фотография Rodiola
    #6

    Rodiola (rukodelkovo.ru)
    Очков активности: 15 Вне конкурса за определение пользователя месяца

  • Фотография akmid81
    #7

    akmid81 (biznessystem.ru)
    Очков активности: 13.5 1 тема, 6 сообщений, 1 балл репутации

  • Фотография NataliaAntalia
    #8

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 10.5 Вне конкурса за определение пользователя месяца

  • Фотография MattCutts
    #9

    MattCutts (dmitrylee.ru)
    Очков активности: 10.5 Вне конкурса за определение пользователя месяца

  • Фотография morvad24
    #10

    morvad24
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 29.11.2019
  • Яндекс выдача: 11.12.2019
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru