Перейти к содержимому

Реферальная программа Мегаплана

Выбрать шаблон и создать сайт

Как закрыть теги от индексации в поисковых системах

#1 bigbaaaan

bigbaaaan
  • Пользователь
  • 73 сообщений
  • Репутация: 1
0

Отправлено 24 Декабрь 2013 - 14:30

Здравствуйте уважаемые друзья. Я новичок в сайтостроении. Недавно запустил свой первый блог. Ведет его моя жена, а я занимаюсь продвижением (вернее пытаюсь заниматься продвижением). Вот адрес самого блога: simonca.ru

Немного предыстории. Учился создавать сайты самостоятельно, также проходил обучение в бесплатной школе Start-up. Что можно сказать об этой школе!? Полный отстой. Называется она бесплатной, но бесплатны только первые 4 занятия, где объясняют простую банальщину, типа как зарегистрироваться на хостинге, как завести странички в соц. сетях и т.д. Остальные занятия все платные, хотя они обещали, что мы научимся создавать сайты за 21 день. Ну в общем не об этом сейчас.

Так вот, запустил я свой блог, установил файл robots.txt, который дала школа. После того, как я зарегистрировал блог в гугле, в поиске появилось много страниц с тегами. То есть страницы повторялись, например в поиске находится тег Зубы (сама статья называется 10 правил для белоснежной улыбки), а в поиске появился тег этой статьи. То есть адрес ссылки такой simonca.ru/tag/Зубы. Немного поискал в инете, оказывается в файле robots.txt не были закрыты от индексации теги. Теперь такая ситуация в основной выдачи 13 страниц, а в supplemental выдаче 53 страницы. Скажите, пожалуйста, можно ли как-то исправить ситуацию? Или проще новый блог запустить. Насколько я знаю, когда много страниц в supplemental это плохо для сайта. То есть гугл теряет доверие к таким сайтам. Помогите, пожалуйста, подскажите кто-что знает по этому поводу. Кстати забыл сказать, что блог работает на Вордпресс.

 

 

  • 0

#2 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 24 Декабрь 2013 - 14:43

Закрыть технические страницы через мета тег robots, либо уникализировать их, чтобы они были полезны для поиска
  • 0

#3 bigbaaaan

bigbaaaan
    Topic Starter
  • Пользователь
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 15:03

Спасибо большое что так быстро ответили. Скажите, пожалуйста, а как это сделать? Я закрыл индексацию тегов таким образом: Disallow: /tag в robots. Правильно?
  • 0

#4 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 24 Декабрь 2013 - 15:12

По сути правильно, но Google давно забил на robots.txt, так что, чтобы исключить страницы из индекса надо их закрыть через мета тег роботс. Я к сожалению не силён в пабличных движках, ибо ими не пользуюсь, возможно для WP есть плагин по добавлению мета тега robots
  • 0

#5 BLIK

BLIK
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 24 Декабрь 2013 - 15:14

Закрывайте не нужное все. Всю техническую часть. Настраивайте произвольные ссылки. Пример закрытия робот.тхт
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

Это закрытие для вордпресс.
  • 0


#6 bigbaaaan

bigbaaaan
    Topic Starter
  • Пользователь
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 15:24

Большое спасибо!
  • 0

#7 BLIK

BLIK
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 24 Декабрь 2013 - 15:27

Пожалуйста. Я вам дал пример. На основании чего составьте свой файлик. И после составления проверьте его в яндекс вебмастере. Все ли закрыли, что хотели и есть ли доступ к чему нужно. :)
  • 0


#8 bigbaaaan

bigbaaaan
    Topic Starter
  • Пользователь
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 16:42

Дело в том, что Яндекс пока не подтвердил "Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом". А вот с гуглом возникли такие проблемы в так называемых соплях у меня 53 страницы и всего 13 в общей выдачи. Кстати файл robots.txt я проверял в яндексе, он показал что все в порядке. А когда добавил сайт в гугл, в выдаче появились теги, вместе со статьями. Сейчас установил плагин Robots Meta, попробую в нем разобраться. Я просто новичок и это мой первый блог. Ну как говорится первый блин комом.
А у вас есть свои проекты?
  • 0

#9 BLIK

BLIK
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 24 Декабрь 2013 - 16:48

Какая разница проиндексировал яндекс сайт или нет. Робот.тхт можно проверить тут http://webmaster.yandex.ru/robots.xml без всяких проблем. Там Список URL вставьте проверьте,закрыли не нужное или нет. И разрешен ли доступ к нужным страницам. И последние не советую сайт грузить плагинами, если можно обойтись без них.
  • 0


#10 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 24 Декабрь 2013 - 17:04

BLIK, а как на счёт того, что GoogleBot игнорирует robots.txt? И из "соплей" страницы исключить robots'ом не удастся?
  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru