Перейти к содержимому



Как закрыть теги от индексации в поисковых системах

#1

Поделиться сообщением #1



bigbaaaan

bigbaaaan
  • Неактивные
  • 73 сообщений
  • Репутация: 1
0

Отправлено 24 Декабрь 2013 - 14:30

Здравствуйте уважаемые друзья. Я новичок в сайтостроении. Недавно запустил свой первый блог. Ведет его моя жена, а я занимаюсь продвижением (вернее пытаюсь заниматься продвижением). Вот адрес самого блога: simonca.ru

Немного предыстории. Учился создавать сайты самостоятельно, также проходил обучение в бесплатной школе Start-up. Что можно сказать об этой школе!? Полный отстой. Называется она бесплатной, но бесплатны только первые 4 занятия, где объясняют простую банальщину, типа как зарегистрироваться на хостинге, как завести странички в соц. сетях и т.д. Остальные занятия все платные, хотя они обещали, что мы научимся создавать сайты за 21 день. Ну в общем не об этом сейчас.

Так вот, запустил я свой блог, установил файл robots.txt, который дала школа. После того, как я зарегистрировал блог в гугле, в поиске появилось много страниц с тегами. То есть страницы повторялись, например в поиске находится тег Зубы (сама статья называется 10 правил для белоснежной улыбки), а в поиске появился тег этой статьи. То есть адрес ссылки такой simonca.ru/tag/Зубы. Немного поискал в инете, оказывается в файле robots.txt не были закрыты от индексации теги. Теперь такая ситуация в основной выдачи 13 страниц, а в supplemental выдаче 53 страницы. Скажите, пожалуйста, можно ли как-то исправить ситуацию? Или проще новый блог запустить. Насколько я знаю, когда много страниц в supplemental это плохо для сайта. То есть гугл теряет доверие к таким сайтам. Помогите, пожалуйста, подскажите кто-что знает по этому поводу. Кстати забыл сказать, что блог работает на Вордпресс.

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Как закрыть от индексации конкретную страницу
  2. Почему сайт не индексируется поисковыми системами
  3. Запрет на индексацию страниц сайта и отдельных частей контента
  4. Индексация ссылок на ответах маил
  5. Почему индексируются закрытые страницы

#2

Поделиться сообщением #2



Ixman

Ixman
  • Пользователь PRO
  • 2 582 сообщений
  • Репутация: 616

Отправлено 24 Декабрь 2013 - 14:43

Закрыть технические страницы через мета тег robots, либо уникализировать их, чтобы они были полезны для поиска
  • 0


#3

Поделиться сообщением #3



bigbaaaan

bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 15:03

Спасибо большое что так быстро ответили. Скажите, пожалуйста, а как это сделать? Я закрыл индексацию тегов таким образом: Disallow: /tag в robots. Правильно?
  • 0

#4

Поделиться сообщением #4



Ixman

Ixman
  • Пользователь PRO
  • 2 582 сообщений
  • Репутация: 616

Отправлено 24 Декабрь 2013 - 15:12

По сути правильно, но Google давно забил на robots.txt, так что, чтобы исключить страницы из индекса надо их закрыть через мета тег роботс. Я к сожалению не силён в пабличных движках, ибо ими не пользуюсь, возможно для WP есть плагин по добавлению мета тега robots
  • 0


#5

Поделиться сообщением #5



BLIK

BLIK
  • Супермодератор
  • 3 649 сообщений
  • Репутация: 784

Отправлено 24 Декабрь 2013 - 15:14

Закрывайте не нужное все. Всю техническую часть. Настраивайте произвольные ссылки. Пример закрытия робот.тхт
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

Это закрытие для вордпресс.
  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



#6

Поделиться сообщением #6



bigbaaaan

bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 15:24

Большое спасибо!
  • 0

#7

Поделиться сообщением #7



BLIK

BLIK
  • Супермодератор
  • 3 649 сообщений
  • Репутация: 784

Отправлено 24 Декабрь 2013 - 15:27

Пожалуйста. Я вам дал пример. На основании чего составьте свой файлик. И после составления проверьте его в яндекс вебмастере. Все ли закрыли, что хотели и есть ли доступ к чему нужно. :)
  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



#8

Поделиться сообщением #8



bigbaaaan

bigbaaaan
    Topic Starter
  • Неактивные
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 16:42

Дело в том, что Яндекс пока не подтвердил "Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом". А вот с гуглом возникли такие проблемы в так называемых соплях у меня 53 страницы и всего 13 в общей выдачи. Кстати файл robots.txt я проверял в яндексе, он показал что все в порядке. А когда добавил сайт в гугл, в выдаче появились теги, вместе со статьями. Сейчас установил плагин Robots Meta, попробую в нем разобраться. Я просто новичок и это мой первый блог. Ну как говорится первый блин комом.
А у вас есть свои проекты?
  • 0

#9

Поделиться сообщением #9



BLIK

BLIK
  • Супермодератор
  • 3 649 сообщений
  • Репутация: 784

Отправлено 24 Декабрь 2013 - 16:48

Какая разница проиндексировал яндекс сайт или нет. Робот.тхт можно проверить тут http://webmaster.yandex.ru/robots.xml без всяких проблем. Там Список URL вставьте проверьте,закрыли не нужное или нет. И разрешен ли доступ к нужным страницам. И последние не советую сайт грузить плагинами, если можно обойтись без них.
  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



#10

Поделиться сообщением #10



Ixman

Ixman
  • Пользователь PRO
  • 2 582 сообщений
  • Репутация: 616

Отправлено 24 Декабрь 2013 - 17:04

BLIK, а как на счёт того, что GoogleBot игнорирует robots.txt? И из "соплей" страницы исключить robots'ом не удастся?
  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru