[X] Помощник

[bigbaaaan Topic Starter]

Здравствуйте уважаемые друзья. Я новичок в сайтостроении. Недавно запустил свой первый блог. Ведет его моя жена, а я занимаюсь продвижением (вернее пытаюсь заниматься продвижением). Вот адрес самого блога: simonca.ru

Немного предыстории. Учился создавать сайты самостоятельно, также проходил обучение в бесплатной школе Start-up. Что можно сказать об этой школе!? Полный отстой. Называется она бесплатной, но бесплатны только первые 4 занятия, где объясняют простую банальщину, типа как зарегистрироваться на хостинге, как завести странички в соц. сетях и т.д. Остальные занятия все платные, хотя они обещали, что мы научимся создавать сайты за 21 день. Ну в общем не об этом сейчас.

Так вот, запустил я свой блог, установил файл robots.txt, который дала школа. После того, как я зарегистрировал блог в гугле, в поиске появилось много страниц с тегами. То есть страницы повторялись, например в поиске находится тег Зубы (сама статья называется 10 правил для белоснежной улыбки), а в поиске появился тег этой статьи. То есть адрес ссылки такой simonca.ru/tag/Зубы. Немного поискал в инете, оказывается в файле robots.txt не были закрыты от индексации теги. Теперь такая ситуация в основной выдачи 13 страниц, а в supplemental выдаче 53 страницы. Скажите, пожалуйста, можно ли как-то исправить ситуацию? Или проще новый блог запустить. Насколько я знаю, когда много страниц в supplemental это плохо для сайта. То есть гугл теряет доверие к таким сайтам. Помогите, пожалуйста, подскажите кто-что знает по этому поводу. Кстати забыл сказать, что блог работает на Вордпресс.

[ixman]

Закрыть технические страницы через мета тег robots, либо уникализировать их, чтобы они были полезны для поиска

[bigbaaaan Topic Starter]

Спасибо большое что так быстро ответили. Скажите, пожалуйста, а как это сделать? Я закрыл индексацию тегов таким образом: Disallow: /tag в robots. Правильно?

[ixman]

По сути правильно, но Google давно забил на robots.txt, так что, чтобы исключить страницы из индекса надо их закрыть через мета тег роботс. Я к сожалению не силён в пабличных движках, ибо ими не пользуюсь, возможно для WP есть плагин по добавлению мета тега robots

[BLIK]

Закрывайте не нужное все. Всю техническую часть. Настраивайте произвольные ссылки. Пример закрытия робот.тхт
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

Это закрытие для вордпресс.

[bigbaaaan Topic Starter]

Большое спасибо!

[BLIK]

Пожалуйста. Я вам дал пример. На основании чего составьте свой файлик. И после составления проверьте его в яндекс вебмастере. Все ли закрыли, что хотели и есть ли доступ к чему нужно.

[bigbaaaan Topic Starter]

Дело в том, что Яндекс пока не подтвердил "Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом". А вот с гуглом возникли такие проблемы в так называемых соплях у меня 53 страницы и всего 13 в общей выдачи. Кстати файл robots.txt я проверял в яндексе, он показал что все в порядке. А когда добавил сайт в гугл, в выдаче появились теги, вместе со статьями. Сейчас установил плагин Robots Meta, попробую в нем разобраться. Я просто новичок и это мой первый блог. Ну как говорится первый блин комом.
А у вас есть свои проекты?

[BLIK]

Какая разница проиндексировал яндекс сайт или нет. Робот.тхт можно проверить тут http://webmaster.yandex.ru/robots.xml без всяких проблем. Там Список URL вставьте проверьте,закрыли не нужное или нет. И разрешен ли доступ к нужным страницам. И последние не советую сайт грузить плагинами, если можно обойтись без них.

[ixman]

[member=BLIK], а как на счёт того, что GoogleBot игнорирует robots.txt? И из "соплей" страницы исключить robots'ом не удастся?