[X] Помощник

[fedornabilkin Topic Starter]

Для русскоязычного интернета более актуально изучить индексацию поисковой системой Яндекс, поэтому статья будет в основном ориентирована на этот поисковик. Самой главной ошибкой начинающих вебмастеров является непонимание истинного значения. Многие рекомендуют для ускорения индексации сайта выполнять прогоны по каталогам, базам трастовых сайтов и т.д., но все это необходимо применять при наращивании ссылочной массы. А вот что бы ускорить индексацию страниц…

Что мы понимаем под ускорением индексации страниц сайта?
Ускорение индексации страниц (далее УИС) – это комплекс мероприятий, ориентированный на уменьшение временного отрезка с момента создания страницы, до момента появления ее в поисковой выдаче.
Целью УИС является не только появление новой страницы в поисковой выдаче, но и постоянное наличие ее в ней, а также переиндексация старых страниц, которые были изменены, что в последующем способствует получению поискового трафика на сайт.
Поэтому, используя метод «от противного»(лат. Contradictio in contrarium), следует выяснить, что в любом случае не будет проиндексировано, т.е. запрещено к индексации, либо будет проиндексировано с последующим удалением (исключением) из индекса или получением низкого ранжирования страницы сайта. Так можно рационально распределить временной ресурс с уверенностью, что страницы не будут запрещены к индексации или ранжированы недостаточно высоко, с возможным последующим исключением из индекса. Ведь УИС в данном случае будет ничтожным по отношению ко всему сайту.
Ссылаясь на первоисточник, необходимо учитывать, что цель УИС не будет достигнута, если страница:
[indent=1]1. весит более 10Мб;[/indent]
[indent=1]2. содержит ошибки технического характера (код ответа сервера 404 и т.д.);[/indent]
[indent=1]3. имеет содержимое, которое невозможно корректно проиндексировать (не корректный формат документа, ошибки в коде документа);[/indent]
[indent=1]4. не будет доступна (если в момент обращения поискового робота на сервере будут сбои, то робот прекратит индексирование).[/indent]
А также стоит обратить внимание на дополнительные советы вебмастеру, для достижения заявленной цели.
Что бы разобраться в вопросе индексации страниц, есть смысл ответить на ряд дополнительных вопросов.

Кто индексирует страницы сайта?
У ПС Яндекс есть несколько видов роботов, которые обеспечивают добавление новых материалов (страниц) в поисковую выдачу. Помимо основного индексирующего робота, есть роботы, индексирующие только картинки, видео, пиктограммы, быстрый робот, называемый в народе «быстробот» и другие роботы.

Как робот индексирует страницы?
Обращаясь к сайту, робот в первую очередь запрашивает файл robots.txt, в котором описаны правила индексирования сайта (с помощью данного файла можно управлять поисковым роботом). Далее робот начинает загружать материалы (страницы) сайта, согласно его базе URL этого сайта. Если в полученных страницах присутствуют ссылки на другие страницы, то база URL пополняется. Следует отметить, что робот ограничен в количественных и временных рамках, он формирует определенный пул страниц, которые подлежат дальнейшему анализу.
В связи с этим имеет смысл «скормить» роботу исключительно полезные страницы. Так как из сформированного пула в 100 страниц (к примеру), в нем могут присутствовать служебные страницы (регистрация нового пользователя, авторизация, восстановление доступа к аккаунту и др.), которые вряд несут какую-то полезную информацию и будут либо исключены из индекса, либо ранжированы не так высоко – цель УИС не будет достигнута. В этот пул также могут попасть страницы-заглушки, которые отображаются вместо несуществующих страниц с кодом ответа 200(ОК). Необходимо следить, чтобы такие страницы отдавали код ответа 400(Страница не найдена), даже, если на ней размещен какой-либо материал для пользователей сайта.
Следовательно, для «полезных» страниц не хватит места и они будут индексироваться в следующий раз – время появления страницы в поиске увеличится.

Как помочь роботу «забрать» необходимые страницы для индексации?
Выше было сказано, что с помощью файла robots.txt есть возможность управлять поисковым роботом. Возвращаемся к методу «от противного» и используем необходимые директивы в данном файле, что бы запретить индексацию служебных страниц сайта(регистрация пользователей, авторизация и т.д.).
Также необходимо использовать файл Sitemap, что бы предоставить роботу возможность получить дополнительную информацию о страницах сайта. Какие страницы необходимо индексировать, изменяется ли на этих страницах информация и как часто это происходит.
ПС Яндекс еще рекомендует создавать специальную страницу – карту сайта, на которой размещены ссылки на все документы сайта.

Вывод:
Согласно заявленной цели и учитывая рекомендации Яндекса, можно смело утверждать, что набор стандартных рекомендаций(прогон по каталогам, прогон по соцзакладкам, прогон по профилям форумов, массовое комментирование по блогам,), встречающихся в блогах вебмастеров не всегда является корректным. Так как достаточно всего лишь сказать роботу, что появился новый сайт и он готов к индексации.
Например, через панель вебмастера в Яндексе или разместить две-три ссылки на индексируемых сайтах иначе это может расцениваться как применение обманных техник, что повлечет за собой понижение позиций или исключение из индекса.

При поддержке: Seohammer - ссылочный агрегатор нового поколения. Обсудить на форуме.

[img]http://www.masterwebs.ru/sp/seohammer.gif[/img]

[Artemcher96]

Статья очень ценная,яшка вообще хреново индексирует мой блог=), а гоша красава, страницы сразу после публикации в индексе

[PipetZ]

Пока не воспользовался top-inspektor-ом яндекс вообще не индексировал мой сайт

[html-ka]

я бы еще добавил 2 момента в эту статью, это sitemap на небольших сайтах пользы особой нет от него, а на большом количестве страниц нужен и еще главное правильно настроенный Last-Modified

[brig_mw]

А как же другие способы? Например, размещение ссылок на новые страницы в соц. сетях, соц. платформах и т.п. Это может в разы ускорить индексацию.

[alb12]

Обычно для ускорения индексации пользуюсь Twitter. В Яндексе страницы появляются минут через 10. Однако сложно сохранять такой аккаунт не заспамленным (тогда Яндекс его не посещает). Другие способы под сомнением, включая соцзакладки и аддурилку.

[Beggarm]

Тоже вгоняю новые статьи твиттером. Есть три акка, два из них достаточно старенькие, одному 6 месяцев (300 фолловеров), другому 2.5 года (2000 фолловеров), прогоняю по ним новые посты, в индекс Яндекса залетают минут за 5-7 и из индекса не выпадают.

[html-ka]

из социалок думаю твиттер, робот с него не выходит )

[narolskay_mw]

Для моих статей вполне хватает пингование.

[fedornabilkin Topic Starter]

Например, размещение ссылок на новые страницы в соц. сетях, соц. платформах и т.п. Это может в разы ускорить индексацию.

Обычно для ускорения индексации пользуюсь Twitter

Следует правильно понимать, что подразумевается под ускорением индексации страниц.
Вполне согласен, что имеет смысл разместить ссылку на ресурс на каком-нибудь проекте, где бот Яндекса "живет". Но, так как бот работает в автоматическом режиме, то явно из-за увеличения количества внешних ссылок очередность обработки страниц не изменится.

Если поисковый бот посетил сайт вчера, занес его в свой список очередности, прогрузил доступные страницы, то вряд ли он станет делать тоже самое, если завтра он попадет на этот же сайт по другой ссылке. Представьте, если он в течении недели найдет 50-100 ссылок на один и тот же сайт? Минимум будет не рационально проделывать одну и ту же операцию над сайтом несколько раз.
Это мое личное мнение, возможно ошибаюсь.

Кстати. В целях небольшого эксперимента после создания сайта, я не делал sitemap.xml
Яндекс с марта к настоящему времени проиндексировал 17 страниц, которые между собой на сайте никак не связаны. Они были найдены по внешним ссылкам в соцсетях и прочих подобных ресурсах.
Вчера добавил sitemap.xml, Уведомил гугл, но Яндексу об этом не сказал. Название файла стандартное и он прописан в роботсе. Посмотрим как яшка его обработает и добавит ли в индекс остальные страницы.
Люблю эксперименты

а гоша красава, страницы сразу после публикации в индексе

Вопрос в какую выдачу он их добавляет, возможно в "сопли"

главное правильно настроенный Last-Modified

С этим очень согласен. У Яндекса в рекомендациях об этом явно сказано. Пока никак не соберусь реализовать отдачу правильных заголовков Last-Modified, но думаю в скором времени и это попробовать.