Перейти к содержимому

Реферальная программа Мегаплана


Как ускорить индексацию страниц сайта?

#1 fedornabilkin

fedornabilkin
  • Пользователь
  • 696 сообщений
  • Репутация: 91
1

Отправлено 13 Сентябрь 2013 - 13:48

Для русскоязычного интернета более актуально изучить индексацию поисковой системой Яндекс, поэтому статья будет в основном ориентирована на этот поисковик. Самой главной ошибкой начинающих вебмастеров является непонимание истинного значения. Многие рекомендуют для ускорения индексации сайта выполнять прогоны по каталогам, базам трастовых сайтов и т.д., но все это необходимо применять при наращивании ссылочной массы. А вот что бы ускорить индексацию страниц…

Что мы понимаем под ускорением индексации страниц сайта?
Ускорение индексации страниц (далее УИС) – это комплекс мероприятий, ориентированный на уменьшение временного отрезка с момента создания страницы, до момента появления ее в поисковой выдаче.
Целью УИС является не только появление новой страницы в поисковой выдаче, но и постоянное наличие ее в ней, а также переиндексация старых страниц, которые были изменены, что в последующем способствует получению поискового трафика на сайт.
Поэтому, используя метод «от противного»(лат. Contradictio in contrarium), следует выяснить, что в любом случае не будет проиндексировано, т.е. запрещено к индексации, либо будет проиндексировано с последующим удалением (исключением) из индекса или получением низкого ранжирования страницы сайта. Так можно рационально распределить временной ресурс с уверенностью, что страницы не будут запрещены к индексации или ранжированы недостаточно высоко, с возможным последующим исключением из индекса. Ведь УИС в данном случае будет ничтожным по отношению ко всему сайту.
Ссылаясь на первоисточник, необходимо учитывать, что цель УИС не будет достигнута, если страница:

1. весит более 10Мб;

2. содержит ошибки технического характера (код ответа сервера 404 и т.д.);

3. имеет содержимое, которое невозможно корректно проиндексировать (не корректный формат документа, ошибки в коде документа);

4. не будет доступна (если в момент обращения поискового робота на сервере будут сбои, то робот прекратит индексирование).

А также стоит обратить внимание на дополнительные советы вебмастеру, для достижения заявленной цели.
Что бы разобраться в вопросе индексации страниц, есть смысл ответить на ряд дополнительных вопросов.

Кто индексирует страницы сайта?
У ПС Яндекс есть несколько видов роботов, которые обеспечивают добавление новых материалов (страниц) в поисковую выдачу. Помимо основного индексирующего робота, есть роботы, индексирующие только картинки, видео, пиктограммы, быстрый робот, называемый в народе «быстробот» и другие роботы.

Как робот индексирует страницы?
Обращаясь к сайту, робот в первую очередь запрашивает файл robots.txt, в котором описаны правила индексирования сайта (с помощью данного файла можно управлять поисковым роботом). Далее робот начинает загружать материалы (страницы) сайта, согласно его базе URL этого сайта. Если в полученных страницах присутствуют ссылки на другие страницы, то база URL пополняется. Следует отметить, что робот ограничен в количественных и временных рамках, он формирует определенный пул страниц, которые подлежат дальнейшему анализу.
В связи с этим имеет смысл «скормить» роботу исключительно полезные страницы. Так как из сформированного пула в 100 страниц (к примеру), в нем могут присутствовать служебные страницы (регистрация нового пользователя, авторизация, восстановление доступа к аккаунту и др.), которые вряд несут какую-то полезную информацию и будут либо исключены из индекса, либо ранжированы не так высоко – цель УИС не будет достигнута. В этот пул также могут попасть страницы-заглушки, которые отображаются вместо несуществующих страниц с кодом ответа 200(ОК). Необходимо следить, чтобы такие страницы отдавали код ответа 400(Страница не найдена), даже, если на ней размещен какой-либо материал для пользователей сайта.
Следовательно, для «полезных» страниц не хватит места и они будут индексироваться в следующий раз – время появления страницы в поиске увеличится.

Как помочь роботу «забрать» необходимые страницы для индексации?
Выше было сказано, что с помощью файла robots.txt есть возможность управлять поисковым роботом. Возвращаемся к методу «от противного» и используем необходимые директивы в данном файле, что бы запретить индексацию служебных страниц сайта(регистрация пользователей, авторизация и т.д.).
Также необходимо использовать файл Sitemap, что бы предоставить роботу возможность получить дополнительную информацию о страницах сайта. Какие страницы необходимо индексировать, изменяется ли на этих страницах информация и как часто это происходит.
ПС Яндекс еще рекомендует создавать специальную страницу – карту сайта, на которой размещены ссылки на все документы сайта.

Вывод:
Согласно заявленной цели и учитывая рекомендации Яндекса, можно смело утверждать, что набор стандартных рекомендаций(прогон по каталогам, прогон по соцзакладкам, прогон по профилям форумов, массовое комментирование по блогам,), встречающихся в блогах вебмастеров не всегда является корректным. Так как достаточно всего лишь сказать роботу, что появился новый сайт и он готов к индексации.
Например, через панель вебмастера в Яндексе или разместить две-три ссылки на индексируемых сайтах иначе это может расцениваться как применение обманных техник, что повлечет за собой понижение позиций или исключение из индекса.

При поддержке: Seohammer - ссылочный агрегатор нового поколения. Обсудить на форуме.

Изображение

 

 

  • 1
Как часто в горестной разлуке,В моей блуждающей судьбе, ФО, я думал о тебе.


#2 Artemcher96

Artemcher96
  • Пользователь
  • 301 сообщений
  • Репутация: 13

Отправлено 23 Сентябрь 2013 - 10:35

Статья очень ценная,яшка вообще хреново индексирует мой блог=), а гоша красава, страницы сразу после публикации в индексе :)
  • 0

#3 PipetZ

PipetZ
  • Пользователь
  • 58 сообщений
  • Репутация: 1

Отправлено 23 Сентябрь 2013 - 20:52

Пока не воспользовался top-inspektor-ом яндекс вообще не индексировал мой сайт
  • 0

#4 html-ka

html-ka
  • Пользователь
  • 455 сообщений
  • Репутация: 82

Отправлено 24 Сентябрь 2013 - 21:29

я бы еще добавил 2 момента в эту статью, это sitemap на небольших сайтах пользы особой нет от него, а на большом количестве страниц нужен и еще главное правильно настроенный Last-Modified
  • 0

#5 brig

brig
  • Пользователь
  • 36 сообщений
  • Репутация: 5

Отправлено 28 Сентябрь 2013 - 07:04

А как же другие способы? Например, размещение ссылок на новые страницы в соц. сетях, соц. платформах и т.п. Это может в разы ускорить индексацию.
  • 1

#6 alb12

alb12
  • Пользователь
  • 7 сообщений
  • Репутация: 0

Отправлено 02 Октябрь 2013 - 16:01

Обычно для ускорения индексации пользуюсь Twitter. В Яндексе страницы появляются минут через 10. Однако сложно сохранять такой аккаунт не заспамленным (тогда Яндекс его не посещает). Другие способы под сомнением, включая соцзакладки и аддурилку.
  • 0

#7 Beggarm

Beggarm
  • Пользователь
  • 432 сообщений
  • Репутация: 43

Отправлено 02 Октябрь 2013 - 20:10

Тоже вгоняю новые статьи твиттером. Есть три акка, два из них достаточно старенькие, одному 6 месяцев (300 фолловеров), другому 2.5 года (2000 фолловеров), прогоняю по ним новые посты, в индекс Яндекса залетают минут за 5-7 и из индекса не выпадают.
  • 0

#8 html-ka

html-ka
  • Пользователь
  • 455 сообщений
  • Репутация: 82

Отправлено 02 Октябрь 2013 - 21:03

из социалок думаю твиттер, робот с него не выходит )
  • 0

#9 narolskay

narolskay
  • Пользователь
  • 660 сообщений
  • Репутация: 25

Отправлено 03 Октябрь 2013 - 15:22

Для моих статей вполне хватает пингование.
  • 0

Ищете хостинг?  Beget.ru - месяц бесплатного тестирования, бесплатный перенос сайта!

 



#10 fedornabilkin

fedornabilkin
    Topic Starter
  • Пользователь
  • 696 сообщений
  • Репутация: 91

Отправлено 04 Октябрь 2013 - 19:07

Например, размещение ссылок на новые страницы в соц. сетях, соц. платформах и т.п. Это может в разы ускорить индексацию.

Обычно для ускорения индексации пользуюсь Twitter

Следует правильно понимать, что подразумевается под ускорением индексации страниц.
Вполне согласен, что имеет смысл разместить ссылку на ресурс на каком-нибудь проекте, где бот Яндекса "живет". Но, так как бот работает в автоматическом режиме, то явно из-за увеличения количества внешних ссылок очередность обработки страниц не изменится.

Если поисковый бот посетил сайт вчера, занес его в свой список очередности, прогрузил доступные страницы, то вряд ли он станет делать тоже самое, если завтра он попадет на этот же сайт по другой ссылке. Представьте, если он в течении недели найдет 50-100 ссылок на один и тот же сайт? Минимум будет не рационально проделывать одну и ту же операцию над сайтом несколько раз.
Это мое личное мнение, возможно ошибаюсь.

Кстати. В целях небольшого эксперимента после создания сайта, я не делал sitemap.xml
Яндекс с марта к настоящему времени проиндексировал 17 страниц, которые между собой на сайте никак не связаны. Они были найдены по внешним ссылкам в соцсетях и прочих подобных ресурсах.
Вчера добавил sitemap.xml, Уведомил гугл, но Яндексу об этом не сказал. Название файла стандартное и он прописан в роботсе. Посмотрим как яшка его обработает и добавит ли в индекс остальные страницы.
Люблю эксперименты :)

а гоша красава, страницы сразу после публикации в индексе

Вопрос в какую выдачу он их добавляет, возможно в "сопли"

главное правильно настроенный Last-Modified

С этим очень согласен. У Яндекса в рекомендациях об этом явно сказано. Пока никак не соберусь реализовать отдачу правильных заголовков Last-Modified, но думаю в скором времени и это попробовать.
  • 0
Как часто в горестной разлуке,В моей блуждающей судьбе, ФО, я думал о тебе.


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru