Перейти к содержимому



Как ускорить индексацию страниц сайта?

#1 fedornabilkin
fedornabilkin
  • Модератор
  • 1 177 сообщений
  • Репутация: 201
1

Отправлено 13 Сентябрь 2013 - 13:48

Для русскоязычного интернета более актуально изучить индексацию поисковой системой Яндекс, поэтому статья будет в основном ориентирована на этот поисковик. Самой главной ошибкой начинающих вебмастеров является непонимание истинного значения. Многие рекомендуют для ускорения индексации сайта выполнять прогоны по каталогам, базам трастовых сайтов и т.д., но все это необходимо применять при наращивании ссылочной массы. А вот что бы ускорить индексацию страниц…

Что мы понимаем под ускорением индексации страниц сайта?
Ускорение индексации страниц (далее УИС) – это комплекс мероприятий, ориентированный на уменьшение временного отрезка с момента создания страницы, до момента появления ее в поисковой выдаче.
Целью УИС является не только появление новой страницы в поисковой выдаче, но и постоянное наличие ее в ней, а также переиндексация старых страниц, которые были изменены, что в последующем способствует получению поискового трафика на сайт.
Поэтому, используя метод «от противного»(лат. Contradictio in contrarium), следует выяснить, что в любом случае не будет проиндексировано, т.е. запрещено к индексации, либо будет проиндексировано с последующим удалением (исключением) из индекса или получением низкого ранжирования страницы сайта. Так можно рационально распределить временной ресурс с уверенностью, что страницы не будут запрещены к индексации или ранжированы недостаточно высоко, с возможным последующим исключением из индекса. Ведь УИС в данном случае будет ничтожным по отношению ко всему сайту.
Ссылаясь на первоисточник, необходимо учитывать, что цель УИС не будет достигнута, если страница:

1. весит более 10Мб;

2. содержит ошибки технического характера (код ответа сервера 404 и т.д.);

3. имеет содержимое, которое невозможно корректно проиндексировать (не корректный формат документа, ошибки в коде документа);

4. не будет доступна (если в момент обращения поискового робота на сервере будут сбои, то робот прекратит индексирование).

А также стоит обратить внимание на дополнительные советы вебмастеру, для достижения заявленной цели.
Что бы разобраться в вопросе индексации страниц, есть смысл ответить на ряд дополнительных вопросов.

Кто индексирует страницы сайта?
У ПС Яндекс есть несколько видов роботов, которые обеспечивают добавление новых материалов (страниц) в поисковую выдачу. Помимо основного индексирующего робота, есть роботы, индексирующие только картинки, видео, пиктограммы, быстрый робот, называемый в народе «быстробот» и другие роботы.

Как робот индексирует страницы?
Обращаясь к сайту, робот в первую очередь запрашивает файл robots.txt, в котором описаны правила индексирования сайта (с помощью данного файла можно управлять поисковым роботом). Далее робот начинает загружать материалы (страницы) сайта, согласно его базе URL этого сайта. Если в полученных страницах присутствуют ссылки на другие страницы, то база URL пополняется. Следует отметить, что робот ограничен в количественных и временных рамках, он формирует определенный пул страниц, которые подлежат дальнейшему анализу.
В связи с этим имеет смысл «скормить» роботу исключительно полезные страницы. Так как из сформированного пула в 100 страниц (к примеру), в нем могут присутствовать служебные страницы (регистрация нового пользователя, авторизация, восстановление доступа к аккаунту и др.), которые вряд несут какую-то полезную информацию и будут либо исключены из индекса, либо ранжированы не так высоко – цель УИС не будет достигнута. В этот пул также могут попасть страницы-заглушки, которые отображаются вместо несуществующих страниц с кодом ответа 200(ОК). Необходимо следить, чтобы такие страницы отдавали код ответа 400(Страница не найдена), даже, если на ней размещен какой-либо материал для пользователей сайта.
Следовательно, для «полезных» страниц не хватит места и они будут индексироваться в следующий раз – время появления страницы в поиске увеличится.

Как помочь роботу «забрать» необходимые страницы для индексации?
Выше было сказано, что с помощью файла robots.txt есть возможность управлять поисковым роботом. Возвращаемся к методу «от противного» и используем необходимые директивы в данном файле, что бы запретить индексацию служебных страниц сайта(регистрация пользователей, авторизация и т.д.).
Также необходимо использовать файл Sitemap, что бы предоставить роботу возможность получить дополнительную информацию о страницах сайта. Какие страницы необходимо индексировать, изменяется ли на этих страницах информация и как часто это происходит.
ПС Яндекс еще рекомендует создавать специальную страницу – карту сайта, на которой размещены ссылки на все документы сайта.

Вывод:
Согласно заявленной цели и учитывая рекомендации Яндекса, можно смело утверждать, что набор стандартных рекомендаций(прогон по каталогам, прогон по соцзакладкам, прогон по профилям форумов, массовое комментирование по блогам,), встречающихся в блогах вебмастеров не всегда является корректным. Так как достаточно всего лишь сказать роботу, что появился новый сайт и он готов к индексации.
Например, через панель вебмастера в Яндексе или разместить две-три ссылки на индексируемых сайтах иначе это может расцениваться как применение обманных техник, что повлечет за собой понижение позиций или исключение из индекса.

При поддержке: Seohammer - ссылочный агрегатор нового поколения. Обсудить на форуме.

Изображение

 

 

  • 1

Надо обсудить предложение. А тут знакосчиталка считает знаки. Про Yii2 написано.



#2 Artemcher96
Artemcher96
  • Неактивные
  • 301 сообщений
  • Репутация: 13

Отправлено 23 Сентябрь 2013 - 10:35

Статья очень ценная,яшка вообще хреново индексирует мой блог=), а гоша красава, страницы сразу после публикации в индексе :)
  • 0

#3 PipetZ
PipetZ
  • Неактивные
  • 58 сообщений
  • Репутация: 1

Отправлено 23 Сентябрь 2013 - 20:52

Пока не воспользовался top-inspektor-ом яндекс вообще не индексировал мой сайт
  • 0

#4 html-ka
html-ka
  • Неактивные
  • 455 сообщений
  • Репутация: 82

Отправлено 24 Сентябрь 2013 - 21:29

я бы еще добавил 2 момента в эту статью, это sitemap на небольших сайтах пользы особой нет от него, а на большом количестве страниц нужен и еще главное правильно настроенный Last-Modified
  • 0

#5 brig
brig
  • Неактивные
  • 36 сообщений
  • Репутация: 5

Отправлено 28 Сентябрь 2013 - 07:04

А как же другие способы? Например, размещение ссылок на новые страницы в соц. сетях, соц. платформах и т.п. Это может в разы ускорить индексацию.
  • 1

#6 alb12
alb12
  • Неактивные
  • 7 сообщений
  • Репутация: 0

Отправлено 02 Октябрь 2013 - 16:01

Обычно для ускорения индексации пользуюсь Twitter. В Яндексе страницы появляются минут через 10. Однако сложно сохранять такой аккаунт не заспамленным (тогда Яндекс его не посещает). Другие способы под сомнением, включая соцзакладки и аддурилку.
  • 0

#7 Beggarm
Beggarm
  • Неактивные
  • 432 сообщений
  • Репутация: 43

Отправлено 02 Октябрь 2013 - 20:10

Тоже вгоняю новые статьи твиттером. Есть три акка, два из них достаточно старенькие, одному 6 месяцев (300 фолловеров), другому 2.5 года (2000 фолловеров), прогоняю по ним новые посты, в индекс Яндекса залетают минут за 5-7 и из индекса не выпадают.
  • 0

#8 html-ka
html-ka
  • Неактивные
  • 455 сообщений
  • Репутация: 82

Отправлено 02 Октябрь 2013 - 21:03

из социалок думаю твиттер, робот с него не выходит )
  • 0

#9 narolskay
narolskay
  • Пользователь
  • 772 сообщений
  • Репутация: 35

Отправлено 03 Октябрь 2013 - 15:22

Для моих статей вполне хватает пингование.
  • 0

Ищете хостинг?  Beget.ru - месяц бесплатного тестирования, бесплатный перенос сайта!

 



#10 fedornabilkin
fedornabilkin
    Topic Starter
  • Модератор
  • 1 177 сообщений
  • Репутация: 201

Отправлено 04 Октябрь 2013 - 19:07

Например, размещение ссылок на новые страницы в соц. сетях, соц. платформах и т.п. Это может в разы ускорить индексацию.

Обычно для ускорения индексации пользуюсь Twitter

Следует правильно понимать, что подразумевается под ускорением индексации страниц.
Вполне согласен, что имеет смысл разместить ссылку на ресурс на каком-нибудь проекте, где бот Яндекса "живет". Но, так как бот работает в автоматическом режиме, то явно из-за увеличения количества внешних ссылок очередность обработки страниц не изменится.

Если поисковый бот посетил сайт вчера, занес его в свой список очередности, прогрузил доступные страницы, то вряд ли он станет делать тоже самое, если завтра он попадет на этот же сайт по другой ссылке. Представьте, если он в течении недели найдет 50-100 ссылок на один и тот же сайт? Минимум будет не рационально проделывать одну и ту же операцию над сайтом несколько раз.
Это мое личное мнение, возможно ошибаюсь.

Кстати. В целях небольшого эксперимента после создания сайта, я не делал sitemap.xml
Яндекс с марта к настоящему времени проиндексировал 17 страниц, которые между собой на сайте никак не связаны. Они были найдены по внешним ссылкам в соцсетях и прочих подобных ресурсах.
Вчера добавил sitemap.xml, Уведомил гугл, но Яндексу об этом не сказал. Название файла стандартное и он прописан в роботсе. Посмотрим как яшка его обработает и добавит ли в индекс остальные страницы.
Люблю эксперименты :)

а гоша красава, страницы сразу после публикации в индексе

Вопрос в какую выдачу он их добавляет, возможно в "сопли"

главное правильно настроенный Last-Modified

С этим очень согласен. У Яндекса в рекомендациях об этом явно сказано. Пока никак не соберусь реализовать отдачу правильных заголовков Last-Modified, но думаю в скором времени и это попробовать.
  • 0

Надо обсудить предложение. А тут знакосчиталка считает знаки. Про Yii2 написано.



#11 Artemcher96
Artemcher96
  • Неактивные
  • 301 сообщений
  • Репутация: 13

Отправлено 04 Октябрь 2013 - 21:00

fedornabilkin, с чего вы взяли что в сопли, я вам говорил не про выдачу а про индексацию.
Нет статьи сразу попадают в основной индекс и сразу имеют неплохие позиции примерно 10-15.
Конечно трафика это не приносит, но что есть то есть, я над этим работаю.
Потом через время сайт поднимается выше в выдаче.
  • 0

#12 Theregula
Theregula
  • Неактивные
  • 17 сообщений
  • Репутация: 2

Отправлено 05 Октябрь 2013 - 00:34

В статье не сказано про "сервисы обновления" которые сообщают о новых статьях) реально помогает :)
  • 0

#13 brig
brig
  • Неактивные
  • 36 сообщений
  • Репутация: 5

Отправлено 05 Октябрь 2013 - 07:12

Следует правильно понимать, что подразумевается под ускорением индексации страниц.
Вполне согласен, что имеет смысл разместить ссылку на ресурс на каком-нибудь проекте, где бот Яндекса "живет". Но, так как бот работает в автоматическом режиме, то явно из-за увеличения количества внешних ссылок очередность обработки страниц не изменится.

Если поисковый бот посетил сайт вчера, занес его в свой список очередности, прогрузил доступные страницы, то вряд ли он станет делать тоже самое, если завтра он попадет на этот же сайт по другой ссылке.

Размещение ссылки в местах где "живут" боты поисковых систем один из самых быстрых и простых способов ускорить индексацию, а в статье не увидел данной информации, как-то вы ее обошли стороной :) кстати, может кто сравнивал, что быстрее попадет в поиск, после твитера или вконтакте?
  • 0

#14 fedornabilkin
fedornabilkin
    Topic Starter
  • Модератор
  • 1 177 сообщений
  • Репутация: 201

Отправлено 07 Октябрь 2013 - 09:04

Размещение ссылки в местах где "живут" боты поисковых систем один из самых быстрых и простых способов ускорить индексацию, а в статье не увидел данной информации, как-то вы ее обошли стороной :) кстати, может кто сравнивал, что быстрее попадет в поиск, после твитера или вконтакте?

Опять читаешь и прочитать не можешь. Размещение ссылки там, где "живет" бот яндекса еще не значит индексация. Быстро и просто - не значит правильно. Перед тем, как запустить бота на сайт, надо его подготовить.
  • 0

Надо обсудить предложение. А тут знакосчиталка считает знаки. Про Yii2 написано.



#15 Rexxar
Rexxar
  • Пользователь
  • 596 сообщений
  • Репутация: 36

Отправлено 09 Октябрь 2013 - 09:43

Статья явно не полная, есть куча моментов и способов по ускорению индексации.
  • 0


#16 brig
brig
  • Неактивные
  • 36 сообщений
  • Репутация: 5

Отправлено 13 Октябрь 2013 - 06:40

Опять читаешь и прочитать не можешь. Размещение ссылки там, где "живет" бот яндекса еще не значит индексация. Быстро и просто - не значит правильно. Перед тем, как запустить бота на сайт, надо его подготовить.

Название статьи как ускорить индексацию, а у тебя как раз наиболее эффективные способы не отражены. То что желательно сделать ряд доп процедур понятно, даже согласен с тобой что они будут только на пользу, но это не ускорит.
  • 0

#17 fedornabilkin
fedornabilkin
    Topic Starter
  • Модератор
  • 1 177 сообщений
  • Репутация: 201

Отправлено 13 Октябрь 2013 - 09:09

они будут только на пользу, но это не ускорит

Значит после создания сайта разбрасываем кучу ссылок в соцсетях и все готово?
Если сайт не пригоден к индексации, то никаким количеством ссылок его не загонишь в индекс, а если сайт соответствует всем рекомендациям, то достаточно и одной :)
  • 0

Надо обсудить предложение. А тут знакосчиталка считает знаки. Про Yii2 написано.



#18 brig
brig
  • Неактивные
  • 36 сообщений
  • Репутация: 5

Отправлено 13 Октябрь 2013 - 12:01

Значит после создания сайта разбрасываем кучу ссылок в соцсетях и все готово?
Если сайт не пригоден к индексации, то никаким количеством ссылок его не загонишь в индекс, а если сайт соответствует всем рекомендациям, то достаточно и одной :)

Значит в статье не отражены все методы ускорения индексации сайта, причем часть, достаточно эффективных. То что ты настраиваешь сайт - это еще не гарантия того что он будет быстро проиндексирован - это касается преимущественно яндекса, у меня пара сайтов с такими настройками по нескольку недель не индексировались, хотя в гугл в течении пары дней попадали. Соц. сети же с яндексом помогают в разы быстрее.
  • 0

#19 ssabbass
ssabbass
  • Неактивные
  • 280 сообщений
  • Репутация: 33

Отправлено 13 Октябрь 2013 - 12:16

Я тоже каждую новую статью и по закладкам прогоняю и по соцсетям - везде, где это можно. Индексация идет быстро и нормально. Но не в этом дело. Есть идея - а что, если добавлять ссылку на новую статью в файл robots, только не запрещая ее, а рекомендуя к посещению роботом? Будет ли от этого толк? Ведь файл РОБОТС в любом случае первым проверяется.
  • 0

#20 fedornabilkin
fedornabilkin
    Topic Starter
  • Модератор
  • 1 177 сообщений
  • Репутация: 201

Отправлено 13 Октябрь 2013 - 15:38

Ведь файл РОБОТС в любом случае первым проверяется

Если роботс проверяется, то очевидно, что и главная страница посещается ботом. А новые материалы обычно на главной размещены или ссылки на новые материалы.
  • 0

Надо обсудить предложение. А тут знакосчиталка считает знаки. Про Yii2 написано.



robot
robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы
  Название темы Автор Статистика Последнее сообщение

× Быстрый вопрос
Пользователь месяца
Rodiola Rodiola 1-й за Август
Очков активности: 1 552 3 темы, 106 сообщений, 9 баллов репутации
Сайт: rukodelkovo.ru
ТОП самых активных за этот месяц
  • Фотография MattCutts
    #1

    MattCutts (dmitrylee.ru)
    Очков активности: 480 5 тем, 65 сообщений, 4 балла репутации

  • Фотография Андрей WPM
    #2

    Андрей WPM (wpmaster.kz)
    Очков активности: 430.5 Вне конкурса за определение пользователя месяца

  • Фотография lena220678
    #3

    lena220678
    Очков активности: 33 1 тема, 19 сообщений, 1 балл репутации

  • Фотография Chaser
    #4

    Chaser (majento.ru)
    Очков активности: 33 1 тема, 8 сообщений, 2 балла репутации

  • Фотография BLIK
    #5

    BLIK
    Очков активности: 27 0 тем, 18 сообщений, 1 балл репутации

  • Фотография maxnik
    #6

    maxnik (konovalovpavel.ru)
    Очков активности: 24 0 тем, 8 сообщений, 2 балла репутации

  • Фотография Rodiola
    #7

    Rodiola (rukodelkovo.ru)
    Очков активности: 22.5 Вне конкурса за определение пользователя месяца

  • Фотография Constantine
    #8

    Constantine (constantine.video.blog)
    Очков активности: 19.5 2 темы, 7 сообщений, 1 балл репутации

  • Фотография Megoydagi
    #9

    Megoydagi (24ho.ru)
    Очков активности: 16.5 1 тема, 8 сообщений, 1 балл репутации

  • Фотография NataliaAntalia
    #10

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 15 0 тем, 10 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 27.08.2019
  • Яндекс выдача: 17.09.2019
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru