Перейти к содержимому

Реферальная программа Мегаплана

Партнерская программа Kredov

Проверка посещения роботом страницы сайта

#1 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1 149 сообщений
  • Репутация: 268
0

Отправлено 06 Апрель 2015 - 17:12

Как проверить, когда именно определенную страницу посешал робот поисковкиа (по большей части интересует Яндекс, т.к. с гуглом меньше проблем)?

А именно как понять, что статью проиндексировал быстроробот, а как понять что стандартный робот поисковика? И что самое важное, когда именно это произошло.

 

Т.к. в этом вопросе совсем мало понимаю, очень надеюсь на очень подробные ваши ответы, так сказать как для чайника! :D


 

 

  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Индексация страниц сайта
  2. Как повысить посещаемость сайта.
  3. Не индексируются страницы сайта в Яндексе
  4. Как быстро яндекс замечает, что текст на странице сайта поменялся?
  5. Страница исключена роботом. Доступ к ресурсу запрещён (403).

#2 BLIK

BLIK
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 06 Апрель 2015 - 17:33

@Evgeniy3200, Попробую ответить, если я правильно понял вопрос.

 

1) Заходим в кабинет вебмастер, далее вкладка проверить url и вводим полный адрес новой страницы и жмем проверить.

Снимок1.PNG

 

После проверки там будет кнопка готово, жмем и смотрим(результат должен быть такой как на скрине), такую операцию я делаю раз 5 с промежутком 3-5 часов, до ответа(скрин)

Снимок2.PNG

 

2) Смотрим запросы Яндекса к серверу.

Снимок3.PNG

 

3) Если смотреть точное время, открываем логи сайта и путем поиска ищем строки в логах.

Как представляется яндекс видно тут 

Снимок4.PNG

 

 

 

P.s Если быстроробот проглатил страницу, стоит ввести url в поисковую строку и там будет статья с пометкой сколько минут или часов/дней назад проиндексировалась

 

 

Как то так...Думаю я правильно понял вопрос. 


  • 0


#3 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 729 сообщений
  • Репутация: 410

Отправлено 06 Апрель 2015 - 17:38

@Evgeniy3200, не подробный, к сожалению...

Думаю надо искать какой-нибудь анализатор сервисных логов... Он может давать ответы на такие вопросы...

Когда-то давно покупал и пользовал пакет прог для ВМ, точно название не помню (то ли NET Promoter, то ли WEB Promoter), помню что Питерская команда создавала... Сейчас вроде проект "захлох"...

Помню что качал с сервака лог-файлы, загонял их в эту программулину и в ней можно было проследить какой бот, когда и куда заходил...

Думаю что инфу сию можно выдернуть только с серверных логов путем их анализа...

Почему-то кажется что если порыть рунет, то найти что-то подобное можно...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#4 Evgeniy3200

Evgeniy3200
    Topic Starter
  • Пользователь PRO
  • 1 149 сообщений
  • Репутация: 268

Отправлено 06 Апрель 2015 - 17:46

@BLIK, спасибо,  с меня уже два + вам, пока не могу, неделя не прошла  :)

 1 и 2 вариант я знаю. А вот по 3 можете рассказать, как смотреть логи и где?

 

И что значит такая фразу из 1 пунтка вашего ответа: "Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован"


  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#5 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 729 сообщений
  • Репутация: 410

Отправлено 06 Апрель 2015 - 17:52

значит такая фраза
 @Evgeniy3200, та же беда - робот знает что страница есть, но еще не дошла очередь для ее индексации...

По моим личным наблюдениям и анализу - эта страница может быть и проиндексированной, но в выдаче не участвует...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#6 BLIK

BLIK
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 06 Апрель 2015 - 17:55

А вот по 3 можете рассказать, как смотреть логи и где?

В корне хостинга где сайт должна быть папка logs в ней лежит файл с логами обращения к сайту.(у меня сервер, поэтому я говорю где у меня примерно лежит, но суть одна в корне)

 

Скачиваем файл, открываем его в нотепад и путем поиска ищем нужное нам.

 

"Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован"

 

Это значит что Яндекс посетил адрес страницы и уже знает о ней, но в поиске ее еще нет. Как показывает практика, то один,два Ап и она в выдачи. 


  • 0


#7 bauhau

bauhau
  • Пользователь
  • 16 сообщений
  • Репутация: 0

Отправлено 29 Апрель 2015 - 23:12

это хорошо когда страниц мало....

а если на серваке их более 500 ????

каждую ручками проверять - употеешь до мыльных пузырей в глазах ...


  • 0


Оформление форума – IPBSkins.ru