Перейти к содержимому


Пользователь месяца
TimurR TimurR 1-й за Август
Очков активности: 726 3 темы, 35 сообщений, 11 баллов репутации
ТОП самых активных за этот месяц
  • Фотография ShowPrint
    #1

    ShowPrint (ShowPrint.ru)
    Очков активности: 207 2 темы, 17 сообщений, 6 баллов репутации

  • Фотография Ixman
    #2

    Ixman (o5cat.ru)
    Очков активности: 72 0 тем, 8 сообщений, 6 баллов репутации

  • Фотография WGN
    #3

    WGN (worldgamenews.com)
    Очков активности: 69 Вне конкурса за определение пользователя месяца

  • Фотография magnet
    #4

    magnet (rbfxdirect.com)
    Очков активности: 67.5 Вне конкурса за определение пользователя месяца

  • Фотография AnnaYa
    #5

    AnnaYa (topbase.ru)
    Очков активности: 33 2 темы, 5 сообщений, 2 балла репутации

  • Фотография BLIK
    #6

    BLIK
    Очков активности: 30 Вне конкурса за определение пользователя месяца

  • Фотография Алексей111
    #7

    Алексей111
    Очков активности: 28.5 5 тем, 4 сообщения, 1 балл репутации

  • Фотография TimurR
    #8

    TimurR
    Очков активности: 27 Вне конкурса за определение пользователя месяца

  • Фотография torix
    #9

    torix
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Фотография Developer
    #10

    Developer
    Очков активности: 21 1 тема, 11 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Kwork.ru - услуги фрилансеров от 500 руб.

Поддержите форум! =)
Апдейты
  • Яндекс тИЦ: 19.11.2017
  • Яндекс выдача: 22.09.2018
Топ 5 участников по репутации


Проверка посещения роботом страницы сайта

#1 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1466 сообщений
  • Репутация: 476
0

Отправлено 06 April 2015 - 17:12

Как проверить, когда именно определенную страницу посешал робот поисковкиа (по большей части интересует Яндекс, т.к. с гуглом меньше проблем)?

А именно как понять, что статью проиндексировал быстроробот, а как понять что стандартный робот поисковика? И что самое важное, когда именно это произошло.

 

Т.к. в этом вопросе совсем мало понимаю, очень надеюсь на очень подробные ваши ответы, так сказать как для чайника! :D


 

 

  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#2 BLIK

BLIK
  • Супермодератор
  • 4085 сообщений
  • Репутация: 919

Отправлено 06 April 2015 - 17:33

@Evgeniy3200, Попробую ответить, если я правильно понял вопрос.

 

1) Заходим в кабинет вебмастер, далее вкладка проверить url и вводим полный адрес новой страницы и жмем проверить.

Снимок1.PNG

 

После проверки там будет кнопка готово, жмем и смотрим(результат должен быть такой как на скрине), такую операцию я делаю раз 5 с промежутком 3-5 часов, до ответа(скрин)

Снимок2.PNG

 

2) Смотрим запросы Яндекса к серверу.

Снимок3.PNG

 

3) Если смотреть точное время, открываем логи сайта и путем поиска ищем строки в логах.

Как представляется яндекс видно тут 

Снимок4.PNG

 

 

 

P.s Если быстроробот проглатил страницу, стоит ввести url в поисковую строку и там будет статья с пометкой сколько минут или часов/дней назад проиндексировалась

 

 

Как то так...Думаю я правильно понял вопрос. 


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#3 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3013 сообщений
  • Репутация: 813

Отправлено 06 April 2015 - 17:38

@Evgeniy3200, не подробный, к сожалению...

Думаю надо искать какой-нибудь анализатор сервисных логов... Он может давать ответы на такие вопросы...

Когда-то давно покупал и пользовал пакет прог для ВМ, точно название не помню (то ли NET Promoter, то ли WEB Promoter), помню что Питерская команда создавала... Сейчас вроде проект "захлох"...

Помню что качал с сервака лог-файлы, загонял их в эту программулину и в ней можно было проследить какой бот, когда и куда заходил...

Думаю что инфу сию можно выдернуть только с серверных логов путем их анализа...

Почему-то кажется что если порыть рунет, то найти что-то подобное можно...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#4 Evgeniy3200

Evgeniy3200
    Topic Starter
  • Пользователь PRO
  • 1466 сообщений
  • Репутация: 476

Отправлено 06 April 2015 - 17:46

@BLIK, спасибо,  с меня уже два + вам, пока не могу, неделя не прошла  :)

 1 и 2 вариант я знаю. А вот по 3 можете рассказать, как смотреть логи и где?

 

И что значит такая фразу из 1 пунтка вашего ответа: "Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован"


  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#5 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3013 сообщений
  • Репутация: 813

Отправлено 06 April 2015 - 17:52

значит такая фраза
 @Evgeniy3200, та же беда - робот знает что страница есть, но еще не дошла очередь для ее индексации...

По моим личным наблюдениям и анализу - эта страница может быть и проиндексированной, но в выдаче не участвует...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#6 BLIK

BLIK
  • Супермодератор
  • 4085 сообщений
  • Репутация: 919

Отправлено 06 April 2015 - 17:55

А вот по 3 можете рассказать, как смотреть логи и где?

В корне хостинга где сайт должна быть папка logs в ней лежит файл с логами обращения к сайту.(у меня сервер, поэтому я говорю где у меня примерно лежит, но суть одна в корне)

 

Скачиваем файл, открываем его в нотепад и путем поиска ищем нужное нам.

 

"Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован"

 

Это значит что Яндекс посетил адрес страницы и уже знает о ней, но в поиске ее еще нет. Как показывает практика, то один,два Ап и она в выдачи. 


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#7 bauhau

bauhau
  • Неактивные
  • 16 сообщений
  • Репутация: 0

Отправлено 29 April 2015 - 23:12

это хорошо когда страниц мало....

а если на серваке их более 500 ????

каждую ручками проверять - употеешь до мыльных пузырей в глазах ...


  • 0



Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru