Перейти к содержимому



Как правильно сделать robot.txt для Гугла?

#1 Kord18
Kord18
  • Неактивные
  • 60 сообщений
  • Репутация: 0
0

Отправлено 28 Декабрь 2017 - 17:04

Подскажите если ничего не указано в Роботе.txt про гугл он будет индексировать сайт в гугле?


 

 

  • 0

#2 BLIK
BLIK
  • Супермодератор
  • 4 539 сообщений
  • Репутация: 1037

Отправлено 28 Декабрь 2017 - 17:32

@Kord18,  Для Google такой же robots, как и для Яндекса, только без директивы host.


Сообщение отредактировал BLIK: 28 Декабрь 2017 - 17:33

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#3 Kord18
Kord18
    Topic Starter
  • Неактивные
  • 60 сообщений
  • Репутация: 0

Отправлено 28 Декабрь 2017 - 17:35

@BLIK,А если в роботе не указано про гугл ничего ранжироваться сайт будет в гугле


  • 0

#4 BLIK
BLIK
  • Супермодератор
  • 4 539 сообщений
  • Репутация: 1037

Отправлено 28 Декабрь 2017 - 17:43

@Kord18,Для Google и других поисковиков задается начало в блоке правил

User-agent: *
 тут правила

А для Яндекса

User-agent: Yandex
тут правила

  • 2

Качественный хостинг   Тут может быть ваша ссылка.



#5 Sosnovskij
Sosnovskij
  • Администратор
  • 5 254 сообщений
  • Репутация: 794

Отправлено 05 Январь 2018 - 14:29

@Kord18, да, будет индексироваться.

@BLIK, по моим наблюдениям сейчас яндекс стал понимать правила host и под правилами для всех роботов (*).


  • 0

Блог — https://sosnovskij.ru/. Добавить меня в TelegramTwitterFacebook.



#6 BLIK
BLIK
  • Супермодератор
  • 4 539 сообщений
  • Репутация: 1037

Отправлено 05 Январь 2018 - 16:48

по моим наблюдениям сейчас яндекс стал понимать правила host
Я просто не пробовал так, поэтому все делаю по старинке :)  
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#7 Sosnovskij
Sosnovskij
  • Администратор
  • 5 254 сообщений
  • Репутация: 794

Отправлено 05 Январь 2018 - 17:01

@BLIK, раньше Яндекс писал, что Host понимается только юзер-агентом Yandex. Потом опытным путем выяснилось, что и под звездочкой он понимает директиву. Сейчас в мануале примеры со звездочкой :)

 

robots-min.png


  • 1

Блог — https://sosnovskij.ru/. Добавить меня в TelegramTwitterFacebook.





Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
NataliaAntalia NataliaAntalia 1-й за Октябрь
Очков активности: 480 2 темы, 58 сообщений, 5 баллов репутации
Сайт: zdorovemedicina.ru
ТОП самых активных за этот месяц
  • Фотография ShowPrint
    #1

    ShowPrint (ShowPrint.ru)
    Очков активности: 297 0 тем, 18 сообщений, 11 баллов репутации

  • Фотография BLIK
    #2

    BLIK
    Очков активности: 157.5 0 тем, 15 сообщений, 7 баллов репутации

  • Фотография NataliaAntalia
    #3

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 132 Вне конкурса за определение пользователя месяца

  • Фотография Megoydagi
    #4

    Megoydagi (24ho.ru)
    Очков активности: 130.5 5 тем, 14 сообщений, 3 балла репутации

  • Фотография Vmir
    #5

    Vmir
    Очков активности: 126 2 темы, 15 сообщений, 4 балла репутации

  • Фотография Totti
    #6

    Totti
    Очков активности: 126 0 тем, 14 сообщений, 6 баллов репутации

  • Фотография MattCutts
    #7

    MattCutts (dmitrylee.ru)
    Очков активности: 99 Вне конкурса за определение пользователя месяца

  • Фотография miketomlin
    #8

    miketomlin
    Очков активности: 45 0 тем, 10 сообщений, 3 балла репутации

  • Фотография TimurR
    #9

    TimurR
    Очков активности: 39 3 темы, 4 сообщения, 2 балла репутации

  • Фотография kolver
    #10

    kolver
    Очков активности: 21 3 темы, 5 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 29.10.2019
  • Яндекс выдача: 14.11.2019
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru