Перейти к содержимому



Как правильно сделать robot.txt для Гугла?

#1 Kord18
Kord18
  • Неактивные
  • 60 сообщений
  • Репутация: 0
0

Обновлено 05 января 2018 - 17:01  Отправлено 28 декабря 2017 - 17:04

Подскажите если ничего не указано в Роботе.txt про гугл он будет индексировать сайт в гугле?


 

 

  • 0

#2 BLIK
BLIK
  • Супермодератор
  • 4 681 сообщений
  • Репутация: 1072

Отправлено 28 декабря 2017 - 17:32

@Kord18,  Для Google такой же robots, как и для Яндекса, только без директивы host.


Сообщение отредактировал BLIK: 28 декабря 2017 - 17:33

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#3 Kord18
Kord18
    Topic Starter
  • Неактивные
  • 60 сообщений
  • Репутация: 0

Отправлено 28 декабря 2017 - 17:35

@BLIK,А если в роботе не указано про гугл ничего ранжироваться сайт будет в гугле


  • 0

#4 BLIK
BLIK
  • Супермодератор
  • 4 681 сообщений
  • Репутация: 1072

Отправлено 28 декабря 2017 - 17:43

@Kord18,Для Google и других поисковиков задается начало в блоке правил

User-agent: *
 тут правила

А для Яндекса

User-agent: Yandex
тут правила

  • 2

Качественный хостинг   Тут может быть ваша ссылка.



#5 Sosnovskij
Sosnovskij
  • Пользователь PRO
  • 5 441 сообщений
  • Репутация: 828

Отправлено 05 января 2018 - 14:29

@Kord18, да, будет индексироваться.

@BLIK, по моим наблюдениям сейчас яндекс стал понимать правила host и под правилами для всех роботов (*).


  • 0
:excl: Требуется линкбилдер: браузер + Excel. Сдельная оплата + бонусы. Блог — https://sosnovskij.ru/. Добавить меня в Telegram, Twitter, Facebook.


#6 BLIK
BLIK
  • Супермодератор
  • 4 681 сообщений
  • Репутация: 1072

Отправлено 05 января 2018 - 16:48

по моим наблюдениям сейчас яндекс стал понимать правила host
Я просто не пробовал так, поэтому все делаю по старинке :)  
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#7 Sosnovskij
Sosnovskij
  • Пользователь PRO
  • 5 441 сообщений
  • Репутация: 828

Отправлено 05 января 2018 - 17:01

@BLIK, раньше Яндекс писал, что Host понимается только юзер-агентом Yandex. Потом опытным путем выяснилось, что и под звездочкой он понимает директиву. Сейчас в мануале примеры со звездочкой :)

 

robots-min.png


  • 1
:excl: Требуется линкбилдер: браузер + Excel. Сдельная оплата + бонусы. Блог — https://sosnovskij.ru/. Добавить меня в Telegram, Twitter, Facebook.




Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
Vmir Vmir 1-й за Март
Очков активности: 1 080 4 темы, 60 сообщений, 10 баллов репутации
ТОП самых активных за этот месяц
  • Фотография Albina92
    #1

    Albina92
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография MattCutts
    #2

    MattCutts (dmitrylee.com)
    Очков активности: 9 0 тем, 6 сообщений, 1 балл репутации

  • Фотография NataliaAntalia
    #3

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 9 0 тем, 6 сообщений, 1 балл репутации

  • Фотография PLERDY
    #4

    PLERDY
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография WGN
    #5

    WGN (worldgamenews.com)
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография TindrumGM
    #6

    TindrumGM (novosti-land.ru)
    Очков активности: 7.5 1 тема, 2 сообщения, 1 балл репутации

  • Фотография pozitron123
    #7

    pozitron123
    Очков активности: 6 1 тема, 1 сообщение, 1 балл репутации

  • Фотография Maks02
    #8

    Maks02
    Очков активности: 4.5 1 тема, 0 сообщений, 1 балл репутации

  • Фотография FIvYUr
    #9

    FIvYUr (moy-evroopt.ru)
    Очков активности: 4.5 Вне конкурса за определение пользователя месяца

  • Фотография Nijest
    #10

    Nijest
    Очков активности: 4.5 1 тема, 0 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Поддержите форум! =)
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru