Перейти к содержимому


Партнерская программа Kredov

Как ограничивать доступ к сайту с определенных стран

#1 BLIK

BLIK
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635
0

Отправлено 12 Июнь 2014 - 13:18

Здравствуйте формучане. Совсем не давно я создавал тему по поводу доступа к сайту с прокси 

Вот тема http://www.masterweb...-cherez-proksi/

 

Решение вроде как найдено, но тут же вопрос.

Если мы отправляем все ненужные нам страны в аут,одним словом практически все, кроме России.

То получается мы таким способом и отправляем в аут бота гугл? Яндекс то понятно "свой" Россия, а вот как по поводу бота гугла?

Или ему все эти ауты на 404 без разницы? Или же придется как то делать исключения ему, искать гугловские ip? 

 


 

 

  • 0


#2 Ixman

Ixman
  • Пользователь PRO
  • 2 165 сообщений
  • Репутация: 436

Отправлено 12 Июнь 2014 - 13:30

По User Agent делать исключения для GoogleBot и YandexBot


Опять таки, что-то подобное, надо тестировать

RewriteCond %{HTTP_USER_AGENT} !GoogleBot [NC]
RewriteCond %{HTTP_USER_AGENT} !YandexBot [NC]
RewriteRule (.*) http://site.ru/$1 [R,L]

  • 0

#3 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 12 Июнь 2014 - 13:30

На сколько я знаю, боты гугла ходят без User Agent. Могу ошибаться, но....


  • 0


#4 Ixman

Ixman
  • Пользователь PRO
  • 2 165 сообщений
  • Репутация: 436

Отправлено 12 Июнь 2014 - 13:31

Шпионы могут без юзер агента, а нормальные боты обязательно юзер агент указывают


  • 0

#5 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 12 Июнь 2014 - 13:35

Так как боты у меня гостят часто, вот гугл бот "GET /sitemap-misc.xml.gz HTTP/1.1" 200 904 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


  • 0


#6 KataTelecom

KataTelecom
  • Пользователь
  • 31 сообщений
  • Репутация: 2

Отправлено 28 Июль 2014 - 12:14

Гуглобот еще может с мобильника ходить, это новая техника палить клоаки. Такчто смотрите. Не все так просто сейчас не 90тые.


  • 0


Оформление форума – IPBSkins.ru