Перейти к содержимому


Партнерская программа Expressrxsales

Как ограничивать доступ к сайту с определенных стран

#1 BLIK

BLIK
  • Супермодератор
  • 3 404 сообщений
  • Репутация: 703
0

Отправлено 12 Июнь 2014 - 13:18

Здравствуйте формучане. Совсем не давно я создавал тему по поводу доступа к сайту с прокси 

Вот тема http://www.masterweb...-cherez-proksi/

 

Решение вроде как найдено, но тут же вопрос.

Если мы отправляем все ненужные нам страны в аут,одним словом практически все, кроме России.

То получается мы таким способом и отправляем в аут бота гугл? Яндекс то понятно "свой" Россия, а вот как по поводу бота гугла?

Или ему все эти ауты на 404 без разницы? Или же придется как то делать исключения ему, искать гугловские ip? 

 


 

 

  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Как запретить доступ к сайту
  2. Как ограничить доступ к страницам сайта?
  3. Запретить переходы с определенных сайтов
  4. Анонимность в Сети от профессионалов
  5. Как запретить доступ на сайт через прокси

#2 Ixman

Ixman
  • Пользователь PRO
  • 2 335 сообщений
  • Репутация: 528

Отправлено 12 Июнь 2014 - 13:30

По User Agent делать исключения для GoogleBot и YandexBot


Опять таки, что-то подобное, надо тестировать

RewriteCond %{HTTP_USER_AGENT} !GoogleBot [NC]
RewriteCond %{HTTP_USER_AGENT} !YandexBot [NC]
RewriteRule (.*) http://site.ru/$1 [R,L]

  • 0

#3 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 404 сообщений
  • Репутация: 703

Отправлено 12 Июнь 2014 - 13:30

На сколько я знаю, боты гугла ходят без User Agent. Могу ошибаться, но....


  • 0


#4 Ixman

Ixman
  • Пользователь PRO
  • 2 335 сообщений
  • Репутация: 528

Отправлено 12 Июнь 2014 - 13:31

Шпионы могут без юзер агента, а нормальные боты обязательно юзер агент указывают


  • 0

#5 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 404 сообщений
  • Репутация: 703

Отправлено 12 Июнь 2014 - 13:35

Так как боты у меня гостят часто, вот гугл бот "GET /sitemap-misc.xml.gz HTTP/1.1" 200 904 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


  • 0


#6 KataTelecom

KataTelecom
  • Неактивные
  • 31 сообщений
  • Репутация: 2

Отправлено 28 Июль 2014 - 12:14

Гуглобот еще может с мобильника ходить, это новая техника палить клоаки. Такчто смотрите. Не все так просто сейчас не 90тые.


  • 0


Оформление форума – IPBSkins.ru