Перейти к содержимому

Сервис обмена электронных валют


Редирект с отсеиванием юзер агентов без блокировки ip

#1 technokid

technokid
  • Пользователь
  • 2 сообщений
  • Репутация: 0
0

Отправлено 09 Июль 2016 - 15:43

Ребята у меня такая тема - я работаю на фейсбуке занимаюсь арбитражем. Но он зараза банит много партнерок. Я пытаюсь сделать через свой домен редирект на партнерскую ссылку так чтобы все юзер агенты фейсбука были отсеяны и попали вникуда а люди на партнерку. Просто редирект приводит к тому что боты читают контент и ссылку блокают быстро

 

Я запретил доступ к сайту роботам в робот тхт и внес правила в htaccess запрещающие роботам доступ к контенту но максимум 2-3 дня и все равно блок значит ссылки и пр все таки они считывают. Как можно это сделать правильно? Чтобы они не видели ничего на сайте ну или подменить содержимое для роботов одно а для людей другое

 

ip америки можно  блокнуть конечно тк они оттуда идут но я на амерах и зарабатываю в основном а блокировать частные ip их у фейсбука тысячи это нереально


 

 

  • 0

#2 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 09 Июль 2016 - 17:23

@technokid, ну а как вычислить юзер-агенты ботов  фейсбука, если они ходит под стандартными юзер-агентами популярных браузеров? Это я к примеру. Конечно же, тут разбираться надо, но юзер-агент ни в коем случае не является условием для отсеивания.

 

А так нужно разработать алгоритм отлавливания ботов по каким-то критериям. Думаю для этого нужно что-то из JS, чтобы анализировало на стороне клиента, и скидывало на сервер данные, где уже бы определяло бот это или человек. Ну и таким образом собирать базу IP ботов


  • 0

#3 technokid

technokid
    Topic Starter
  • Пользователь
  • 2 сообщений
  • Репутация: 0

Отправлено 09 Июль 2016 - 18:20

@Ixman,

 

ботов я знаю но ip фейсбук все время меняет их все заблокировать нереально. 

 

сперва выхода не было прямые ссылки фб блокировал и блокировал лендинги со ссылками на партнерки если они в черном списке и редиректы

 

затем я прописал в файле robots

User-agent: *

Disallow: /
 
в файле .htaccess прописал
 

RewriteCond %{HTTP_USER_AGENT} ^FacebookExternalHit [OR]
RewriteCond %{HTTP_USER_AGENT} ^Facebook [OR]
RewriteCond %{HTTP_USER_AGENT} ^Face
RewriteRule ^(.*)$ http://%{REMOTE_ADDR}/$ [r=301,l]
 
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
 
Order Allow,Deny
Allow from all
Deny from env=bad_bot 
 
- это продлило жизнь ссылок до бана на пару дней тк фб читал ссылки на партнерки в кнопках
 
тогда я в кнопки стал вставлять белые ссылки ни о чем так сказать а при нажатии партнерку сделал чтобы открывалась с кликандера
 

<script type="text/javascript">
var params = "menubar=yes,location=yes,resizable=yes,scrollbars=yes,status=yes"
function PopShow3() {
CookieTest=navigator.cookieEnabled;
if(CookieTest)
{
ClickUndercookie = GetCookie('clickunder');
if (ClickUndercookie == null)
{
var ExpDate = new Date ();
ExpDate.setTime(ExpDate.getTime() + (0 * 0 * 1 * 1000));
SetCookie('clickunder','1',ExpDate, "/");
window.open("ПАРТНЕРСКАЯ ССЫЛКА", "Google", params);
window.focus();
}
}
}
function GetCookie (name) {
var arg = name + "=";
var alen = arg.length;
var clen = document.cookie.length;
var i = 0;
while (i < clen) {
var j = i + alen;
if (document.cookie.substring(i, j) == arg)
return getCookieVal (j);
i = document.cookie.indexOf(" ", i) + 1;
if (i == 0) break;
}
return null;
}
function SetCookie (name, value) {
var argv = SetCookie.arguments;
var argc = SetCookie.arguments.length;
var expires = (argc > 2) ? argv[2] : null;
var path = (argc > 3) ? argv[3] : null;
var domain = (argc > 4) ? argv[4] : null;
var secure = (argc > 5) ? argv[5] : false;
document.cookie = name + "=" + escape (value) +
((expires == null) ? "" : ("; expires=" + expires.toGMTString())) +
((path == null) ? "" : ("; path=" + path)) +
((domain == null) ? "" : ("; domain=" + domain)) +
((secure == true) ? "; secure" : "");
}
document.onmouseup=PopShow3;
</script>
 
 

при такой системе по ссылке стала подтягиваться ошибка в фейсбуке вместо контента и лендинги банить перестал хотя люди идут и всё работает но хоть убей не пойму почему читает ссылки с кнопок и как это заблокировать и всё равно при том если настроить с сайта редирект банит ссылку слету тогда несмотря на то что вроде не читает содержимое

 

у меня от борьбы с этой сетью мозги плавятся за 3 года  :blink:



Сообщение отредактировал technokid: 09 Июль 2016 - 18:21

  • 0

#4 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 09 Июль 2016 - 20:04

А не может быть такого, что боты ходят под стандартными UA, так как знаю что поисковики используют для ботов шпионов. Ну а правило в robots.txt разве оно для FB указ? Это чисто для поисковиков, и то как рекомендация!


  • 1


Оформление форума – IPBSkins.ru