X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Редирект с отсеиванием юзер агентов без блокировки ip
technokid_mw
technokid_mw
Topic Starter сообщение 9.7.2016, 16:43; Ответить: technokid_mw
Сообщение #1


Ребята у меня такая тема - я работаю на фейсбуке занимаюсь арбитражем. Но он зараза банит много партнерок. Я пытаюсь сделать через свой домен редирект на партнерскую ссылку так чтобы все юзер агенты фейсбука были отсеяны и попали вникуда а люди на партнерку. Просто редирект приводит к тому что боты читают контент и ссылку блокают быстро

Я запретил доступ к сайту роботам в робот тхт и внес правила в htaccess запрещающие роботам доступ к контенту но максимум 2-3 дня и все равно блок значит ссылки и пр все таки они считывают. Как можно это сделать правильно? Чтобы они не видели ничего на сайте ну или подменить содержимое для роботов одно а для людей другое

ip америки можно  блокнуть конечно тк они оттуда идут но я на амерах и зарабатываю в основном а блокировать частные ip их у фейсбука тысячи это нереально
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ixman
ixman
сообщение 9.7.2016, 18:23; Ответить: ixman
Сообщение #2


technokid_mw, ну а как вычислить юзер-агенты ботов  фейсбука, если они ходит под стандартными юзер-агентами популярных браузеров? Это я к примеру. Конечно же, тут разбираться надо, но юзер-агент ни в коем случае не является условием для отсеивания.

А так нужно разработать алгоритм отлавливания ботов по каким-то критериям. Думаю для этого нужно что-то из JS, чтобы анализировало на стороне клиента, и скидывало на сервер данные, где уже бы определяло бот это или человек. Ну и таким образом собирать базу IP ботов
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
technokid_mw
technokid_mw
Topic Starter сообщение 9.7.2016, 19:20; Ответить: technokid_mw
Сообщение #3


Ixman,

ботов я знаю но ip фейсбук все время меняет их все заблокировать нереально. 

сперва выхода не было прямые ссылки фб блокировал и блокировал лендинги со ссылками на партнерки если они в черном списке и редиректы

затем я прописал в файле robots
User-agent: *
Disallow: /

 

в файле .htaccess прописал

 


RewriteCond %{HTTP_USER_AGENT} ^FacebookExternalHit [OR]

RewriteCond %{HTTP_USER_AGENT} ^Facebook [OR]

RewriteCond %{HTTP_USER_AGENT} ^Face

RewriteRule ^(.*)$ http://%{REMOTE_ADDR}/$ [r=301,l]

 

SetEnvIfNoCase User-Agent facebookexternalhit bad_bot

 

Order Allow,Deny

Allow from all

Deny from env=bad_bot 

 

- это продлило жизнь ссылок до бана на пару дней тк фб читал ссылки на партнерки в кнопках

 

тогда я в кнопки стал вставлять белые ссылки ни о чем так сказать а при нажатии партнерку сделал чтобы открывалась с кликандера

 


<script type="text/javascript">

var params = "menubar=yes,location=yes,resizable=yes,scrollbars=yes,status=yes"

function PopShow3() {

CookieTest=navigator.cookieEnabled;

if(CookieTest)

{

ClickUndercookie = GetCookie('clickunder');

if (ClickUndercookie == null)

{

var ExpDate = new Date ();

ExpDate.setTime(ExpDate.getTime() + (0 * 0 * 1 * 1000));

SetCookie('clickunder','1',ExpDate, "/");

window.open("ПАРТНЕРСКАЯ ССЫЛКА", "Google", params);

window.focus();

}

}

}

function GetCookie (name) {

var arg = name + "=";

var alen = arg.length;

var clen = document.cookie.length;

var i = 0;

while (i < clen) {

var j = i + alen;

if (document.cookie.substring(i, j) == arg)

return getCookieVal (j);

i = document.cookie.indexOf(" ", i) + 1;

if (i == 0) break;

}

return null;

}

function SetCookie (name, value) {

var argv = SetCookie.arguments;

var argc = SetCookie.arguments.length;

var expires = (argc > 2) ? argv[2] : null;

var path = (argc > 3) ? argv[3] : null;

var domain = (argc > 4) ? argv[4] : null;

var secure = (argc > 5) ? argv[5] : false;

document.cookie = name + "=" + escape (value) +

((expires == null) ? "" : ("; expires=" + expires.toGMTString())) +

((path == null) ? "" : ("; path=" + path)) +

((domain == null) ? "" : ("; domain=" + domain)) +

((secure == true) ? "; secure" : "");

}

document.onmouseup=PopShow3;

</script>


 

 


при такой системе по ссылке стала подтягиваться ошибка в фейсбуке вместо контента и лендинги банить перестал хотя люди идут и всё работает но хоть убей не пойму почему читает ссылки с кнопок и как это заблокировать и всё равно при том если настроить с сайта редирект банит ссылку слету тогда несмотря на то что вроде не читает содержимое

у меня от борьбы с этой сетью мозги плавятся за 3 года  :blink:



Сообщение отредактировал technokid - 9.7.2016, 19:21
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ixman
ixman
сообщение 9.7.2016, 21:04; Ответить: ixman
Сообщение #4


А не может быть такого, что боты ходят под стандартными UA, так как знаю что поисковики используют для ботов шпионов. Ну а правило в robots.txt разве оно для FB указ? Это чисто для поисковиков, и то как рекомендация!


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) PROXY-STORE.COM — ipV4 прокси от 42р В МЕСЯЦ с ротацией и без! Лучшая цена на рынке. 200+ стран
18 proxystore 4681 Вчера, 20:00
автор: proxystore
Открытая тема (нет новых ответов) Скрипты и программы на заказ любой сложности. Без предоплаты. Быстро, качественно и недорого!
4 c4p1t4l15t 2238 26.3.2024, 21:38
автор: c4p1t4l15t
Открытая тема (нет новых ответов) Сайт не индексируется в Google без добавления ссылок в адурилку
4 Nekit 990 20.3.2024, 21:44
автор: MorKer
Открытая тема (нет новых ответов) JustProxy - Резидентые прокси без ограничения по трафику
Residential rotating proxy
16 justproxy 5641 20.3.2024, 14:57
автор: ManagerAE8888
Открытая тема (нет новых ответов) Большие базы Semrush кейвордов по разным тематикам! Много кейвордов с трафиком и без конкуренции! Volume, KD, CPC
20 Krok 6224 18.3.2024, 5:43
автор: Krok


 



RSS Текстовая версия Сейчас: 29.3.2024, 6:17
Дизайн