Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Как вывести сайт из под АГС

#1 Rexxar

Rexxar
  • Пользователь
  • 590 сообщений
  • Репутация: 36
2

Отправлено 09 Октябрь 2013 - 12:28

Инструкция "Как вывести сайт из под АГС".

Здравствуйте форумчане Masterwebs’a!

В этой теме я буду рассказывать вам про то, что такое АГС и как с ним правильно бороться.

Что такое АГС?

Начнем с истории, если вас интересует только практическая часть, то смело переходите к практической части.

На заре 2008 года, судя по рассказам очевидцев, появился этот фильтр. Я сам в то время учился где-то в 10-11 классе, так что рассказывать эту часть темы буду со слов более “древних” вебмастеров. Как говорят “древние” – “Некоторые гамнюки добавляли на сайты под 100 ссылок” – на данный момент мне представить сложно вот такой сайт, но я верю своим Мялимам. Вебмастера становились ленивее и ленивее, сайты превращались в помойки для манипуляций выдачей. И в это время Яндекс смело сказал всем таким вебмастерам - “А ну, цыц!!” B) и выкинул из выдачи весь мусор. Из этой истории вы должны были уловить причину создания АГС – борьба с плохими сайтами!!!

Практическая часть

Как сказано выше, АГС трогает только некачественные сайты! И Если СДЛ попал под АГС это повод задуматься на самом ли деле он СДЛ. Ведь СДЛность сайта определяется не уровнем вашей любви к сайту, а уровнем полезности контента, а также не редко уровнем востребованности контента.

Как скоро действовать?

Время лечит, время убивает, время самый ценный дар которым обладает человек. И Яндекс тоже так считает, если вы обнаружили что СЕГОДНЯ после апдейта у вас выкинуло почти все страницы или в выдаче осталось около 1-3 страниц, обычно морда и категории, то это уже должно насторожить. Зайдите на сайт, проверьте его состояние по ниже перечисленным факторам, исправьте все или то что быстро исправляется и отправьте письмо платонам. На себе проверял много раз каким должно быть письмо, так что читаем далее.

Что писать?

На самом деле лучше написать немного не стандартное письмо. Или же писать его с ошибками, специально, для того чтобы бот не отправил вам стандартное письмо. Но на любое стандартное письмо вида “Почему сайт не индексуется?” вы получите стандартный ответ, Платон-человек отправит вам шаблон, ведь вы не написали письмо должным образом. Зачем ему париться над проблемой вашего сайта, когда у вас даже нет времени отписать свою проблему?

Поэтому задавайте сразу несколько вопросов из разных областей, чтобы у платона появилось желания написать все и даже открыть сайт.

Например:
- нормальный у меня хостинг или часто бывает, что бот яндекса не может получить к нему доступ?
- уровень контента на сайте нормальный или нет?
- сколько нужно сделать страниц для того чтобы у меня было 1000 людей в сутки?
- У меня на сайте есть дубли согласно данным яндекс бота?
- Почему мало посетителей? – на такое и высылают стандартный ответ. Ведь все это есть в справке вебмастеру.

После ответа, анализируйте его и просто отвечайте на само письмо Платону из почтового клиента. Внимание! Сразу на почту по вопросам конкретного сайта можете не писать, скажут добавьте сайт в ЯВ и оттуда отправить письмо. После того как вы поймете проблемы сайта, исправьте их срочно, и быстренько выскажите Платону свои благодарности за помощь, скажите что все проблемы устранены, дайте ссылки, прикрепите скрины, покажите то что вы занимаетесь сайтом.

Ждите ответ, получилось? – УРА!
Нет? – читаем далее.

То есть время очень важно, гораздо сложнее вытаскивать старые сайты, так как на них Траст Пофигизма. Но бывает такое, что некоторые старые сайты сами вылезают из под фильтра, это та грань между факторами, когда возраст и естественное развитие немного спасает. Но не стоит думать каждый старый сайт может вылезть из под фильтра самостоятельно. Это зависит от количества факторов, из-за которого сайт попал под фильтры.

Факторы фильтрации АГС

Для того чтобы попасть под фильтр вам нужно угодить под колею яндекса. Для наложения фильтра достаточно даже одного фактора, так как некоторые факторы настолько многопрофильны.

• Контент сайта
• Дубли контента
• Доступность сайта

Вот эти проблемы мы и начнем сейчас устранять.

Лечим контент

Контент на самом деле самая тяжелая проблема любого сайта, так как контент самая важная часть сайта, и иногда владельцы сайтов не балуют свой сайт хорошим контентом, а зря. Ведь добавив на сайт не уникальный контент, синонимайз, скан или не качественный рерайт вы рискуете попасть под АГС и другие фильтры, которые тоже можно обозначить как АГС ибо они тоже против некачественных сайтов.

В зависимости от размера сайта, есть процент лимитов на этот самый не качественный контент. Лимит может зависеть от тематики и типа контента и целой кучи факторов. То есть, на сайт с 1000 страниц не наложат агс из-за 20 не качественных страниц отрерайченых новичком или неумехой, в большинстве случаев, но не всегда. Всегда бывают исключения!

Структура сайта. Структура должна быть удобной, в зависимости от тематики и типа сайта. Дизайн можно использовать паблик, но очень желательно все же заказать свой собственный. Большинство страниц должно быть в расстоянии ув2-ув3 от главной, то есть они не должны быть глубоко зарыты, такие страницы не то что не получают трафик, они обычно вылетают из индекса яндекса. Старайтесь использовать не длинные ЧПУ.

Движок и код сайта. Движок и код тоже играет немаловажную часть в жизни сайта - прямую и косвенную. Движок выбирайте любой, какой вам удобнее. Главное настроить правильный код. При верстке укажите требование делать контентную часть в самом верху сайта, визуальный вид ничего не теряет, это достигается посредством css. Перед контентом не желательно добавлять жава скрипты и программный мусор. Очень желательно чтобы чисто код не составлял более 80 процентов размера страницы. Код также делать максимально легким, от этого зависит скорость работы сайта и возможные неполадки. Советую использовать Dle.

Статья под людей. Итак, контент должен быть читаем, форматирован на абзацы, должны выделяться ключевые слова, 1-2 выделений вполне хватит. Желательно добавить картинку, можно прописать альт, титле картинки, но не обязательно. Очень желательно следить за грамматикой, пунктуацией. Ключи старайтесь выделять тегами strong или b. Не забывайте, то что заголовок статьи должен быть в теге h1, подразделы очень желательно h2..h6. На гс можно использовать выделения первого или/и последнего абзаца для придания статье информационного характера, такие статьи намного реже других выпадают из индекса. Хотя на СДЛ тоже можно! ;)

Title, Keywords, Description. Эти теги важны для правильной релевантной индексации страниц. Title следует делать уникальным, на похожим полностью на заголовок статьи, а также на Title других сайтов из выдаче, гугл такие сайты склеит, а яндекс может выкинуть. Title своего рода описание статьи в одном предложении в среднем 60 символами. В Keywords оставьте теги статьи - это 1-3 ключевых слова по статье. Description советую делать только читаемым, частая причина АГС именно этот пункт, в Description делайте несколько предложений суммарной длиной около 80-90 знаков.

Внутренняя перелинковка. Должна выполняться внутренняя перелинковка страниц. И главное не нужно себя ограничивать в количестве ссылок, если в тексте встречается прямое или косвенное вхождение в название другой статьи, то ссылайтесь на нее. Если таких ссылок на 1000 знаков аж 4-10, то почему нельзя на них ссылаться? Можно, главное не искривить из-за этой перелинковски сами анкоры и таким образом не убить читаемость. Если в одной "донорной" странице будут вхождения на другую страницу несколько раз, линкуйте либо в самой первой возможности, или же в той которая больше подходит с точки зрения логики.

Похожие статьи. В зависимости от движка используйте модуль для вывода похожих статей, это поможет вам увеличить кол-во просмотров сайта, что в конечном итоге может отвлечь пользователя от возврата в выдачу. Что очень даже полезно. Старайтесь не дублировать полностью короткую новость, одной двух фраз вполне достаточно.

Последние статьи. Если сайт часто обновляется, то вам необходимо установить вывод последних статей, новостей на страницах, если у вас много разделов и движок позволяет вы можете сделать вывод в каждом разделе, странице вывод последних новостей из своей подтемы, это увеличит релевантность статей, новостей, а также сделает сайт более уникальнее с точки зрения обоих ПС. Старайтесь не дублировать полностью короткую новость, одной двух фраз вполне достаточно.

Лечим дубли

Найти дубли не сложно, хотя зависит от конкретного сайта. Ознакомитесь со структурой сайта, просмотрите где контент повторяется. Это всякие мультикатегории, или же просто случайно одни и те же посты добавили два раза :) Записываем все дубли в блокнотик.

В данном пунктике мы будем закрывать страницу от индексации с файлом robots.txt. Рассмотрим пример закрытия дублей сайта.

На сайте 3 категории: cat1, cat2, cat3. В каждой категории по 30 постов, в каждой категории 3 страницы с постами, то есть в каждой странице категории выводятся по 10 постов, типа cat1/page/1.html итп. С главной страницы есть ссылки на все три категории и все вроде нормально, если конечно эти посты не идут по главной странице и не дублируются. Или же некоторые посты оказываются сразу в нескольких категориях. Такой тип сайта часто встречается.

Если они все таки дублируются, то нужно закрыть от индексации все дубли.

1 способ. В данном случае мы можем закрыть именно страницы категорий. Почему? Ведь страницы на посты с главной страницы имеют ув-1, то есть находясь в категории они находятся дальше, а с главной они ближе к главной, а значит ценнее. Такой принцип используйте если сайт планируется маленький, так как я не уверен что он принесет плоды при 10000 ссылок с главной, не проверял. А вот для сайтов со 100 страницами вполне нормально.

Итак, делаем robots.txt.

User-agent: YandexBot # делаем роботс только под бота яндекса
Disallow: /cat1/page/
Disallow: /cat1/page/
Disallow: /cat1/page/

Заметьте, мы закрыли именно страницы от категорий, а не САМИ категории. То есть страницы вида cat1 будут продолжаться индексироваться, на такие страницы советую покупать ссылки и продвигать их по запросам. Их закрывать смысла нету, там будет практически динамический контент, при условии обновления. Таким образом, контент в категориях остается, пользователям будет удобнее искать через категории, но сами страницы от категории вида cat/page/1.html, cat1/page/2.html уже не будут индексироваться. Грузим роботс в корень и готова.

2 способ. Если сайт планируется крупный, статейник какой нибудь, то рекомендую сделать на главной вывод последних статей, новостей со всех категорий, именно в контент баре, и не ссылаться на под страницы с постами.

User-agent: YandexBot # делаем роботс только под бота яндекса
Disallow: /page/ # закрываем страницы
Страницы идущие через главную будут закрыты от индексации. Если сайт новый, то советую сразу не ставить дубли контента на главной возможностями движка.

Если сайт старый, то закройте эти дубли через роботс и потом через функционал сайта.

При работе с роботс вы можете случайно закрыть нужный раздел, будьте аккуратны, необходимая информация по работе с роботс находится тут.

А после того как вы проделали работу, не забудьте проверить правильно ли работают сделанные указания тут. Если нужные страницы не доступны для добавления, то вы что-то сделали неправильно.

Посмотреть как выглядит robots.txt в глазах яндекса можно тут.

Доступность сайта.

Сайт должен открываться каждый день, каждый час и секунду, но ввиду некоторых особенностей хостингов, иногда сайты не доступны каждый день, а некоторые настолько далеко отличились в коварстве, что просто банят айпи ботов. Это является довольно частой причиной выпадений, после переписки с супортом хостингов можно услышать, что проблемы не в их хостинга, а в яндексе. Но в любом случае нам с такими хостингами не по пути, раз уж мы хотим вывести сайт из под агс, и тем более раз уж они банят активные айпи.

Были случаи когда сайт вылезал из под агс через пару недель после смены хостинга!!! Но всеже часто удавалось добиться снятия фильтра ручками после некоторых работ. Если у вас неплохой хостинг, то можете оставаться на нем, но если вам уже удавалось стать свидетелем недоступности сайта в момент когда "ну очень надо", то все же смените хостинг провайдера.

ИТОГ


​Итак, для снятия АГС вам понадобится вылечить контент, вылечить дубли и проверить доступность хостинга.

Все это сделал, и как теперь снять этот фильтр АГС?

После того как проблемы устранены, вы можете отписать Платонам с улыбкой от уха до уха. и показать что вы неплохо поработали над сайтом. И полается снятие фильтров, часто бывает что люди не чистят все проблемы, могут оставить кривые титле, или оставить длинные некрасивые заголовки статей.

Совет, делайте все сразу, чтоб потом не нужно было к этому возвращаться! Если сайт не стоит вывода из под фильтра, то нечего на него время тратить.

И после полной реинкарнации сайта вам скажут, что сайт появится в выдаче через 1-2 апдейтов поисковой базы. Но это своего рода ручное снятие - не знаю хорошо это или плохо! Но есть другой способ :)

Другой способ

Другой способ заключается в том, что только вы будете знать что сайт был под санкциями, ну может какие-то анализаторы. То есть никаких ручных санкций с сайтом от ПС не будет, есть много мифов, разрушить которые я пока не могу, и поэтому некоторым может подойти такой вариант.

Итак, скачиваем robots.txt и сохраняем его на коипе, он нам понадобится. А этот мы заменяем на такой.

User-agent: YandexBot # делаем роботс только под бота яндекса
Disallow: /

Если у вас до этого была одна директива на обе пс, то просто скопируйте код сверху, если у вас была директива для яндекса то полностью замените ее на код сверху.

Таким образом, мы запрещаем яндексу индексировать контент на сайте - вот такие мы злые и готовы самому популярному ПС в РФ закрыть доступ к своему контенту :)

Добавляем роботс в корень, ждем переиндексации около 1-2 недель и вуаля, через пару дней мы увидим, что в индексе теперь не 1-3 страницы, а 1 страница главная, и то только урл сайта.

После этого подождите около недели, и потом верните первую версию роботса и ждите переиндексации сайта. ;) Сайт снова в индексе и без ручного вмешательства со стороны ПС.

Если у вас свои идейки, которых я не высказал, то смело добавляйте их. Так тема будет намного полезнее для каждого вебмастера, который не хочет загнать сайт под АГС, или для того кому уже надо вытащить сайт из под него же!

Спасибо за внимание! Статья написана специально под конкурс "Статейник - 3".

При поддержке: Seohammer - ссылочный агрегатор нового поколения. Обсудить на форуме.

Изображение

 

 

  • 1


#2 Beggarm

Beggarm
  • Пользователь
  • 432 сообщений
  • Репутация: 43

Отправлено 09 Октябрь 2013 - 12:49

Очень печально ловить фильтр и не важно писсимизация или АГС. По сути обычно причина фильтра, это шлако-контент и шлако-ссылки. Про дубли страниц прочитал с месяц назад.
З.Ы: статья полезная, особенно новичку :)
  • 0

#3 Rexxar

Rexxar
    Topic Starter
  • Пользователь
  • 590 сообщений
  • Репутация: 36

Отправлено 09 Октябрь 2013 - 13:36

Beggarm, насчет ссылок многие так думают. Но почти всегда ссылки не имеют весомой роли. Пару раз на сайтах продолжали висеть ссылки и легко снимал агс. Почти всегда дело именно в контенте. Тут полностью согласен полностью.
  • 0


#4 Artemcher96

Artemcher96
  • Пользователь
  • 301 сообщений
  • Репутация: 13

Отправлено 10 Октябрь 2013 - 09:28

А вы случайно не знаете почему в поддержке яндекса ответ приходит от Платона Щукина, это сверх человек который может отвечать тысячам людей ежедневно или он клонирован? =)
  • 0

#5 Rexxar

Rexxar
    Topic Starter
  • Пользователь
  • 590 сообщений
  • Репутация: 36

Отправлено 10 Октябрь 2013 - 10:23

Мне кажется технологи яндекса не настолько высоки чтобы клонировать человека. Это просто выдуманный псевдоним, такой же как вяся пупкин.
  • 0


#6 Lydmila

Lydmila
  • Пользователь
  • 156 сообщений
  • Репутация: 21

Отправлено 11 Октябрь 2013 - 07:39

Слышала о таком способе вывода из под АГС - после исправления ошибок на сайте удаление его на время из индекса . Спасибо, за подробное описание этого способа ( от меня +). Но думаю ссылки все же оказывают значительное влияние, просто был опыт вывода из под поисковых фильтров. Там в бесплатных шаблонах были установлены скрытые ссылки и коды ротаторов, после их удаления показатели дружно пошли вверх ( ну и контент слегка подправила чисто визуально - выравнивание, списки, маркировка и т.д, оптимизация медиафайлов).
  • 0

#7 Jean

Jean
  • Пользователь PRO
  • 1 237 сообщений
  • Репутация: 218

Отправлено 11 Октябрь 2013 - 12:53

Artemcher96, Rexxar, Там есть ещё и Лера Страза)))
  • 1
Научу вас Seo оптимизировать и продвигать сайт, стоимость от 150р час, теория+практика
Консультирую по Интернет рекламе


#8 Rexxar

Rexxar
    Topic Starter
  • Пользователь
  • 590 сообщений
  • Репутация: 36

Отправлено 11 Октябрь 2013 - 14:44

Там в бесплатных шаблонах были установлены скрытые ссылки и коды ротаторов

Это вполне могло сойти за черное сео, так как скрытый или невидимый/плохо видимый контент это уже даже не серое. И при удалении этих ссылок вы могли удалить и несколько других косяков. После переписки с платонами убедился что ссылки редко виновны в фильтрах, если только на сайте нет ничего полезного и он предназначен только для торговли ссылками, тогда да, и поисковики уже такие сайты давно палят. И конечно, если у вас не по 4 ссылки в каждом блоке.

Jean, ни ризу не видел такую, надеюсь уже и не придется видеть :)
  • 0


#9 Rexxar

Rexxar
    Topic Starter
  • Пользователь
  • 590 сообщений
  • Репутация: 36

Отправлено 02 Ноябрь 2013 - 19:59

Только что получил ответ от Лены Смешновы :D
  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru