Перейти к содержимому


Партнерская программа Kredov

Как закрыть теги от индексации в поисковых системах

#11 BLIK

BLIK
  • Супермодератор
  • 3 196 сообщений
  • Репутация: 634
0

Отправлено 24 Декабрь 2013 - 17:21

BLIK, а как на счёт того, что GoogleBot игнорирует robots.txt? И из "соплей" страницы исключить robots'ом не удастся?

Если робот.тхт правильно составлен. И посмотреть, что в гугле в выдаче, то сопли то появляются с пометкой документ запрещен в робот.тхт. Да и потом все сопли можно зайти в тот же гугл вебмастер и удалить "сопливые URL". Да и гугл сопли в выдачу не ставит. Сопли видны только при проверке сайта. Которые, как я сказал, с пометкой документ запрещен в робот.тхт.
  • 0


#12 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 24 Декабрь 2013 - 17:23

Ну их вообще можно избежать мета тегом, лично исключал так страницы
  • 0

#13 bigbaaaan

bigbaaaan
    Topic Starter
  • Пользователь
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:26

Какая разница проиндексировал яндекс сайт или нет. Робот.тхт можно проверить тут http://webmaster.yandex.ru/robots.xml без всяких проблем. Там Список URL вставьте проверьте,закрыли не нужное или нет. И разрешен ли доступ к нужным страницам. И последние не советую сайт грузить плагинами, если можно обойтись без них.

Вот что выдал яндекс после проверки robots. txt
Строка
16-30 User-agent: Yandex
Disallow: /cgi-bin
...
Host: simonca.ru


32-33 Sitemap: http://simonca.ru/sitemap.xml.gz
Sitemap: http://simonca.ru/sitemap.xml

Что это значит? Все нормально?
  • 0

#14 BLIK

BLIK
  • Супермодератор
  • 3 196 сообщений
  • Репутация: 634

Отправлено 24 Декабрь 2013 - 17:32

Ну их вообще можно избежать мета тегом, лично исключал так страницы

Гугл спецэффический. Самое оптимальное, ну и закрыть мета тегом и так в робот.тхт закрыть. Ну и наверняка чтоб избавиться от соплей, зайти в вебмастер и удалить URL соплей(если есть) Вот и все. :)

Вот что выдал яндекс после проверки robots. txt
Строка
16-30 User-agent: Yandex
Disallow: /cgi-bin
...
Host: simonca.ru


32-33 Sitemap: http://simonca.ru/sitemap.xml.gz
Sitemap: http://simonca.ru/sitemap.xml

Что это значит? Все нормально?


Вот вам пример, что яндекс выдает при проверке ссылки. Я просто взял в пример этот форум. Вбил ссылку на страницу с него же и он показал,что ссылка такого плана запрещена правилом. Вот как проверяют. Проверяйте URL доступ к ним.

Прикрепленные изображения

  • пример.png

  • 0


#15 bigbaaaan

bigbaaaan
    Topic Starter
  • Пользователь
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:34

Если робот.тхт правильно составлен. И посмотреть что в гугле в выдачи, то сопли то появляются с пометкой документ запрещен в робот.тхт Да и потом все сопли можно зайти в тот же гугл вебмастер и удалить "сопливые URL". Да и гугл сопли в выдачу не ставит. Сопли видны только при проверки сайта. Которые как я сказал с пометкой документ запрещен в робот.тхт.

Кстати, я действительно заметил, что ссылки в соплях прыгают. Проверил сайт, показал, что в соплях 49 ссылок, через минут 10 проверяю уже 53 стоят, еще через 5 минут 47 показывает. Ничего не понятно.
  • 0

#16 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 24 Декабрь 2013 - 17:35

BLIK, в справках Google указано, если страница закрыта через robots.txt, то они не гарантируют, что GoogleBot найдёт на странице мета тег
  • 0

#17 bigbaaaan

bigbaaaan
    Topic Starter
  • Пользователь
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:35

Вот что я еще не могу понять. В гугле сайт индексируется, когда ввожу адрес сайта выдает ссылки на сайт, а вот на liveinternet.ru в категории позиции гугла написано нет данных.
  • 0

#18 BLIK

BLIK
  • Супермодератор
  • 3 196 сообщений
  • Репутация: 634

Отправлено 24 Декабрь 2013 - 17:38

Для начала составьте файл основной, закройте админ часть и технические разделы(гугл их даже в сопли не кидает) а потом уже редактируйте то, что не будет устраивать.

BLIK, в справках Google указано, если страница закрыта через robots.txt, то они не гарантируют, что GoogleBot найдёт на странице мета тег

Ну я и говорю гугл не яндекс. Мне если и нужно было избавиться, я прописывал и робот.тхт и ставил в гугле URL на удаление и все.
  • 0


#19 bigbaaaan

bigbaaaan
    Topic Starter
  • Пользователь
  • 73 сообщений
  • Репутация: 1

Отправлено 24 Декабрь 2013 - 17:46

А вы случайно не знаете как посмотреть ссылки которые попали в "сопли"?
  • 0

#20 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 24 Декабрь 2013 - 17:48

https://www.google.r...-8&oe=UTF-8

domain.ru замените на свой адрес
  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru