Перейти к содержимому


Партнерская программа Kredov

Robots

#21 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8
0

Отправлено 06 Март 2011 - 22:35

fanya,
напишите тогда в robots:
Disallow: /*.html/*
Думаю, поможет :)
  • 0

#22 Игорь Пастер

Игорь Пастер
  • Пользователь
  • 6 сообщений
  • Репутация: 0

Отправлено 07 Март 2011 - 07:37

tati777,
У вас не

User-agent: *
Disallow:
а
User-agent: *
Disallow: /
Таким образом вы запретили всем роботам индексацию всего сайта.
Правильный первый вариант, а не второй.

:) Добрый день молодой человек! Скажите, а вот у меня тоже ucoz-sity и содержание файла такого:
User-agent: * 
Disallow: /a/ 
Disallow: /stat/ 
Disallow: /index/1 
Disallow: /index/2 
Disallow: /index/3 
Disallow: /index/5 
Disallow: /index/7 
Disallow: /index/8 
Disallow: /index/9 
Disallow: /main/ 
Disallow: /admin/ 
Disallow: /secure/ 
Disallow: /informer/ 
Disallow: /forum/
Это означает, оно всё индексироваться не будет?
  • 0

#23 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 07 Март 2011 - 14:39

Игорь Пастер, приветствую. Вы директивами в файла robots.txt можете только порекомендовать роботам ПС не индексировать страницы, указанные в robots.txt, а уж следовать им, все дело вкуса робота :)
Например Google отвечает так:

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Яндекс ничего не пишет по поводу индексации запрещенных страниц по внешним ссылкам...

Большинстов роботов не будут индексировать страницы ваших сайтов, содержащие в URL:
/a/*
/stat/*
/index/1*
/index/2* 
/index/3*
/index/5*
/index/7*
/index/8*
/index/9*
/main/*
/admin/*
/secure/*
/informer/*
/forum/*
Где * означает 0 или более любой последовательности символов.
Возможно некоторыми роботами ваши правила в Disallow могут показаться некорректными. Т.к. в конце каждого правила у вас стоит пробел.

Я так понимаю, у вас форум на поддомене или на отдельном домене, поэтому вы запретили к индексу форум по URL /forum/
  • 0

#24 bumer

bumer
  • Пользователь
  • 502 сообщений
  • Репутация: 0

Отправлено 11 Март 2011 - 09:49

Не могу добавить robots.txt в панель Явебмастер, пишет что Загрузка не может быть выполнена, в гугл добовляется все нормально. В чем может быть причина?
  • 0

#25 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 11 Март 2011 - 23:22

bumer, а как вы его пытаетесь добавить? Яша robots.txt считывает с сервера, где лежит сайт. В Я.Вебмастер есть инструмент для анализа данного файла и только. Что понимается под словами - "Не могу добавить robots.txt в панель Явебмастер, пишет что Загрузка не может быть выполнена"
  • 0

#26 bumer

bumer
  • Пользователь
  • 502 сообщений
  • Репутация: 0

Отправлено 12 Март 2011 - 11:02

Нажимал на кнопку Загрузить robots.txt с сайта, после сегоднешнего апа роботс добавился автоматически, теперь проблема вот чем- Сайт является зеркалом www.webbum.ru, добавить www.webbum.ru получается мой основной домен с www и все ссылки нужно делать чтобы они открывали как www.webbum.ru/seo правильно ли я понимаю?
P.s с joomla небыло таких проблем((
  • 0

#27 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 12 Март 2011 - 12:08

bumer, не очень понял по домену. У вас есть домен webbum.ru, вы хотите сделать с www - основным, а без www - зеркалом, так? А у вас на сайте все ссылки формата webbum.ru, так? И вы спрашиваете, как перенаправить обращения без www на страницы с www?
  • 0

#28 bumer

bumer
  • Пользователь
  • 502 сообщений
  • Репутация: 0

Отправлено 12 Март 2011 - 12:42

сам яндекс определил мой домен http://webbum.ru зеркалом, и говорит что основной домен www.webbum.ru, как сделать ссылки с ввв и без ввв я знаю, я хочу чтобы яндекс определил мой домен основным как http://webbum.ru
прописал в .htacccess слеующии строки
RewriteCond %{HTTP_HOST} ^www.webbum.ru$ [NC]
RewriteRule ^(.*)$ http://webbum.ru/$1 [R=301,L]
По идеи он должен склеить подождем посмотрим.
  • 0

#29 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 12 Март 2011 - 13:25

bumer, почитай про директиву Host файла robots.txt робота Yandex.
  • 0

#30 shan907

shan907
  • Пользователь
  • 9 сообщений
  • Репутация: 0

Отправлено 18 Март 2011 - 12:28

А файл роботс может стоять по умолчанию есть сайт с шаблона укоз?

На укозе стоит по умолчанию, запрещает все не нужные страници (действительно не нужные), к нему нет доступа, но можно посмотреть по адресу: http://сайт.ru/robots.txt. Можно загрузить свой файл, после этого файл по умолчанию удаляется автоматически. И в обратном, если удалить свой файл, файл по умолчанию опять появляется.
  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru