Перейти к содержимому


Пользователь месяца
ShowPrint ShowPrint 1-й за Сентябрь
Очков активности: 283 2 темы, 21 сообщение, 7 баллов репутации
Сайт: ShowPrint.ru
ТОП самых активных за этот месяц
  • Фотография Medvedoc
    #1

    Medvedoc
    Очков активности: 456 8 тем, 52 сообщения, 4 балла репутации

  • Фотография ShowPrint
    #2

    ShowPrint (ShowPrint.ru)
    Очков активности: 300 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #3

    BLIK
    Очков активности: 210 Вне конкурса за определение пользователя месяца

  • Фотография Игорь Ку
    #4

    Игорь Ку (dudesday.ru)
    Очков активности: 102 4 темы, 5 сообщений, 4 балла репутации

  • Фотография WGN
    #5

    WGN (worldgamenews.com)
    Очков активности: 84 Вне конкурса за определение пользователя месяца

  • Фотография Алексей111
    #6

    Алексей111 (xvideo24.ru)
    Очков активности: 66 8 тем, 20 сообщений, 1 балл репутации

  • Фотография Ixman
    #7

    Ixman (o5cat.ru)
    Очков активности: 63 0 тем, 14 сообщений, 3 балла репутации

  • Фотография yuran
    #8

    yuran (yurbol.ru)
    Очков активности: 37.5 1 тема, 22 сообщения, 1 балл репутации

  • Фотография Zevss
    #9

    Zevss (domles43.ru)
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Фотография devpro
    #10

    devpro
    Очков активности: 13.5 0 тем, 9 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Kwork.ru - услуги фрилансеров от 500 руб.

Поддержите форум! =)
Апдейты
  • Яндекс тИЦ: 26.09.2018
  • Яндекс выдача: 18.10.2018
Топ 5 участников по репутации


Robots (стр. 3)

#21 ZiTosS

ZiTosS
  • Неактивные
  • 5148 сообщений
  • Репутация: 8
0

Отправлено 06 March 2011 - 22:35

fanya,
напишите тогда в robots:
Disallow: /*.html/*
Думаю, поможет :)
  • 0

#22 Игорь Пастер

Игорь Пастер
  • Неактивные
  • 6 сообщений
  • Репутация: 0

Отправлено 07 March 2011 - 07:37

tati777,
У вас не

User-agent: *
Disallow:
а
User-agent: *
Disallow: /
Таким образом вы запретили всем роботам индексацию всего сайта.
Правильный первый вариант, а не второй.

:) Добрый день молодой человек! Скажите, а вот у меня тоже ucoz-sity и содержание файла такого:
User-agent: * 
Disallow: /a/ 
Disallow: /stat/ 
Disallow: /index/1 
Disallow: /index/2 
Disallow: /index/3 
Disallow: /index/5 
Disallow: /index/7 
Disallow: /index/8 
Disallow: /index/9 
Disallow: /main/ 
Disallow: /admin/ 
Disallow: /secure/ 
Disallow: /informer/ 
Disallow: /forum/
Это означает, оно всё индексироваться не будет?
  • 0

#23 ZiTosS

ZiTosS
  • Неактивные
  • 5148 сообщений
  • Репутация: 8

Отправлено 07 March 2011 - 14:39

Игорь Пастер, приветствую. Вы директивами в файла robots.txt можете только порекомендовать роботам ПС не индексировать страницы, указанные в robots.txt, а уж следовать им, все дело вкуса робота :)
Например Google отвечает так:

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Яндекс ничего не пишет по поводу индексации запрещенных страниц по внешним ссылкам...

Большинстов роботов не будут индексировать страницы ваших сайтов, содержащие в URL:
/a/*
/stat/*
/index/1*
/index/2* 
/index/3*
/index/5*
/index/7*
/index/8*
/index/9*
/main/*
/admin/*
/secure/*
/informer/*
/forum/*
Где * означает 0 или более любой последовательности символов.
Возможно некоторыми роботами ваши правила в Disallow могут показаться некорректными. Т.к. в конце каждого правила у вас стоит пробел.

Я так понимаю, у вас форум на поддомене или на отдельном домене, поэтому вы запретили к индексу форум по URL /forum/
  • 0

#24 bumer

bumer
  • Пользователь
  • 502 сообщений
  • Репутация: 0

Отправлено 11 March 2011 - 09:49

Не могу добавить robots.txt в панель Явебмастер, пишет что Загрузка не может быть выполнена, в гугл добовляется все нормально. В чем может быть причина?
  • 0

#25 ZiTosS

ZiTosS
  • Неактивные
  • 5148 сообщений
  • Репутация: 8

Отправлено 11 March 2011 - 23:22

bumer, а как вы его пытаетесь добавить? Яша robots.txt считывает с сервера, где лежит сайт. В Я.Вебмастер есть инструмент для анализа данного файла и только. Что понимается под словами - "Не могу добавить robots.txt в панель Явебмастер, пишет что Загрузка не может быть выполнена"
  • 0

#26 bumer

bumer
  • Пользователь
  • 502 сообщений
  • Репутация: 0

Отправлено 12 March 2011 - 11:02

Нажимал на кнопку Загрузить robots.txt с сайта, после сегоднешнего апа роботс добавился автоматически, теперь проблема вот чем- Сайт является зеркалом www.webbum.ru, добавить www.webbum.ru получается мой основной домен с www и все ссылки нужно делать чтобы они открывали как www.webbum.ru/seo правильно ли я понимаю?
P.s с joomla небыло таких проблем((
  • 0

#27 ZiTosS

ZiTosS
  • Неактивные
  • 5148 сообщений
  • Репутация: 8

Отправлено 12 March 2011 - 12:08

bumer, не очень понял по домену. У вас есть домен webbum.ru, вы хотите сделать с www - основным, а без www - зеркалом, так? А у вас на сайте все ссылки формата webbum.ru, так? И вы спрашиваете, как перенаправить обращения без www на страницы с www?
  • 0

#28 bumer

bumer
  • Пользователь
  • 502 сообщений
  • Репутация: 0

Отправлено 12 March 2011 - 12:42

сам яндекс определил мой домен http://webbum.ru зеркалом, и говорит что основной домен www.webbum.ru, как сделать ссылки с ввв и без ввв я знаю, я хочу чтобы яндекс определил мой домен основным как http://webbum.ru
прописал в .htacccess слеующии строки
RewriteCond %{HTTP_HOST} ^www.webbum.ru$ [NC]
RewriteRule ^(.*)$ http://webbum.ru/$1 [R=301,L]
По идеи он должен склеить подождем посмотрим.
  • 0

#29 ZiTosS

ZiTosS
  • Неактивные
  • 5148 сообщений
  • Репутация: 8

Отправлено 12 March 2011 - 13:25

bumer, почитай про директиву Host файла robots.txt робота Yandex.
  • 0

#30 shan907

shan907
  • Неактивные
  • 9 сообщений
  • Репутация: 0

Отправлено 18 March 2011 - 12:28

А файл роботс может стоять по умолчанию есть сайт с шаблона укоз?

На укозе стоит по умолчанию, запрещает все не нужные страници (действительно не нужные), к нему нет доступа, но можно посмотреть по адресу: http://сайт.ru/robots.txt. Можно загрузить свой файл, после этого файл по умолчанию удаляется автоматически. И в обратном, если удалить свой файл, файл по умолчанию опять появляется.
  • 0

robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru