Перейти к содержимому



Как в robots.txt запретить индексировать папку?

#1

Поделиться сообщением #1



Svetka

Svetka
  • Неактивные
  • 27 сообщений
  • Репутация: 0
0

Отправлено 26 Октябрь 2012 - 07:54

Хочу сделать запрет на индексацию поисковыми системами нескольких папок, разделов сайта, о которых гуглам т яндексам знать не обязательно. Подскажите как это можно правильно сделать с помощью robots.txt?

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Можно ли в robots.txt указывать несколько sitemap?
  2. Как закрыть от индексации конкретную страницу
  3. Запрет на индексацию страниц сайта и отдельных частей контента
  4. Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt
  5. Запрет индексации определенного URL в robots.txt без запрета последующих

#2

Поделиться сообщением #2



Krab

Krab
  • Неактивные
  • 24 сообщений
  • Репутация: 1

Отправлено 26 Октябрь 2012 - 08:04

C помощью robots.txt вам просто необходимо создать инструкцию для индексации поисковикам. Создается блокнот Виндоус и сохраняется, как robots, с расширением txt/ А там просто указывается путь, куда не нужно заходить ботам
User-agent: *,
Disallow: /papka/
Если *, то значит всем поисковикам нельзя, можно указать вместо звездочки Яндекс, гугл и т.д.
  • 0

#3

Поделиться сообщением #3



Костик

Костик
  • Неактивные
  • 22 сообщений
  • Репутация: 0

Отправлено 26 Октябрь 2012 - 08:12

Только не стоит забывать, что файл robots.txt с указаниями поместить надо в корневой каталог сайта. Плюс к тому же один сайт должен иметь один файл robots.txt. А то начнешь сейчас создавать запреты для каждой папки отдельно.
  • 0


Оформление форума – IPBSkins.ru