Перейти к содержимому



Опять же robots.txt

#1

Поделиться сообщением #1



Banderas

Banderas
  • Пользователь
  • 1 168 сообщений
  • Репутация: 1
0

Отправлено 28 Март 2009 - 00:48

Мне сказали, что у меня robots.txt плохой, но я в это не разбираюсь =( Что лучше прописать в нем? У меня сейчас такое:
User-Agent: *

Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /languages/
Disallow: /engine/

Host: kachalka.com.ua

 

 

  • 0

I'm web-developer 

Magento one love!



robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. И опять robots.txt. Помогите!
  2. Корректность файла robots.txt
  3. Вопросы по корректному составлению robots.txt
  4. Не удалось загрузить robots.txt
  5. Правильный robots.txt

#2

Поделиться сообщением #2



admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 28 Март 2009 - 01:55

А что ты хочешь закрыть от индексации? Можно ещё профили, т.к. сайты на дле сейчас загаживают
  • 0

#3

Поделиться сообщением #3



Bender

Bender
  • Неактивные
  • 712 сообщений
  • Репутация: 0

Отправлено 28 Март 2009 - 10:38

Пропуски строк вроде нельзя делать
  • 0

#4

Поделиться сообщением #4



ilyazh

ilyazh
  • Неактивные
  • 356 сообщений
  • Репутация: 1

Отправлено 28 Март 2009 - 13:46

Можно, поисковые роботы не обращают внимания на пропуски.
  • 0

#5

Поделиться сообщением #5



Banderas

Banderas
    Topic Starter
  • Пользователь
  • 1 168 сообщений
  • Репутация: 1

Отправлено 28 Март 2009 - 18:01

Значит:
User-Agent: *

Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /languages/
Disallow: /engine/
Disallow: /user/

Host: kachalka.com.ua

Хочу обратить внимание на _http://kachalka.com.ua/sitemap.xml
Что прописать?
  • 0

I'm web-developer 

Magento one love!



#6

Поделиться сообщением #6



Bender

Bender
  • Неактивные
  • 712 сообщений
  • Репутация: 0

Отправлено 28 Март 2009 - 19:13

Sitemap: http://kachalka.com.ua/sitemap.xml

После Хоста
  • 0


Оформление форума – IPBSkins.ru