X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Файл robots.txt для сайта на wordpress
Иса
Иса
Topic Starter сообщение 15.2.2015, 20:15; Ответить: Иса
Сообщение #1


Доброго времени суток. Почитал в инете много информации о файле роботс тхт. Все гуру рунета дают разные файлы роботс тхт. Так какой же оптимальный набор этого файла? Так же видел в этих статья недоброжелательные коментарии снизу от людей, которые копировали данные файла, с сайтов гуру блогеров и говорили потом, что в этих файлы вобщем запрещали индексацию поисковикам. Не знаю кому верить решил спросить у вас.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 20:25; Ответить: BLIK
Сообщение #2


[member=Isa],Так как движок не сказал. Вот стандартный файл Wordpress + дополнение у меня.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: site.ru

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml 

Пути и host ставим свои. И карту сайта(плагины) не забываем ставить на сайт, если пути прописаны

P.s Дополнительно закрывается шлак если такой будет. Нужно смотреть задачи что закрывать. Я привел оптимальный файл.


Сообщение отредактировал BLIK - 15.2.2015, 20:26
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 20:44; Ответить: Иса
Сообщение #3


Спасибо, создал файл скопировал содержимое. Я так понимаю его нужно туда же загрузить куда файлы яши и гугла вебмастер?
у меня тоже wp
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Junk_mw
Junk_mw
сообщение 15.2.2015, 21:05; Ответить: Junk_mw
Сообщение #4


Загрузить в корень сайта.
И так, на будущее, чем меньше файл роботс, тем лучше :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 21:37; Ответить: BLIK
Сообщение #5


[member=Isa],Да, как сказали выше, загрузить в корень. И, самое главное как загрузите проверьте его в Яндексе https://webmaster.yandex.ru/robots.xml  и не забывайте прогнать пару url чтоб убедиться что лишнего не закрыли.

P.s Думаю host и пути к карте сайта прописали правильно и карта сайта(плагин) стоит. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 22:11; Ответить: Иса
Сообщение #6


[member=BLIK],  карта работает а значит и файл тоже,
(BLIK @ 15.2.2015, 23:37) *
и не забывайте прогнать пару url
а по каким еще нужно проверить?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 22:18; Ответить: BLIK
Сообщение #7


[member=Isa],Ну любую страницу/страницы которые должны индексироваться со своего сайта вставь и проверь не закрыто лишнего(можешь все вставить страницы в ряд с новой строки)
Пример проверил форум и этот пост.
Прикрепленное изображение

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 22:38; Ответить: Иса
Сообщение #8


яндекс всё коректно отобразил а гугл почему-то 404 ошибку выдаёт
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 22:49; Ответить: BLIK
Сообщение #9


[member=Isa],А Гугл каким боком тут? Не понял. Пожалуйста, пиши понятнее и яснее в чем проблема и что и где отобразил и вообще куда что пихал, что у тебя получилось так, что проверял в яндексе, а гугл 404 выдал :huh:  
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 22:54; Ответить: Иса
Сообщение #10


в яндексе проверил по выше указанному адресу всё рабоатет а в панели гугл вебмастер проверил карту сайта и Общая ошибка HTTP: 404 Не найдено плагин установил вроде что ему не нравится?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 369 Вчера, 15:13
автор: LiveExpert
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 338 Вчера, 15:13
автор: LiveExpert
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAzinomoney.com - гемблинг-партнерка с 65%RS для каждого
Гарантированный заработок на гемблинг-трафике
65 AzinoMoney 29197 27.3.2024, 19:10
автор: AzinoMoney
Горячая тема (нет новых ответов) Продвижение молодого сайта
30 maxmer 6368 26.3.2024, 21:49
автор: c4p1t4l15t
Открытая тема (нет новых ответов) SEO-текст на главной странице сайта и в категориях
5 boltuk 1354 26.3.2024, 21:43
автор: c4p1t4l15t


 



RSS Текстовая версия Сейчас: 29.3.2024, 10:11
Дизайн