X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Файл robots.txt для сайта на wordpress
Иса
Иса
Topic Starter сообщение 15.2.2015, 20:15; Ответить: Иса
Сообщение #1


Доброго времени суток. Почитал в инете много информации о файле роботс тхт. Все гуру рунета дают разные файлы роботс тхт. Так какой же оптимальный набор этого файла? Так же видел в этих статья недоброжелательные коментарии снизу от людей, которые копировали данные файла, с сайтов гуру блогеров и говорили потом, что в этих файлы вобщем запрещали индексацию поисковикам. Не знаю кому верить решил спросить у вас.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 20:25; Ответить: BLIK
Сообщение #2


[member=Isa],Так как движок не сказал. Вот стандартный файл Wordpress + дополнение у меня.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: site.ru

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml 

Пути и host ставим свои. И карту сайта(плагины) не забываем ставить на сайт, если пути прописаны

P.s Дополнительно закрывается шлак если такой будет. Нужно смотреть задачи что закрывать. Я привел оптимальный файл.


Сообщение отредактировал BLIK - 15.2.2015, 20:26
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 20:44; Ответить: Иса
Сообщение #3


Спасибо, создал файл скопировал содержимое. Я так понимаю его нужно туда же загрузить куда файлы яши и гугла вебмастер?
у меня тоже wp
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Junk_mw
Junk_mw
сообщение 15.2.2015, 21:05; Ответить: Junk_mw
Сообщение #4


Загрузить в корень сайта.
И так, на будущее, чем меньше файл роботс, тем лучше :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 21:37; Ответить: BLIK
Сообщение #5


[member=Isa],Да, как сказали выше, загрузить в корень. И, самое главное как загрузите проверьте его в Яндексе https://webmaster.yandex.ru/robots.xml  и не забывайте прогнать пару url чтоб убедиться что лишнего не закрыли.

P.s Думаю host и пути к карте сайта прописали правильно и карта сайта(плагин) стоит. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 22:11; Ответить: Иса
Сообщение #6


[member=BLIK],  карта работает а значит и файл тоже,
(BLIK @ 15.2.2015, 23:37) *
и не забывайте прогнать пару url
а по каким еще нужно проверить?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 22:18; Ответить: BLIK
Сообщение #7


[member=Isa],Ну любую страницу/страницы которые должны индексироваться со своего сайта вставь и проверь не закрыто лишнего(можешь все вставить страницы в ряд с новой строки)
Пример проверил форум и этот пост.
Прикрепленное изображение

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 22:38; Ответить: Иса
Сообщение #8


яндекс всё коректно отобразил а гугл почему-то 404 ошибку выдаёт
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 15.2.2015, 22:49; Ответить: BLIK
Сообщение #9


[member=Isa],А Гугл каким боком тут? Не понял. Пожалуйста, пиши понятнее и яснее в чем проблема и что и где отобразил и вообще куда что пихал, что у тебя получилось так, что проверял в яндексе, а гугл 404 выдал :huh:  
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Иса
Иса
Topic Starter сообщение 15.2.2015, 22:54; Ответить: Иса
Сообщение #10


в яндексе проверил по выше указанному адресу всё рабоатет а в панели гугл вебмастер проверил карту сайта и Общая ошибка HTTP: 404 Не найдено плагин установил вроде что ему не нравится?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ВНИМАНИЕ: OnClickA - надежная рекламная сеть для вебмастеров и рекламодателей 🔥 Монетизируй любой трафик 🔥
Выкупим весь твой трафик. Повышенные выплаты для топовых паблишеров &#
6 OnClickA 1936 Вчера, 17:15
автор: OnClickA
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБыстрая индексация страниц сайта и обратных ссылок - 2Index
32 2Index 5481 Вчера, 16:33
автор: 2Index
Открытая тема (нет новых ответов) ✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐
Сервис для получения SMS на реальные номера USA
9 Chekon 3365 Вчера, 13:24
автор: Chekon
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПродам базу сайтов Wordpress в 16 миллионов доменов! Свежая сборка.
17 Boymaster 9266 17.3.2024, 2:53
автор: Boymaster
Горячая тема (нет новых ответов) AviTool - мощный инструмент для автоматизации работы с Avito
90 Shadow 76511 15.3.2024, 22:07
автор: Shadow


 



RSS Текстовая версия Сейчас: 19.3.2024, 7:02
Дизайн