X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Правильный robots.txt для wordpress 2019
pozitron123
pozitron123
Topic Starter сообщение 14.3.2019, 13:52; Ответить: pozitron123
Сообщение #1


Здравствуйте
 
Я понимаю что подобных тем на форму полно но они помоему уже устарели.
 
Инфу для роботcа гугла и компании брал отсюда: https://awayne.biz/pravilnyy-robots-txt-dlya-wordpress/https://wp-kama.ru/id_803/pishem-pravilnyiy...-wordpress.html
 
Я пока сделал вот такой роботс для гугла и других измени на "правильный" для 2019 года для яндекса оставил старые правила:
 
Что думаете по поводу такого robots.txt для вордпресс он правильный? Стоит ли для яндекс-робота создать такие же правила? Или лучше как в примерах на сайте камы и т.д для каждого писать отдельно?
 
User-agent: *
Disallow: /cgi-bin          
Disallow: /?                
Disallow: /wp-              
Disallow: *?s=              
Disallow: *&s=              
Disallow: /search           
Disallow: /author/          
Disallow: *?attachment_id=  
Disallow: */feed            
Disallow: */rss             
Disallow: */embed           
Disallow: */page/
Disallow: /*go.php  
Disallow: /*?*
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */*/trackback
Allow: */uploads            
Allow: /*/*.js              
Allow: /*/*.css             
Allow: /wp-*.png            
Allow: /wp-*.jpg            
Allow: /wp-*.jpeg           
Allow: /wp-*.gif            
Allow: /wp-*.svg            
Allow: /wp-*.pdf            
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*go.php
 
Host: 
Sitemap: 
 
После изменений для гугла он перестал ругаться на мобильную версию сайта как было ранее, потому что он не могу получить доступ к файлам.
Что думаете по поводу такого robots.txt для вордпресс он правильный?


Сообщение отредактировал Sosnovskij - 14.3.2019, 14:48
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
r0mZet
r0mZet
сообщение 14.3.2019, 14:39; Ответить: r0mZet
Сообщение #2


Дружище, в последнее время мне всё чаще и чаще думается, что тебе нечем заняться. Тебе и некоторым остальным участникам форума. Какой смысл обсасывать столь тривиальные вещи учитывая не первый твой день жизни на форуме?

(pozitron123 @ 14.3.2019, 16:52) *
Что думаете по поводу такого robots.txt для вордпресс он правильный?
Проверь через валидатор, если ошибок нет, значит правильный. Или нам проверить за тебя?

(pozitron123 @ 14.3.2019, 16:52) *
После изменений для гугла он перестал ругаться на мобильную версию сайта как было ранее
  Ну естественно, потому что гугл ругается на заблокированные стили и скрипты. Тоже новость не нова.

(pozitron123 @ 14.3.2019, 16:52) *
Что думаете по поводу такого robots.txt для вордпресс он правильный?
А попробуй еще зайти на официальный комъюнити wordpress.org и спросить у них тот же вопрос. Потом нам расскажешь что они ответили.

Я не против появлению новых тем, но темы подобной этой абсурдны. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
pozitron123
pozitron123
Topic Starter сообщение 14.3.2019, 14:54; Ответить: pozitron123
Сообщение #3


(r0mZet @ 14.3.2019, 17:39) *
не первый твой день жизни на форуме

А разница в чем? Или мне нужно выставлять себя в качестве всезнающего сноба, чтобы жить на форуме по твоим понятиям? Я не претендую на звание все знающего умника. Такой какой есть.

Форум вроде для общения ну раз одному из модераторов, что-то не нравиться жду свод правил когда, какие темы создавать и у кого перед их созданием нужно разрешения спросить?



(r0mZet @ 14.3.2019, 17:39) *
Или нам проверить за тебя?

Сколько людей столько и мнений по данному файлу я если, что скинул ссылки на сайты, где роботс пишут, что правильный. 



(r0mZet @ 14.3.2019, 17:39) *
Тоже новость не нова.

Ну для тебя может не нова, а кто-то проверить свой сайт. 



(r0mZet @ 14.3.2019, 17:39) *
но темы подобной этой абсурдны

В чем ее абсурд? Все меняется и если в 2018 было принято использовать один файл то сейчас 2019 год.

Сообщение отредактировал pozitron123 - 14.3.2019, 14:55
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sosnovskij
sosnovskij
сообщение 14.3.2019, 14:55; Ответить: sosnovskij
Сообщение #4


pozitron123, сколько людей, столько и мнений роботсов. Здесь больше вопрос не об актуальном годе (2019, 2020 и так далее), а о конкретных задачах конкретных сайтов.

(pozitron123) *
Стоит ли для яндекс-робота создать такие же правила?

После того, как яндекс упразднил директиву host в большинстве случаев разделять правила нет необходимости - все для одного user-agent: *

(pozitron123) *
Что думаете по поводу такого robots.txt для вордпресс он правильный?

Много не состыковок. По крайне мере, для разных юзер-агентов, разные правила.  


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
сообщение 14.3.2019, 16:45; Ответить: Андрей_WPM
Сообщение #5


@[member=pozitron123], я уже высказывался по этому поводу. Самый лучший вариант роботса это тот, который не закрывает доступ практически вообще. Закрывать надо программно, более четче, а роботс закрывает сразу пачками. Вообще сейчас уже не стоит практиковать закрытие части сайта через роботс.
 
Учись пользоваться каноникалом и тегом роботс. И будет всё хорошо. А файл роботс, вообще не трогай.
Вот так выглядит мой роботс на ВП и нет ни одного дубля, и вообще каких-либо ошибок.

Развернуть/Свернуть



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
pozitron123
pozitron123
Topic Starter сообщение 14.3.2019, 20:12; Ответить: pozitron123
Сообщение #6


Андрей WPMasterKZ,
Да помню я ты в другой теме скидывал его. А у тебя на блоге нет статьи по "использованию тегов и минимального файла роботс"?  Мне интересно мнение форумчан по поводу представленных примеров на wp-kama и т.д. На одном из сайтов по поводу роботса читал, что закрытие папок кэша и т.д это устаревший метод вот и решил узнать, что тут думают. Тем более я использовал роботс предложенный бликом, а он по вордпрессу дельные советы дает и плагины знает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
сообщение 14.3.2019, 20:27; Ответить: Андрей_WPM
Сообщение #7


(pozitron123 @ 14.3.2019, 23:12) *
использованию тегов и минимального файла роботс
 
Именно такой статьи нет. Тут каждый может разный роботс порекомендовать. Не существует идеального. Для кого-то одно в приоритете, для кого-то другое. Тут даже золотой середины нет, всё индивидуально.

Ты и сам сейчас видишь, wp-kama один предлагает, BLIK_mw совсем другой, у меня третий, у WPShop вообще четвертый... Тут не в том дело, кто больше шарит, просто для каждого проекта свои требования.

Большинство дублей закрываются плагином Yoast SEO, на счет его аналога точно не могу сказать, но думаю тоже подобный функционал есть. Это что касается тега robots. По каноникал тоже споров хватает, в твоей же теме по-моему общались по этому поводу.

Так что выбирай тот вариант, который не делает ошибок или к автору которого ты больше прислушиваешься. А так, идеальный роботс не появиться в этой теме.  :D


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 14.3.2019, 20:51; Ответить: ShowPrint
Сообщение #8


(pozitron123 @ 14.3.2019, 23:12) *
Мне интересно мнение форумчан
Я уже года три назад, во времена борьбы с дублями, после прочтения одного из опусов Ивана и обсуждения robots.txt пришёл к мнению что от попадания дублей в индекс лучше бороться другими инструментами (мета-роботы и каноникал) и как и Андрей WPMasterKZ юзаю минимальное количество директив в robots.txt (и тот что есть сейчас надо бы подчистить - не доходят руки).
С дублями тоже "тьфу-тьфу-тьфу"...

(Андрей WPMasterKZ @ 14.3.2019, 19:45) *
Учись пользоваться каноникалом и тегом роботс. И будет всё хорошо. А файл роботс, вообще не трогай.
Эндрю, это мы с тобой можем поковырять двиги/шаблоны, а pozitron123 только в начале этого пути. Но для него это "вектор развития" и стимул к освоению.

pozitron123, если есть желание развиваться, то мой совет был бы следующим: не ищи идеальный robots.txt в готовом виде - лучше потрать это время на поиск и анализ информации что в какой папке лежит (по имеющимся примерам) и как минимум приведению своего файла универсальному виду для всех ПС. Это тоже относится к части "освоения CMS" и гораздо полезнее (в плане развития), чем поиск таблэток.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Constantine174
Constantine174
сообщение 15.3.2019, 6:22; Ответить: Constantine174
Сообщение #9


Наконец то эта тема на форуме появилась. Я так и не понимаю как этот робот запилить! Помогите мне с моим роботс ребятки. 


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rodiola
Rodiola
сообщение 7.7.2019, 23:41; Ответить: Rodiola
Сообщение #10


(Андрей WPMasterKZ @ 14.3.2019, 23:27) *
Тут каждый может разный роботс порекомендовать. Не существует идеального.
Да, так и есть. Вот стала читать и типа разбираться. В итоге нифига не разобралась. Каждый пишет свое..... А что ж нам-то делать, забить и оставить все, как есть или еще продолжать искать :ph34r:  :rolleyes:  :) ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 342 Вчера, 15:13
автор: LiveExpert
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 317 Вчера, 15:13
автор: LiveExpert
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAzinomoney.com - гемблинг-партнерка с 65%RS для каждого
Гарантированный заработок на гемблинг-трафике
65 AzinoMoney 29182 27.3.2024, 19:10
автор: AzinoMoney
Горячая тема (нет новых ответов) Делаю полностью уникальный дизайн для сайтов!
46 AlexDIZ 93484 26.3.2024, 20:03
автор: AlexDIZ
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1120 26.3.2024, 14:13
автор: knezevolk


 



RSS Текстовая версия Сейчас: 29.3.2024, 2:12
Дизайн