Перейти к содержимому


Конкурс "Лучший отзовик"
× Быстрый вопрос
Пользователь месяца
Vmir Vmir 1-й за Апрель
Очков активности: 1 548 8 тем, 62 сообщения, 12 баллов репутации
ТОП самых активных за этот месяц
  • Фотография Андрей WPMasterKZ
    #1

    Андрей WPMasterKZ (wpmaster.kz)
    Очков активности: 162 1 тема, 24 сообщения, 4 балла репутации

  • Фотография Vmir
    #2

    Vmir
    Очков активности: 82.5 Вне конкурса за определение пользователя месяца

  • Фотография Роман Зеленков
    #3

    Роман Зеленков
    Очков активности: 76.5 7 тем, 30 сообщений, 1 балл репутации

  • Фотография Megoydagi
    #4

    Megoydagi (24ho.ru)
    Очков активности: 57 2 темы, 13 сообщений, 2 балла репутации

  • Фотография r0mZet
    #5

    r0mZet (rz-style.ru)
    Очков активности: 54 1 тема, 9 сообщений, 3 балла репутации

  • Фотография BLIK
    #6

    BLIK
    Очков активности: 36 Вне конкурса за определение пользователя месяца

  • Фотография dos1k
    #7

    dos1k (dos1k.ru)
    Очков активности: 21 2 темы, 8 сообщений, 1 балл репутации

  • Фотография Mandarin
    #8

    Mandarin
    Очков активности: 21 0 тем, 14 сообщений, 1 балл репутации

  • Фотография kolver
    #9

    kolver
    Очков активности: 21 2 темы, 8 сообщений, 1 балл репутации

  • Фотография agrx
    #10

    agrx (key-assort.ru)
    Очков активности: 19.5 0 тем, 13 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 20.04.2019
  • Яндекс выдача: 18.05.2019
Топ 5 участников по репутации


Правильный robots.txt для wordpress 2019

#1 pozitron123

pozitron123
  • Пользователь
  • 783 сообщений
  • Репутация: 147
0

Отправлено 14 Март 2019 - 12:52

Здравствуйте
 
Я понимаю что подобных тем на форму полно но они помоему уже устарели.
 
Инфу для роботcа гугла и компании брал отсюда: https://awayne.biz/p...dlya-wordpress/https://wp-kama.ru/i...-wordpress.html
 
Я пока сделал вот такой роботс для гугла и других измени на "правильный" для 2019 года для яндекса оставил старые правила:
 
Что думаете по поводу такого robots.txt для вордпресс он правильный? Стоит ли для яндекс-робота создать такие же правила? Или лучше как в примерах на сайте камы и т.д для каждого писать отдельно?
 
User-agent: *
Disallow: /cgi-bin          
Disallow: /?                
Disallow: /wp-              
Disallow: *?s=              
Disallow: *&s=              
Disallow: /search           
Disallow: /author/          
Disallow: *?attachment_id=  
Disallow: */feed            
Disallow: */rss             
Disallow: */embed           
Disallow: */page/
Disallow: /*go.php  
Disallow: /*?*
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */*/trackback
Allow: */uploads            
Allow: /*/*.js              
Allow: /*/*.css             
Allow: /wp-*.png            
Allow: /wp-*.jpg            
Allow: /wp-*.jpeg           
Allow: /wp-*.gif            
Allow: /wp-*.svg            
Allow: /wp-*.pdf            
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*go.php
 
Host: 
Sitemap: 
 
После изменений для гугла он перестал ругаться на мобильную версию сайта как было ранее, потому что он не могу получить доступ к файлам.
Что думаете по поводу такого robots.txt для вордпресс он правильный?


 

 

Сообщение отредактировал Sosnovskij: 14 Март 2019 - 13:48

  • 0

Fozzy и Beget  - два лучших хостинга для ваших сайтов.



#2 r0mZet

r0mZet
  • Модератор
  • 1 357 сообщений
  • Репутация: 252

Отправлено 14 Март 2019 - 13:39

Дружище, в последнее время мне всё чаще и чаще думается, что тебе нечем заняться. Тебе и некоторым остальным участникам форума. Какой смысл обсасывать столь тривиальные вещи учитывая не первый твой день жизни на форуме?

 

Что думаете по поводу такого robots.txt для вордпресс он правильный?
Проверь через валидатор, если ошибок нет, значит правильный. Или нам проверить за тебя?

 

После изменений для гугла он перестал ругаться на мобильную версию сайта как было ранее
  Ну естественно, потому что гугл ругается на заблокированные стили и скрипты. Тоже новость не нова.

 

Что думаете по поводу такого robots.txt для вордпресс он правильный?
А попробуй еще зайти на официальный комъюнити wordpress.org и спросить у них тот же вопрос. Потом нам расскажешь что они ответили.

 

Я не против появлению новых тем, но темы подобной этой абсурдны. 


  • 0


#3 pozitron123

pozitron123
    Topic Starter
  • Пользователь
  • 783 сообщений
  • Репутация: 147

Отправлено 14 Март 2019 - 13:54

не первый твой день жизни на форуме

А разница в чем? Или мне нужно выставлять себя в качестве всезнающего сноба, чтобы жить на форуме по твоим понятиям? Я не претендую на звание все знающего умника. Такой какой есть.

 

Форум вроде для общения ну раз одному из модераторов, что-то не нравиться жду свод правил когда, какие темы создавать и у кого перед их созданием нужно разрешения спросить?

 

 

 

Или нам проверить за тебя?

Сколько людей столько и мнений по данному файлу я если, что скинул ссылки на сайты, где роботс пишут, что правильный. 

 

 

 

Тоже новость не нова.

Ну для тебя может не нова, а кто-то проверить свой сайт. 

 

 

 

но темы подобной этой абсурдны

В чем ее абсурд? Все меняется и если в 2018 было принято использовать один файл то сейчас 2019 год.


Сообщение отредактировал pozitron123: 14 Март 2019 - 13:55

  • 1

Fozzy и Beget  - два лучших хостинга для ваших сайтов.



#4 Sosnovskij

Sosnovskij
  • Администратор
  • 5 084 сообщений
  • Репутация: 762

Отправлено 14 Март 2019 - 13:55

@pozitron123, сколько людей, столько и мнений роботсов. Здесь больше вопрос не об актуальном годе (2019, 2020 и так далее), а о конкретных задачах конкретных сайтов.

 


Стоит ли для яндекс-робота создать такие же правила?

После того, как яндекс упразднил директиву host в большинстве случаев разделять правила нет необходимости - все для одного user-agent: *

 


Что думаете по поводу такого robots.txt для вордпресс он правильный?

Много не состыковок. По крайне мере, для разных юзер-агентов, разные правила.  


  • 0

:excl: Конкурс "Лучший отзовик Masterwebs" - 5000 рублей за отзывы на форуме. Блог — https://sosnovskij.ru/.



#5 Андрей WPMasterKZ

Андрей WPMasterKZ
  • Пользователь
  • 651 сообщений
  • Репутация: 85

Отправлено 14 Март 2019 - 15:45

@pozitron123, я уже высказывался по этому поводу. Самый лучший вариант роботса это тот, который не закрывает доступ практически вообще. Закрывать надо программно, более четче, а роботс закрывает сразу пачками. Вообще сейчас уже не стоит практиковать закрытие части сайта через роботс.
 
Учись пользоваться каноникалом и тегом роботс. И будет всё хорошо. А файл роботс, вообще не трогай.
Вот так выглядит мой роботс на ВП и нет ни одного дубля, и вообще каких-либо ошибок.

 


  • 0


#6 pozitron123

pozitron123
    Topic Starter
  • Пользователь
  • 783 сообщений
  • Репутация: 147

Отправлено 14 Март 2019 - 19:12

@Андрей WPMasterKZ,

Да помню я ты в другой теме скидывал его. А у тебя на блоге нет статьи по "использованию тегов и минимального файла роботс"?  Мне интересно мнение форумчан по поводу представленных примеров на wp-kama и т.д. На одном из сайтов по поводу роботса читал, что закрытие папок кэша и т.д это устаревший метод вот и решил узнать, что тут думают. Тем более я использовал роботс предложенный бликом, а он по вордпрессу дельные советы дает и плагины знает.


  • 0

Fozzy и Beget  - два лучших хостинга для ваших сайтов.



#7 Андрей WPMasterKZ

Андрей WPMasterKZ
  • Пользователь
  • 651 сообщений
  • Репутация: 85

Отправлено 14 Март 2019 - 19:27

использованию тегов и минимального файла роботс
 

Именно такой статьи нет. Тут каждый может разный роботс порекомендовать. Не существует идеального. Для кого-то одно в приоритете, для кого-то другое. Тут даже золотой середины нет, всё индивидуально.

 

Ты и сам сейчас видишь, wp-kama один предлагает, @BLIK совсем другой, у меня третий, у WPShop вообще четвертый... Тут не в том дело, кто больше шарит, просто для каждого проекта свои требования.

 

Большинство дублей закрываются плагином Yoast SEO, на счет его аналога точно не могу сказать, но думаю тоже подобный функционал есть. Это что касается тега robots. По каноникал тоже споров хватает, в твоей же теме по-моему общались по этому поводу.

 

Так что выбирай тот вариант, который не делает ошибок или к автору которого ты больше прислушиваешься. А так, идеальный роботс не появиться в этой теме.  :D


  • 0


#8 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3 317 сообщений
  • Репутация: 930

Отправлено 14 Март 2019 - 19:51

Мне интересно мнение форумчан
Я уже года три назад, во времена борьбы с дублями, после прочтения одного из опусов Ивана и обсуждения robots.txt пришёл к мнению что от попадания дублей в индекс лучше бороться другими инструментами (мета-роботы и каноникал) и как и @Андрей WPMasterKZ юзаю минимальное количество директив в robots.txt (и тот что есть сейчас надо бы подчистить - не доходят руки).

С дублями тоже "тьфу-тьфу-тьфу"...

 

Учись пользоваться каноникалом и тегом роботс. И будет всё хорошо. А файл роботс, вообще не трогай.
Эндрю, это мы с тобой можем поковырять двиги/шаблоны, а @pozitron123 только в начале этого пути. Но для него это "вектор развития" и стимул к освоению.

 

@pozitron123, если есть желание развиваться, то мой совет был бы следующим: не ищи идеальный robots.txt в готовом виде - лучше потрать это время на поиск и анализ информации что в какой папке лежит (по имеющимся примерам) и как минимум приведению своего файла универсальному виду для всех ПС. Это тоже относится к части "освоения CMS" и гораздо полезнее (в плане развития), чем поиск таблэток.


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#9 Constantine

Constantine
  • Пользователь
  • 80 сообщений
  • Репутация: 2

Отправлено 15 Март 2019 - 05:22

Наконец то эта тема на форуме появилась. Я так и не понимаю как этот робот запилить! Помогите мне с моим роботс ребятки. 


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru