X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Какой роботс.тхт оставить?
Constantine174
Constantine174
Topic Starter сообщение 3.4.2019, 21:32; Ответить: Constantine174
Сообщение #1


Привет. До этого был роботс 

User-agent: *
Disallow: /wp-admin/
Disallow: /******/
Allow: /wp-admin/admin-ajax.php

Сейчас 

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Host: https://******
Sitemap: https://*******/sitemap_index.xml

Какой все же оставить? Причем при первом роботс тот который верхний, посещения росли, когда плагин поставил, он мне запилил этот нижний роботс и посещения сейчас 1-2 в день и те наверное мои. Может совпадение ? Или косяк в роботс? 


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artos_mw
Artos_mw
сообщение 3.4.2019, 22:08; Ответить: Artos_mw
Сообщение #2


Это
Host: https://******
Sitemap: https://*******/sitemap_index.xml
не понятно что такое.
Правильность роботса можно проверить у Яндекса
https://webmaster.yandex.ru/tools/robotstxt/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Constantine174
Constantine174
Topic Starter сообщение 3.4.2019, 22:26; Ответить: Constantine174
Сообщение #3


(Artos @ 4.4.2019, 01:08) *
Это Host: https://****** Sitemap: https://*******/sitemap_index.xml


За звездочками типа что бы ссылки на сайт не палить. Хотя его и так уже пол форума знает. 
Яндекс ни чего плохого не сказал. Я в плане того спрашивал, что правильно ли там все эти Disallow и Allow? А точнее правильно ли все в них открыто и закрыто?  

Сообщение отредактировал Constantine - 3.4.2019, 22:30


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
сообщение 3.4.2019, 22:36; Ответить: Андрей_WPM
Сообщение #4


Constantine, гугл робот сканирует сайт в таком виде, в котором сайт показывается в гугл хроме 41 версии. Во втором варианте js и css закрыты, а роботу они нужны чтобы понять как сайт ведет себя. Если будут закрыты, консоль вебмастера будет ругаться на это. В яндексе пока не анонсировали это в открытую, но подозреваю, что js он уже тоже может запускать и учитывать его в сторону адаптивности. О том, что гугл бот = хрому 41 версии, можно найти официальное заявление от гугловцев в интернете. Идеальный роботс для гугла:

[mwhide=0]https://wpmaster.kz/robots.txt[/mwhide]


Сообщение отредактировал Андрей WPMasterKZ - 3.4.2019, 22:37


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Constantine174
Constantine174
Topic Starter сообщение 4.4.2019, 6:59; Ответить: Constantine174
Сообщение #5


(Андрей WPMasterKZ @ 4.4.2019, 01:36) *
Идеальный роботс для гугла

Для Яндекса он то же идеален или там все так плохо?  


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
сообщение 4.4.2019, 10:11; Ответить: Андрей_WPM
Сообщение #6


Constantine, для Яндекса тоже идеальный. Сейчас лишние страницы лучше закрывать тегами ноуиндекс, чем через роботс.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rodiola
Rodiola
сообщение 7.7.2019, 23:32; Ответить: Rodiola
Сообщение #7


Андрей WPMasterKZ, а что означает  Disallow: /files? Если сделать роботс, как у Вас, все должно стать "гуд"? :) Вот так вот коротко и ясно? Больше ничего не нужно делать? Получается, что если я закрыла плагином метки (рубрики уже были закрыты), то это прописывать отдельно в роботсе не надо? 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
сообщение 8.7.2019, 10:33; Ответить: Андрей_WPM
Сообщение #8


Rodiola, files - это моя личная папка в которой файлы для одной статьи лежат. Они не нужны просто в индексе и на них больше никто не ссылается точно, поэтому эта папка закрыта в роботсе.

Если сделать такой роботс как у меня без предварительной подготовки, у вас в индексе появиться куча дублей и всякого мусора :-) .

Перед этим нужно закрыть тегом ноуиндекс не нужные страницы, а уже потом файл роботс чистить.

Чувствую, нужно статью по этому поводу писать. Через пару дней анонсирую, если не к спеху, потерпите маленько, я постараюсь максимально расписать как его лучше составить под конкретный сайт. Просто в двух словах не объяснить.

По поводу меток и рубрик вы верно думаете.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rodiola
Rodiola
сообщение 8.7.2019, 11:18; Ответить: Rodiola
Сообщение #9


Андрей WPMasterKZ,
(Андрей WPMasterKZ @ 8.7.2019, 13:33) *
Через пару дней анонсирую, если не к спеху, потерпите маленько, я постараюсь максимально расписать как его лучше составить под конкретный сайт. Просто в двух словах не объяснить.
Ок, спасибо. Подождем. А то я уже запуталась с этим роботсом. Все пишут по-разному....  


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Кто где хранит файлы? И какой объем?
просто интересно
19 mark2013 2007 25.3.2024, 6:42
автор: Skyworker
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
10 Aloof 2554 24.3.2024, 21:45
автор: Liudmila
Открытая тема (нет новых ответов) Через какой браузер и как можно найти в кэшэ браузера видео
10 Room 1947 23.3.2024, 7:41
автор: Room
Горячая тема (нет новых ответов) Исчезающие фрилансеры после предоплаты. Зачем? Какой смысл?
35 metvekot 9273 19.3.2024, 20:19
автор: MisterBit
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыКакой сайт пробовать создавать под небольшое ГЕО?
6 kapusta1 1242 15.3.2024, 13:06
автор: OS_ZP_UA


 



RSS Текстовая версия Сейчас: 29.3.2024, 18:06
Дизайн