Помощник
|
Robot.txt Много фотографий и Sitemap |
Napoleon-007
|
Сообщение
#1
|
||
|
|
||
|
|||
ShowPrint |
12.4.2017, 10:17;
Ответить: ShowPrint
Сообщение
#2
|
|
Правильно я понимаю, что Карта сайта не запрещает роботу индексировать те страницы, которые в эту карту не попали? Правильно. Робот может индексировать всё что найдет сам по ссылкам на сайте, если это не запрещено для индексирования. С robots.txt несколько не совсем верно и оптимально ты начал. Первое: User-agent: * Принято указывать только один раз и все директивы для ботов прописывать сразу Второе: Вроде бы указывается в конце, после директив disallow и allow Третье: Allow: wp-content/uploads/2017/04/GL.jpg Allow: wp-content/uploads/2017/04/GL1.jpg Allow: wp-content/uploads/2017/04/GL2.jpg Allow: wp-content/uploads/2017/04/GL3.jpg и т.д. Лучше не "раздувать" файл, это влияет на скорость загрузки, чем больше файл - тем дольше он обрабатывается. Лучше объединять правила по определенному признаку. Например, для приведенного фрагмента можно написать одну строку:
И все изображения в этой папке будут доступны для индексации UPD: Почитай здесь - Иван много полезного написал про robots.txt и в стартпосте и в тех местах где к нему приставали с вопросами (в том числе и я :) ) Сообщение отредактировал ShowPrint - 12.4.2017, 10:25 |
|
|
Napoleon-007
|
Сообщение
#3
|
|
Спасибо за помощь !
Вроде бы указывается в конце, после директив disallow и allow Да, для меня это еще спорный вопрос, но скорее всего так оно и делается. Надо посмотреть как у других. Где тоя видел для вордпресса так указывали. Allow: wp-content/uploads/2017/04/* Дело в том, что в папке 04 все и находится. Поэтому логичнее было бы написать Allow: wp-content/uploads/2017/04/GL* Не дописывая окончание ? Потом я думал звездачка запрещает, в данном случае. Вот пример из Яндекса User-agent: Yandex Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx' # и '/cgi-bin/private/test.aspx' Disallow: /*private # запрещает не только '/private', # но и '/cgi-bin/private' Лучше не "раздувать" файл, это влияет на скорость загрузки, Я просто у Яндекса читаю что "При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Если размер файла превышает 32 Кб, робот считает его полностью разрешающим, то есть рассматриваются аналогично:" А мой файл и половины не будет весить. Ну я понял, лучше не раздувать. Открыть всю папку тоже не могу. Там когда загружаешь одну фотографию, он еще 10 копий делает для разных целей )) |
|
|
Zhil_hb |
12.4.2017, 10:47;
Ответить: Zhil_hb
Сообщение
#4
|
|
Вордпресс все сваливает в одну кучу. если грузить изображения через админку, то он прекрасно все разбивает по датам и в итоге все изображения на сайте хранятся в одном месте.Следовательно, лучше открыть индексацию папки, где хранятся изображения. Тем более, что у вас сайт фотографа и органический поиск по фото/картинкам для вас, на мой взгляд, более чем актуальный. Также желательно открыть (и как раз это в панели вебмастера гугл просит) css стили и ява скрипты, которые могут влиять на внешний вид индексируемых страниц. В остальном согласен с Михаилом! А вот как часто робот будет сканировать мой сайт и какие конкретно файлы и страницы, указываются в robot.txt Так ? Нет, в файле робота мы только прописываем рекомендации для поискового бота по поводу процесса индексирования. А вот частота сканирования не всегда зависит от вебмастера. Изначально этот процесс автоматизирпованный (частота сканирования на усмотрение робота), но на нее в ряде случаев можно повлиять. Как именно повлиять - есть масса способов (размещение анонсов, addURl сервис и др.). Но если честно, я например, не заворачиваюсь этим. Иногда нет времени на более важные вещи, а такие заморочки с ускорением индексации не входит в мои личные приоритеты. Там когда загружаешь одну фотографию, он еще 10 копий делает для разных целей )) да, это так. но я все равно открывал полностью всю папку для индексации. |
|
|
Napoleon-007
|
Сообщение
#5
|
|
если грузить изображения через админку, то он прекрасно все разбивает по датам Да, но все равно все сваливает в одну кучу и копии фотографий тоже. Те фотографии которые у меня на сайте не грузятся отдельно от их многочисленных копий. Поэтому в любом случае он будет индексировать и привьюшки, и какие то ужатые копии оригинала и т.д Или не так ? Я просто не хочу весь этот мусор в поиск вгонять. Думаю не хорошо это. Вот сейчас посмотрел. 26 копий получается с одной фотографии )) |
|
|
ShowPrint |
12.4.2017, 11:03;
Ответить: ShowPrint
Сообщение
#6
|
|
Потом я думал звездачка запрещает "Звёздочка" - это маска, означающая произвольный набор символов. Запрещает или разрешает - зависит от директивы: в правиле disallow - запрещает, в allow - разрешает. В примере Яндекса - disallow, поэтому создается маска для запрета.логичнее было бы написать Allow: wp-content/uploads/2017/04/GL* Вполне возможно - ты можешь создать маску именно для тех файлов, которые считаешь нужным. Смысл в том, что это лучше и оптимальнее чем перечисление всех файлов.Также желательно открыть (и как раз это в панели вебмастера гугл просит) css стили и ява скрипты, которые могут влиять на внешний вид индексируемых страниц. +100500 Я бы сказал "обязательно" - в противном случае ГВМ будет "ругаться"При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер Это о предельном размере, а по факту действует правило "чем меньше - тем лучше", но при этом необходимо закрыть всё, что необходимо. |
|
|
Napoleon-007
|
Сообщение
#7
|
|
|
|
|
Zhil_hb |
12.4.2017, 11:39;
Ответить: Zhil_hb
Сообщение
#8
|
|
Napoleon-007, поэтому есть и форум, где вам с радостью помогут (если это в силах помогающих). Тут точно никто никогда не откажется помочь, если знаеткак/может
|
|
|
Napoleon-007
|
Сообщение
#9
|
|
|
|
|
Napoleon-007
|
Сообщение
#10
|
|
если грузить изображения через админку, то он прекрасно все разбивает по датам и в итоге все изображения на сайте хранятся в одном месте. А почему при этом ссылка на саму фотографию не редактируется. Т.е прописать все теги можно к фотографии, а именно этот пункт неактивен ? Хотя ссылка на фотографию видна. Это как то через сервер нужно открывать права доступа или это особенности самого сайта ? |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Большие базы Semrush кейвордов по разным тематикам! Много кейвордов с трафиком и без конкуренции! Volume, KD, CPC | 20 | Krok | 6223 | 18.3.2024, 5:43 автор: Krok |
|
Продам ссылки с жирных ENG сайтов ( много трафика ) | 6 | Barnabas | 2883 | 5.9.2020, 8:55 автор: Barnabas |
|
Требуется копирайт, много и постоянно. Хостинг тематика. | 7 | wep | 2536 | 16.6.2020, 20:39 автор: mark2013 |
|
Куплю много статей по работе, зарплате, труду Нужны сотни статей. Лучше пачками. |
3 | Dani | 5504 | 2.5.2020, 2:51 автор: NikaRo |
|
Много описаний к фильмам по 8-9 рублей. Скидки на опт! | 0 | ELECTROKATZE | 1031 | 23.4.2020, 22:42 автор: ELECTROKATZE |
Текстовая версия | Сейчас: 29.3.2024, 1:17 |