Перейти к содержимому


Пользователь месяца
Андрей WPMasterKZ Андрей WPMasterKZ 1-й за Ноябрь
Очков активности: 888 1 тема, 71 сообщение, 8 баллов репутации
Сайт: wpmaster.kz
ТОП самых активных за этот месяц
  • Фотография OlgaGetman
    #1

    OlgaGetman
    Очков активности: 684 5 тем, 99 сообщений, 4 балла репутации

  • Фотография Mandarin
    #2

    Mandarin
    Очков активности: 552 3 темы, 83 сообщения, 4 балла репутации

  • Фотография TimurR
    #3

    TimurR
    Очков активности: 150 Вне конкурса за определение пользователя месяца

  • Фотография Андрей WPMasterKZ
    #4

    Андрей WPMasterKZ (wpmaster.kz)
    Очков активности: 117 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #5

    BLIK
    Очков активности: 102 0 тем, 17 сообщений, 4 балла репутации

  • Фотография Rodiola
    #6

    Rodiola
    Очков активности: 48 1 тема, 13 сообщений, 2 балла репутации

  • Фотография WGN
    #7

    WGN (worldgamenews.com)
    Очков активности: 40.5 Вне конкурса за определение пользователя месяца

  • Фотография pozitron123
    #8

    pozitron123
    Очков активности: 27 2 темы, 12 сообщений, 1 балл репутации

  • Фотография thisismyname
    #9

    thisismyname
    Очков активности: 27 4 темы, 6 сообщений, 1 балл репутации

  • Фотография m3Re
    #10

    m3Re
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 29.11.2018
  • Яндекс выдача: 11.12.2018
Топ 5 участников по репутации


Robot.txt Много фотографий и Sitemap

#1 Napoleon-007

Napoleon-007
  • Пользователь
  • 561 сообщений
  • Репутация: 19
0

Отправлено 12 April 2017 - 00:04

Здавствуйте с кем еще не поздаровался на этмо форуме!

Решил я тут переделать оба файла Robot.txt и Sitemap. Дабы написанные мною статьи быстро индексировались. Кроме того, фотографии на сайте тоже не в индексе потому, что всё свалено в одну папку и доступ поисковикам к ним закрыт. Я много почитал про эти два файла и одна инфа противоречит другой. 

 

Правильно я понимаю, что Карта сайта не запрещает роботу индексировать те страницы, которые в эту карту не попали? А именно так некоторые пишут. Я написал новую статью, записал её в фал Sitemap и робот пройдя по этому сайту узнает о появлении нового поста. А вот как часто робот будет сканировать мой сайт и какие конкретно файлы и страницы, указываются в robot.txt  Так ? 

 

Вордпресс все сваливает в одну кучу. Перемещать и прописывать файлы, долго и не знаю есть ли смысл. У меня много фотографий и я могу их все прописать в роботе, а остальные так и останутся под запретом. Но получится фотографий 200 точно. А то и больше. Для файла robot.txt это не страшно ? Перегруза не будет ? Или нужно из общей папки выковыривать нужные фотографии и искать где там прописывается путь в эту папку и только для неё открыть индексацию. Мне проще первый вариант. Какой лучше ?

 

Вот немного уже сделал

 

User-agent: *
Disallow: /wp-content/uploads Тут я закрываю папку для файлов которые начинаются с 
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 
User-agent: *
Allow:  wp-content/uploads/2017/04/ShapkaGlavnaya.jpg
Allow:  wp-content/uploads/2017/04/GL.jpg
Allow:  wp-content/uploads/2017/04/GL1.jpg
Allow:  wp-content/uploads/2017/04/GL2.jpg
Allow:  wp-content/uploads/2017/04/GL3.jpg
Allow   wp-content/uploads/2017/04/GL4.jpg
Allow:  wp-content/uploads/2017/04/GL5.jpg
Allow:  wp-content/uploads/2017/04/GL6.jpg
Allow:  wp-content/uploads/2017/04/GL7.jpg
Allow:  wp-content/uploads/2017/04/GL8.jpg
Allow:  wp-content/uploads/2017/04/GL9.jpg
Allow:  wp-content/uploads/2017/04/GL10.jpg
Allow:  wp-content/uploads/2017/04/GL11.jpg
Allow:  wp-content/uploads/2017/04/GL12.jpg
Allow:  wp-content/uploads/2017/04/GL13.jpg
Allow:  wp-content/uploads/2017/04/GL14.jpg
Allow:  wp-content/uploads/2017/04/GL15.jpg
Allow:  wp-content/uploads/2017/04/GL16.jpg
Allow:  wp-content/uploads/2017/04/GL17.jpg
Allow:  wp-content/uploads/2017/04/GL18.jpg
Allow:  wp-content/uploads/2017/04/GL19.jpg
Allow:  wp-content/uploads/2017/04/GL20.jpg
Allow:  wp-content/uploads/2017/04/GL21.jpg
Allow:  wp-content/uploads/2017/04/GL22.jpg
Allow:  wp-content/uploads/2017/04/GL22.jpg
Allow:  wp-content/uploads/2017/04/GL23.jpg
Allow:  wp-content/uploads/2017/04/GL24.jpg
Allow:  wp-content/uploads/2017/04/GL25.jpg
Allow:  wp-content/uploads/2017/04/GL26.jpg
Allow:  wp-content/uploads/2017/04/GL27.jpg
Allow:  wp-content/uploads/2017/04/GL28.jpg
Allow:  wp-content/uploads/2017/04/GL29.jpg
Allow:  wp-content/uploads/2017/04/GL30.jpg
Allow:  wp-content/uploads/2017/04/GL31.jpg
Allow:  wp-content/uploads/2017/04/GL32.jpg
 
 
User-agent: *
Allow:  wp-content/uploads/2017/04/ShapkaAnojina.jpg
Allow:  wp-content/uploads/2017/04/ShapkaCaricino.jpg
Allow:  wp-content/uploads/2017/04/ShapkaDetiFili.jpg
 
Gracias !

 

 


 

 

  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#2 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3084 сообщений
  • Репутация: 850

Отправлено 12 April 2017 - 09:17

Правильно я понимаю, что Карта сайта не запрещает роботу индексировать те страницы, которые в эту карту не попали?

Правильно. Робот может индексировать всё что найдет сам по ссылкам на сайте, если это не запрещено для индексирования.

 

С robots.txt несколько не совсем верно и оптимально ты начал.

Первое:

User-agent: *

Принято указывать только один раз и все директивы для ботов прописывать сразу

 

Второе:

Sitemap: http://aristov-aleks....ru/Sitemap.xml

Вроде бы указывается в конце, после директив disallow и allow

 

Третье:

Allow:  wp-content/uploads/2017/04/GL.jpg

Allow:  wp-content/uploads/2017/04/GL1.jpg

Allow:  wp-content/uploads/2017/04/GL2.jpg

Allow:  wp-content/uploads/2017/04/GL3.jpg

и т.д.

Лучше не "раздувать" файл, это влияет на скорость загрузки, чем больше файл - тем дольше он обрабатывается. Лучше объединять правила по определенному признаку. Например, для приведенного фрагмента можно написать одну строку:

Allow:  wp-content/uploads/2017/04/*

И все изображения в этой папке будут доступны для индексации

 

UPD: Почитай здесь - Иван много полезного написал про robots.txt и в стартпосте и в тех местах где к нему приставали с вопросами (в том числе и я :) )


Сообщение отредактировал ShowPrint: 12 April 2017 - 09:25

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#3 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 12 April 2017 - 09:44

Спасибо за помощь !

Вроде бы указывается в конце, после директив disallow и allow
 

Да, для меня это еще спорный вопрос, но скорее всего так оно и делается. Надо посмотреть как у других. Где тоя  видел для вордпресса так указывали.

 

Allow: wp-content/uploads/2017/04/*

Дело в том, что в папке 04 все и находится. Поэтому логичнее было бы написать  Allow: wp-content/uploads/2017/04/GL* Не дописывая окончание ?  Потом я думал звездачка запрещает, в данном случае. Вот пример из Яндекса

 

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
# и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

 

 

 

Лучше не "раздувать" файл, это влияет на скорость загрузки,

Я просто у Яндекса читаю что "При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Если размер файла превышает 32 Кб, робот считает его полностью разрешающим, то есть рассматриваются аналогично:" А мой файл и половины не будет весить. Ну я понял, лучше не раздувать. Открыть всю папку тоже не могу. Там когда загружаешь одну фотографию, он еще 10 копий делает для разных целей )) 


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#4 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1475 сообщений
  • Репутация: 486

Отправлено 12 April 2017 - 09:47

Вордпресс все сваливает в одну кучу.
если грузить изображения через админку, то он прекрасно все разбивает по датам и в итоге все изображения на сайте хранятся в одном месте.

Следовательно, лучше открыть индексацию папки, где хранятся изображения. Тем более, что у вас сайт фотографа и органический поиск по фото/картинкам для вас, на мой взгляд, более чем актуальный.

 

Также желательно открыть (и как раз это в панели вебмастера гугл просит) css стили и ява скрипты, которые могут влиять на внешний вид индексируемых страниц.

 

В остальном согласен с Михаилом!

 

А вот как часто робот будет сканировать мой сайт и какие конкретно файлы и страницы, указываются в robot.txt  Так ? 

Нет,  в файле робота мы только прописываем рекомендации для поискового бота по поводу процесса индексирования. А вот частота сканирования не всегда зависит от вебмастера. Изначально этот процесс автоматизирпованный (частота сканирования на усмотрение робота), но на нее в ряде случаев можно повлиять. Как именно повлиять - есть масса способов (размещение анонсов, addURl сервис и др.). Но если честно, я например, не заворачиваюсь этим.

Иногда нет времени на более важные вещи, а такие заморочки с ускорением индексации не входит в мои личные приоритеты. 


Там когда загружаешь одну фотографию, он еще 10 копий делает для разных целей )) 
да, это так. но я все равно открывал полностью всю папку для индексации. 
  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#5 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 12 April 2017 - 09:53

если грузить изображения через админку, то он прекрасно все разбивает по датам
 

Да, но все равно все сваливает в одну кучу и копии фотографий тоже. Те фотографии которые у меня на сайте не грузятся отдельно от их многочисленных копий.  Поэтому в любом случае он будет индексировать и привьюшки, и какие то ужатые копии оригинала и т.д Или не так ? Я просто не хочу весь этот мусор в поиск вгонять. Думаю не хорошо это.


Вот сейчас посмотрел. 26 копий получается с одной фотографии ))


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#6 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3084 сообщений
  • Репутация: 850

Отправлено 12 April 2017 - 10:03

Потом я думал звездачка запрещает
"Звёздочка" - это маска, означающая произвольный набор символов. Запрещает или разрешает - зависит от директивы: в правиле disallow - запрещает, в allow - разрешает. В примере Яндекса - disallow, поэтому создается маска для запрета.

 

логичнее было бы написать  Allow: wp-content/uploads/2017/04/GL*
Вполне возможно - ты можешь создать маску именно для тех файлов, которые считаешь нужным. Смысл в том, что это лучше и оптимальнее чем перечисление всех файлов.

 

Также желательно открыть (и как раз это в панели вебмастера гугл просит) css стили и ява скрипты, которые могут влиять на внешний вид индексируемых страниц.
+100500 Я бы сказал "обязательно" - в противном случае ГВМ будет "ругаться"

 

При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер
Это о предельном размере, а по факту действует правило "чем меньше - тем лучше", но при этом необходимо закрыть всё, что необходимо.
  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#7 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 12 April 2017 - 10:11

@ShowPrint,@Evgeniy3200, Всё. дошло !)) Спасибо, как то с первого раза сложно иногда въехать.


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#8 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1475 сообщений
  • Репутация: 486

Отправлено 12 April 2017 - 10:39

@Napoleon-007, поэтому есть и форум, где вам с радостью помогут (если это в силах помогающих). Тут точно никто никогда не откажется помочь, если знаеткак/может 


  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#9 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 12 April 2017 - 10:42

поэтому есть и форум,
 

Поэтому я именно на этом форуме и остановился. А было их много у меня когда я начинал ))


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#10 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 16 April 2017 - 20:01

если грузить изображения через админку, то он прекрасно все разбивает по датам и в итоге все изображения на сайте хранятся в одном месте.

А почему при этом ссылка на саму фотографию не редактируется. Т.е прописать все теги можно к фотографии, а именно этот пункт неактивен ? Хотя ссылка на фотографию видна. Это как то через сервер нужно открывать права доступа или это особенности самого сайта ? 


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#11 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1475 сообщений
  • Репутация: 486

Отправлено 17 April 2017 - 09:52

А почему при этом ссылка на саму фотографию не редактируется.

что имеется ввиду по поводу ссылки? именно адрес не редактируется?
он и не будет редактироваться, т.к. зависит от места, куда грузится изображение. В данном случае ссылка=путь к изображению. в папке сайта. Если его отредактировать - то браузер будет изображение пытаться грузить из другого места, где физически может и не быть изображения..

 

 

или вы имеет ввиду подпись изображения, которая на сайте выводится?? 


  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#12 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 17 April 2017 - 10:03

@Evgeniy32001.jpg

Я пока не перемещу нужные файлы в отдельную папку не могу открывать индексацию на все фотографии. У меня их там 7300. Поэтому и хочу понять как адрес на фотографию менять.


Сообщение отредактировал Napoleon-007: 17 April 2017 - 10:04

  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#13 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1475 сообщений
  • Репутация: 486

Отправлено 17 April 2017 - 12:10

@Napoleon-007, если грузить через админку, то по умолчанию он грузит в определенные папки.
Если вы хотите, чтобы изображение было в определенной папке: вам необходимо его грузить по средствам фтп прямо на сервер и далее вручную прописывать путь в админке.

если вы просто поменяете отредактируете путь - то это действие не перемещает картинку, а лишь указывает путь, откуда ее брать. Т.е. повторюсь, если вы поменяете путь, то и картинка должна быть по этому пути доступна, т.е. ее необходимо вручную переместить по адресу пути. 


  • 1

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#14 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 17 April 2017 - 12:40

грузить по средствам фтп прямо на сервер и далее вручную прописывать путь в админке.

Это я понял, я не понимаю где менять путь к фотографии. В админке у меня  этот пункт не активный . Как я делаю.  Определенные фотографии я загружаю через админку и те же фотографии через ФТП в папку. А потом иду в  Медиафайлы, где появляется весь список загруженных фотографий и выбираю ту которой хочу поменять путь. 


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru