Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Как настроить файл robots.txt на сайте написанного на php

#11 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0
0

Отправлено 12 Июль 2015 - 03:03

@BLIK, Спасибо вам огромное!!! за помощь

вы очень классный :smile-thumb-up:  и активный участник форума, без вас я бы не справился  :)

(я всё понял то что вы писали)

я думаю эта тема будет и другим полезна :)


  • 0

#12 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 12 Июль 2015 - 03:09

@Arch Linux,Пожалуйста.

Главное когда все пропишите и закроете НЕ нужные страницы и папки, обязательно проверяйте и в Google и в Яндексе, чтоб лишнего не закрыть. 

 

P.s @Arch Linux,  Забыл добавить если в папке images лежат только картинки и надо чтоб их индексировали поисковики(картинки) папку images можно открыть для индексации.


Сообщение отредактировал BLIK: 12 Июль 2015 - 03:17

  • 0


#13 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 12 Июль 2015 - 14:17

@BLIK,  

User-agent: *

Disallow: /css
Disallow: /js
Disallow: /lang.php
Disallow: /public/jeun/mio/rus/Home_files/42813461165351.php
Disallow: /author/igea/
Disallow: /Home_files/42813461165351.php
Disallow: /public/jeun/trostinka/ita/registrazione.html
Disallow: /2015/04/
 
User-agent: Googlebot-Image
Allow: /img/*.png
Allow: /img/*.jpg
 
User-agent: Yandex
Disallow: /css
Disallow: /js
 
Host: jeunesse-global.club
 

Правильно я прописал?, если что то не так-поправьте меня

а то некоторые нерабочие страницы все равно попали в индекс


Сообщение отредактировал Arch Linux: 12 Июль 2015 - 14:18

  • 0

#14 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 12 Июль 2015 - 14:40

@Arch Linux,Нет не совсем правильно. 

User-agent: *
Disallow: /css
Disallow: /js
Disallow: /lang.php
Disallow: /42813461165351.php
Disallow: /registrazione.html

User-agent: Yandex
Disallow: /css
Disallow: /js
Disallow: /lang.php
Disallow: /42813461165351.php
Disallow: /registrazione.html

Host: jeunesse-global.club

 

Полный путь писать не надо если закрыть какую то страницу. С фотками надо смотреть, если в папке с фото только фото, то можно открыть всю папку для индексации.  

Главное зеркало сайта какое с www ? В Яндексе указано главное зеркало или на усмотрение робота?

Редирект стоит чтоб редиректить сайт с www? (дублей нет сайта если набрать без www и с www)


Сообщение отредактировал BLIK: 12 Июль 2015 - 14:41

  • 0


#15 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 16 Июль 2015 - 21:17

@BLIK,  я не знаю что уже делать, вот этот код я вставлял в robots.txt который ты мне давал, и после этого я  заново удалил страницы из поисковика и заново добавил в поисковике, после этого всё стало на свои места, но через 2 дня google показывает что сайт Описание веб-страницы недоступно из-за ограничений в файле robots.txt.Подробнее...  это были те сайты которые я добавлял через en.php и так далее, и после этого начал искать информацию как это исправить, но информации так и не нашел, и решил сам тут чудить  

 

 

User-agent: *
Disallow: /css
Disallow: /js
Disallow: /lang.php
Disallow: /42813461165351.php
Disallow: /registrazione.html
Disallow: /igea
Disallow: /en1.php
Disallow: /rub.php
Disallow: /04
Disallow: /index.html
Allow: /ru.php
Allow: /en.php
Allow: /es.php
Allow: /de.php
Allow: /fr.php
Allow: /it.php
Allow: /jp.php
Allow: /cn.php

User-agent: Yandex
Disallow: /css
Disallow: /js
Disallow: /lang.php
Disallow: /42813461165351.php
Disallow: /registrazione.html
Disallow: /igea
Disallow: /en1.php
Disallow: /rub.php
Disallow: /04
Disallow: /index.html
Allow: /ru.php
Allow: /en.php
Allow: /es.php
Allow: /de.php
Allow: /fr.php
Allow: /it.php
Allow: /jp.php
Allow: /cn.php

Host: jeunesse-global.club

вот этот мне код помог на 3 часа всё было нормально и после этого не которые сайты вошли в ограничения

(я не обращаюсь на форум к тебе потому что не хочется терять ваше время)


Сообщение отредактировал Arch Linux: 16 Июль 2015 - 21:19

  • 0

#16 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 16 Июль 2015 - 21:41

@Arch Linux,Привет

 

А зачем ты закрыл index.html ? и вот эта /igea папка что в ней ?

 

И если у тебя стоит редирект с www на без www и главный сайт с www открывается в host пропиши адрес с www

 

P.s Сейчас что опять закрыто все?


  • 0


#17 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 16 Июль 2015 - 22:00

@BLIK,  igea такой папки совсем нет, а оно появляется в поисковике,  а вот файл index.html я его закрыл потому что он совсем не нужен в поисковике,  этот файл он не работает http://www.jeunesse-...club/index.html и поэтому я его убрал из поисковика, и добавил в robots.txt,   редирект это надо менять в html коде или в самом сервере ?

zAN5DgBcqPZL29.png03ae8e906d.png

а вот такого у меня не было-только было на одной ссылке а щас на две я про error

 

 

site:www.jeunesse-global.club


Сообщение отредактировал Arch Linux: 16 Июль 2015 - 22:10

  • 0

#18 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 16 Июль 2015 - 22:24

@Arch Linux, Редирект у тебя уже настроен в файле htaccess так как если набрать адрес без www уже редиректит на с www

 

Поставь в графе host www.jeunesse-global.club

 

По поводу index.php и index.html  их надо редиректить на домен(на морду)

 

Вот код, который уберет из index.php окончание php и откроет главную 

RewriteEngine On
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP
RewriteRule ^index\.php$ http://site.ru/ [R=301,L] 

Закрывать файл index.html я думаю не стоит. Его надо тоже сделать так чтоб редиректил на морду.( я так думаю)

Можно конечно поставить еще редирект типа этого

RewriteEngine On
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP
RewriteRule ^index\.html$ http://site.ru/ [R=301,L] 

Но я думаю можно этот код объединить в один, но как, я к сожалению не знаю.(тут на форуме есть кто с такими кодами на ты, может увидят, помогут )

 

P.s В коде свой url поставь.


  • 0


#19 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 19 Июль 2015 - 19:33

@BLIK, эти два кода мне помогли

vAWY3aec4v6BmW.png

мне написал один программист который писал этот сайт jeunesse-global

я ему показал код robots.txt

User-agent: *

Disallow: /css
Disallow: /js
Disallow: /lang.php
Disallow: /42813461165351.php
Disallow: /registrazione.html
Disallow: /igea
Disallow: /en1.php
Disallow: /rub.php
Disallow: /04
Allow: /ru
Allow: /en
Allow: /es
Allow: /de
Allow: /fr
Allow: /it
Allow: /jp
Allow: /cn
Allow: /index
Allow: /

 

он написал удали расширение,  .php  там где строка кодов Allow: я удалил и после этого сайты перестали ограничиваться, а вот index.php и index.html все равно ограничиваются, я их заново удалил и заново включал повторно, но все равно они ограничиваются эти две ссылки, а вот ссылка с название en.php вообще в индекс не хочет идти, а вот основная ссылка  с начальном / тоже ограничивается


Сообщение отредактировал Arch Linux: 19 Июль 2015 - 19:39

  • 0

#20 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 19 Июль 2015 - 19:55

@Arch Linux,

Попробуй просто как изначально был код

User-agent: *
Disallow: /css
Disallow: /font
Disallow: /js

User-agent: Yandex
Disallow: /css
Disallow: /font
Disallow: /js

Host: www.sait.ru  

И посмотри как будет индексироваться. И сделай редирект с index.php и index.html на главную(домен) Тогда дублей index.php не будет


  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru