[X] Помощник

[Arch Linux Topic Starter]

Здравствуйте жители форума вебмастеров
я не могу решить проблему с файлом robots.txt в корневом каталоге сайта

вот сам код robots.txt 
User-agent: *
User-agent: Yandex
User-agent: Mail.Ru
User-agent: StackRambler
User-agent: Googlebot
User-agent: googlebot-image
User-agent: googlebot-mobile
User-agent: Aport
User-agent: msnbot
User-agent: psbot
User-agent: yahoo-slurp
User-agent: baidu.com
User-agent: yahoo-slurp
Allow: /
я его много раз менял но так безуспешно
все равно ограничение выдаёт
что я сделал не так в этом файле?

[BLIK]

Arch Linux,Здравствуйте. А какой движок сайта? 
То что в примере составлено не правильно.


Сообщение отредактировал BLIK - 12.7.2015, 0:56

[Arch Linux Topic Starter]

сайт написан на php
расположен на сервере linux
система управлением сайтом делаю только через ftp -через изменение кода и заливки файлов
сайт писал не я -а программист
сайт просто лежит в папке и транслируется(тоже само как и на IIS 7.5)
  BLIK вы можете мне  помочь с файлом robots.txt? 
в папке сайта -есть 3 папки это css, img, js  
и файлы 


Сообщение отредактировал Arch Linux - 12.7.2015, 1:29

[BLIK]

Arch Linux, Вот примерный файл.

User-agent: *
Disallow: /css
Disallow: /font
Disallow: /images
Disallow: /js

User-agent: Yandex
Disallow: /css
Disallow: /font
Disallow: /images
Disallow: /js

Host: sait.ru 

В приведенном файле закрыты от индексации папки
css

font

images

js

 Поменяйте название папок на свои, которые НЕ должны попасть в индекс.
Вместо sait.ru напишите свой адрес домена.

Так как у Вас папок меньше чем на примере, лишние строчки удалите.


Сообщение отредактировал BLIK - 12.7.2015, 1:45

[Arch Linux Topic Starter]

BLIK_mw,  я всё сделал как вы написали
через какой срок поисковые системы снимут ограничения? 

[BLIK]

Arch Linux,А вы проверьте сейчас.

1) Зайдите в кабинет Google вебмастер там будет раздел посмотреть как Googlebot  введите ссылку на любую страницу, только без названия домена, например страница называется sait.ru/masterwebs.php   правильно вводить url так  masterwebs.php  и нажать просканировать(домен там автоматом подставится)

2) Открыть страницу https://webmaster.yandex.ru/addurl.xml? и добавить ссылки на страницы 

Тем самым проверите разрешен ли доступ или нет.

P.s Если в Google так каждую страницу загнать и запрета нет,то быстро будет в выдачи, с Яндексом все сложнее он долго индексирует.


Сообщение отредактировал BLIK - 12.7.2015, 2:06

[Arch Linux Topic Starter]

всё сделал правильно, в google отображались все страницы кроме страницы ru.php  и cn.php
а эти страницы они удаляться из поисковика?

[BLIK]

Arch Linux,А нужно чтоб они удалились или что?
У Вас НЕ закрыты от индексации никакие страницы поэтому само ничего не удалиться

Если нужно чтоб какие то страницы были удалены из выдачи, их надо отдельно закрывать от индексации.(аккуратно)

[Arch Linux Topic Starter]

да хочу чтоб они удалились, я могу через это по удалить те страницы которые в ограниченном доступе?



Сообщение отредактировал Arch Linux - 12.7.2015, 3:35

[BLIK]

Arch Linux, Чтоб удалить эти страницы надо сначала доописать в robots.txt 

такие строки 

Disallow: /ru.php
Disallow: /cn.php
Disallow: /lang.php

Какие страницы в выдачи не нужны, сначала прописываем их в robots 
а потом удаляем url через инструмент удалить url ( для удаления надо вписывать полный путь ссылки)

После закрытия ненужных строк надо еще проверить раз