Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Как настроить файл robots.txt на сайте написанного на php

#1 Arch Linux

Arch Linux
  • Пользователь
  • 11 сообщений
  • Репутация: 0
0

Отправлено 11 Июль 2015 - 22:49

Здравствуйте жители форума вебмастеров

я не могу решить проблему с файлом robots.txt в корневом каталоге сайта
566105360a.png
вот сам код robots.txt 

User-agent: *

User-agent: Yandex
User-agent: Mail.Ru
User-agent: StackRambler
User-agent: Googlebot
User-agent: googlebot-image
User-agent: googlebot-mobile
User-agent: Aport
User-agent: msnbot
User-agent: psbot
User-agent: yahoo-slurp
User-agent: baidu.com
User-agent: yahoo-slurp
Allow: /

я его много раз менял но так безуспешно

все равно ограничение выдаёт

что я сделал не так в этом файле?

 


 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 11 Июль 2015 - 23:55

@Arch Linux,Здравствуйте. А какой движок сайта? 

То что в примере составлено не правильно.


Сообщение отредактировал BLIK: 11 Июль 2015 - 23:56

  • 0


#3 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 12 Июль 2015 - 00:16

сайт написан на php

расположен на сервере linux

система управлением сайтом делаю только через ftp -через изменение кода и заливки файлов

сайт писал не я -а программист

сайт просто лежит в папке и транслируется(тоже само как и на IIS 7.5)

  BLIK вы можете мне  помочь с файлом robots.txt? 

в папке сайта -есть 3 папки это css, img, js  

и файлы n2Yzk30hK7G3A6.png


Сообщение отредактировал Arch Linux: 12 Июль 2015 - 00:29

  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 12 Июль 2015 - 00:42

@Arch Linux, Вот примерный файл.

User-agent: *
Disallow: /css
Disallow: /font
Disallow: /images
Disallow: /js

User-agent: Yandex
Disallow: /css
Disallow: /font
Disallow: /images
Disallow: /js

Host: sait.ru 

В приведенном файле закрыты от индексации папки

css

font
images
js

 Поменяйте название папок на свои, которые НЕ должны попасть в индекс.

Вместо sait.ru напишите свой адрес домена.

 

Так как у Вас папок меньше чем на примере, лишние строчки удалите.


Сообщение отредактировал BLIK: 12 Июль 2015 - 00:45

  • 0


#5 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 12 Июль 2015 - 00:55

@BLIK,  я всё сделал как вы написали

через какой срок поисковые системы снимут ограничения? 


  • 0

#6 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 12 Июль 2015 - 01:01

@Arch Linux,А вы проверьте сейчас.

 

1) Зайдите в кабинет Google вебмастер там будет раздел посмотреть как Googlebot  введите ссылку на любую страницу, только без названия домена, например страница называется sait.ru/masterwebs.php   правильно вводить url так  masterwebs.php  и нажать просканировать(домен там автоматом подставится)

 

2) Открыть страницу https://webmaster.yandex.ru/addurl.xml? и добавить ссылки на страницы 

 

Тем самым проверите разрешен ли доступ или нет.

 

P.s Если в Google так каждую страницу загнать и запрета нет,то быстро будет в выдачи, с Яндексом все сложнее он долго индексирует.


Сообщение отредактировал BLIK: 12 Июль 2015 - 01:06

  • 0


#7 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 12 Июль 2015 - 01:57

всё сделал правильно, в google отображались все страницы кроме страницы ru.php  и cn.php

а эти страницы они удаляться из поисковика?

Q2KxpNqS8yvPAj.png


  • 0

#8 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 12 Июль 2015 - 02:09

@Arch Linux,А нужно чтоб они удалились или что?

У Вас НЕ закрыты от индексации никакие страницы поэтому само ничего не удалиться

 

Если нужно чтоб какие то страницы были удалены из выдачи, их надо отдельно закрывать от индексации.(аккуратно)


  • 0


#9 Arch Linux

Arch Linux
    Topic Starter
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 12 Июль 2015 - 02:27

да хочу чтоб они удалились, я могу через это по удалить те страницы которые в ограниченном доступе?

nAyXq46una9Q2Z.png


Сообщение отредактировал Arch Linux: 12 Июль 2015 - 02:35

  • 0

#10 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 12 Июль 2015 - 02:54

@Arch Linux, Чтоб удалить эти страницы надо сначала доописать в robots.txt 

 

такие строки 

Disallow: /ru.php
Disallow: /cn.php
Disallow: /lang.php

Какие страницы в выдачи не нужны, сначала прописываем их в robots 

а потом удаляем url через инструмент удалить url ( для удаления надо вписывать полный путь ссылки)

 

После закрытия ненужных строк надо еще проверить раз


  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru