Перейти к содержимому

Реферальная программа Мегаплана


Правильная индексация

#1 rump3

rump3
  • Пользователь
  • 5 сообщений
  • Репутация: 0
0

Отправлено 16 Февраль 2016 - 10:32

Всем привет!

Хочу на днях залить на сервер новый сайт (каталог проектов). Там будет примерно 1200 страниц и папок с перекрестными ссылками. Контент куплен готовый, изменять 1200 страниц нереально, в смысле создавать отдельные папки и т.д. Расширение .htm

Как запретить индексацию всего сайта, за исключением 6-7 страниц.

Прописывать урлы 1200 раз в роботс.тхт не хотелось бы. Да и с noindex по той же причине неохота связываться.

Есть ли какой-нибудь иной способ?


 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 16 Февраль 2016 - 12:58

@rump3,Например закрыть в robots каталоги и папки сайта которые не нужны, остальное разрешить.

User-agent: *
Disallow: /catalog/
Disallow: /admin
Allow: /

User-agent: *
Disallow: /catalog/
Disallow: /admin
Allow: / 

Как пример. А вообще все составляется в robots правилами

правила https://yandex.ru/su.../robots-txt.xml проверить работу можно тут


  • 0


#3 rump3

rump3
    Topic Starter
  • Пользователь
  • 5 сообщений
  • Репутация: 0

Отправлено 16 Февраль 2016 - 14:55

Спасибо, но меня это не спасет. Представьте 500 проектов со своими начальными страничками, у которых есть свои каталоги со своими названиями. Внутри каждого каталога от пяти до пятнадцати страничек, причем на каждой страничке есть ссылка на любую страницу сайта. То есть каталогов тоже 500 шт. Как их прописывать?Например:D-150-1h, а-451-у и так далее. Так то там ничего секретного нет, просто сколько по времени такой сайт будет индексироваться? Из всего сайта нужны только 5-6 страниц в поиске. Если их выносить в отдельную папку, то надо редактировать на каждой странице (из 1200 шт) ссылки на эти 5-6 страниц, а также перекрестные ссылки (штук по 40) на этих 5-6 страницах.


  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 16 Февраль 2016 - 15:20

@rump3,Ну если подумать и попробовать разные правила, то сделать не так трудно. (ссылку на правила дал)

 

Можно попробовать

User-agent: *
Allow: /catalog1.html
Allow: /catalog2.html
Allow: /catalog3.html
Allow: /catalog4.html
Allow: /catalog5.html 
Disallow: /

User-agent: Yandex
Allow: /catalog1.html
Allow: /catalog2.html
Allow: /catalog3.html
Allow: /catalog4.html
Allow: /catalog5.html 
Disallow: / 

Не знаю будет работать или нет, но надо попробовать.

Закрыть все, кроме нужных страниц и прописать нужные страницы которые нужно индексировать.


Сообщение отредактировал BLIK: 16 Февраль 2016 - 15:24

  • 1


#5 rump3

rump3
    Topic Starter
  • Пользователь
  • 5 сообщений
  • Репутация: 0

Отправлено 16 Февраль 2016 - 16:22

И так 1200 раз минус 6 страниц. Наверно всё-таки я весь сайт засуну в один каталог, а нужные страницы скопирую и вытащу в корень сайта. Легче переделать 240 ссылок, наверное. То есть внешние страницы нужны для того чтобы потом "влезть" вовнутрь сайта. Не знаю, так делают или нет?


  • 0

#6 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 16 Февраль 2016 - 16:55

@rump3,Вам остается только составить один раз нормальные правила, а потом просто заменой редактировать этот файл(автоматом, заменить это,на это) и все.


  • 0


#7 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 701 сообщений
  • Репутация: 405

Отправлено 16 Февраль 2016 - 19:01

И так 1200 раз минус 6 страниц
 Защем? Идея поданная @BLIK, в том чтоб запретить к индексации все страницы, а потом разрешить всего 6. Это всего по 7 строк для каждой ПС

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#8 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1 145 сообщений
  • Репутация: 264

Отправлено 16 Февраль 2016 - 22:06

@rump3, вам  подсказали на мой взгляды самый оптимальный выход в вашей ситуации. Вы попробуйте прописать это, а потом в панели вебмастера проверить несколько страниц на предмет запрещения/разрешения страниц. 


  • 0

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#9 rump3

rump3
    Topic Starter
  • Пользователь
  • 5 сообщений
  • Репутация: 0

Отправлено 16 Февраль 2016 - 23:01

 Защем? Идея поданная @BLIK, в том чтоб запретить к индексации все страницы, а потом разрешить всего 6. Это всего по 7 строк для каждой ПС

Где-то уже говорили, что поисковики очень не любят это: Disallow: /

После этого что 6 страниц, что одну. Короче лучше так не делать. Не знаю, один раз по ошибке так прописал, две недели ждал повторной индексации.


  • 0

#10 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 16 Февраль 2016 - 23:11

Как запретить индексацию всего сайта

поисковики очень не любят это: Disallow: /

Короче лучше так не делать.

Не знаю, один раз по ошибке так прописал, две недели ждал повторной индексации.

Везение, люди по несколько месяцев ждут индексации новых сайтов..

 

Disallow: /

Это рекомендованное правило.

Где-то уже говорили

Не читайте говноблоги.. Читайте оф документацию. 


  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru