Перейти к содержимому


fozzy

Поисковые bot сидят на главной странице.

#1 Napoleon-007

Napoleon-007
  • Пользователь
  • 349 сообщений
  • Репутация: 7
0

Отправлено 19 Октябрь 2014 - 14:24

Всем Привет! Подскажите, пожалуйста, почему поисковые боты сидят только на главной странице и похоже дальше не идут. Например, яндекс проиндексировал только одну страницу, Яху тоже самое. И только гугл преуспел и то потому, что я в вебмастере индексирую новые страницы сам. Почему они все сидят только на главных страницах? У меня как-то был Блог на Вордпрессе и там только напишешь статью она сразу в гугле. Чуть позже в яндексе. А тут просто беда какая тол. Или Sitemap и robots.txt нужно обязательно устанавливать  чего я пока не сделал сайт http://www.comunidadrusa.com/index.php


 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Список поисковых ботов
  2. Как определить, какие боты присутствуют на сайте?
  3. Бот для продвижения О_о
  4. Индексация страниц сайта
  5. Программа для перехода по ссылке с разных прокси

#2 BLIK

BLIK
  • Супермодератор
  • 3 315 сообщений
  • Репутация: 681

Отправлено 19 Октябрь 2014 - 14:44

Попробуйте так, зайти в Яндекс вебмастер и слева нажать проверить URL и ввести полный адрес страницы. После как будет написано "готово" нажмите и посмотрите что будет написано. Если будет написано не известна страница, то пихаем повторно... Потом если опять будет так же написано "не известна страница", то делаем "перекур" часиков на 7, потом заходим и повторяем действия(один раз) И смотрим....

 

У меня после 2-3 раз, появляется ответ что страница "известна" роботу, но контент еще не проиндексирован... И после АПА страница в выдачи...

 

Такие действия я делаю после публикаций статей. Так как не всегда быстроробот съедает сразу. 

 

Эти дейтвия НЕ нужно 10 раз повторять сразу, толку не будет... 2-3 раза с промежутком времени... Обычно хватает чтоб страница была известна роботу...(без фанатизма)

 

А, Sitemap и robots.txt нужен обязательно...  robots.txt нужен для закрытия "хлама технического" и указания роботам что кушать, а Sitemap нужен чтоб роботы быстрее загружали страницы и не потерялись на сайте...

Сделать Sitemap и robots.txt не так долго, да и не трудно это ....для Sitemap есть серрвисы онлайн для генерации карты, а robots.txt можно взять для прмера любой(даже у Сосновского на блоге :rolleyes: ) и переписать под свой сайт и папки.....


  • 1


#3 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 349 сообщений
  • Репутация: 7

Отправлено 19 Октябрь 2014 - 14:55

Спасибо за такой развернутый ответ. У меня нет опыта в создании этих файлов, но думаю справлюсь. А не подскажите хороший сервич с для генерации Sitemap  ? И я правильно понимаю, что на форуме с большим количеством страниц, robots.txt  лучше разбивать их на части. ?


  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 3 315 сообщений
  • Репутация: 681

Отправлено 19 Октябрь 2014 - 15:06

Для генерации карты вот один из них http://www.mysitemapgenerator.com/    а так стоит набрать запрос в выдачи(сервис генерации карты сайта).. А robots.txt он один для сайта, я не разу еще не видел и не слышал про 2 robots.txt .... 


  • 0


#5 Napoleon-007

Napoleon-007
    Topic Starter
  • Пользователь
  • 349 сообщений
  • Репутация: 7

Отправлено 19 Октябрь 2014 - 20:01

Можно в качестве генератора использовать вот такой вот сервис http://www.cy-pr.com/tools/sitemap/ Я попробовал, но мне выдает ошибку в строке 845 колонка 20. Может я его сохраняю как то не так. Имеет значение, что форум на испанском языке ? Сохраняю в Дримвивере. Там есть форма приведение к юникоду . У меня выставлено "с(каноническая декомпозиция и последующая каноническая композиция )" сам файл находится по адресу http://www.comunidad...com/Sitemap.xml


  • 0


Оформление форума – IPBSkins.ru