Перейти к содержимому



Нагрузка на сервер

#1

Поделиться сообщением #1



prostors

prostors
  • Неактивные
  • 154 сообщений
  • Репутация: 0
0

Отправлено 05 Март 2009 - 01:11

Первый случай. Все скрипты висят на сайте в открытом для роботов виде. Робот зайдя на сайт начинает их обрабатывать и тем самым задерживается, подгружает сервер и тд. В общем индексация может зависнуть на долго.

Второй случай. Все скрипты прячем в отдельные файлы. При загрузке сайта браузер должен много раз обратиться на сервер, чтобы скачать и обработать эти файлы. Что насколько мне известно может замедлить загрузку сайта.Но в этом случае не идёт нагрузка на роботов.
К этому случаю относятся также сайты написанные на SSI. Как их обрабатывают роботы? js не индексируют, html индексируют?


Жду комментариев по всем случаям и вопросам.
Кто может подробно рассказать эту тему?

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Нагрузка на Joomla
  2. Как устранить нагрузку на хостинг используя средства СМS
  3. Способы ускорения DataLife Engine (DLE)
  4. Как сделать, чтобы сайт не тормозил, когда большая нагрузка?
  5. Нагрузка на сервер. Плагин Hyper Cache не помогает

#2

Поделиться сообщением #2



admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 05 Март 2009 - 01:47

Поисковые роботы не индексируют js
  • 0

#3

Поделиться сообщением #3



prostors

prostors
    Topic Starter
  • Неактивные
  • 154 сообщений
  • Репутация: 0

Отправлено 05 Март 2009 - 01:58

Поисковые роботы не индексируют js


Очень подробный, а главное содержательный ответ.
Раскрывающий всю суть данного топика.
  • 0

#4

Поделиться сообщением #4



admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 05 Март 2009 - 02:50

prostors, аналогично как и первое сообщение в теме. Больше конкретики, что за скрипты?
  • 0

#5

Поделиться сообщением #5



prostors

prostors
    Topic Starter
  • Неактивные
  • 154 сообщений
  • Репутация: 0

Отправлено 05 Март 2009 - 03:20

admin, Cкрипты js. расскажи какие лучше спрятать, а какие лучше оставить, на странице. вопрос задан без привязки к определённому какому то либо одному скрипту.

Если первое сообщение задано малосодержательно и непонятно удаляй его. Что сложно ответить учтя все тонкости и варианты?
Со скриптами кроме js сталкивался мало, поэтому расскажи тоже что с ними делать.
  • 0

#6

Поделиться сообщением #6



prostors

prostors
    Topic Starter
  • Неактивные
  • 154 сообщений
  • Репутация: 0

Отправлено 05 Март 2009 - 03:25

Поисковые роботы не индексируют js

Что они не индексируют файлы с расширением .js или код внутри тегов <script> ?

Во всех подробностях пж. Как робот распознаёт что это js, тратит ли он на это время, если скрипт стоит сверху страницы, до статического кода как он реагирует на это и тд.

Ведь важно всю тему раскрыть.
  • 0

#7

Поделиться сообщением #7



ZiTosS

ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 05 Март 2009 - 08:49

prostors,

Первый случай. Все скрипты висят на сайте в открытом для роботов виде. Робот зайдя на сайт начинает их обрабатывать и тем самым задерживается, подгружает сервер и тд. В общем индексация может зависнуть на долго.

По поводу подгрузки сервера вы ошибаетесь. JavaScript это язык, работающий на стороне клиента, браузера и он никак не влияет на работу сервера, подгрузка всего идёт параллельно загрузке страницы.

Spider (паук) - браузероподобная программа, которая скачивает веб-страницы. Spider скачивает веб-страницы тем же способом, что и браузер пользователя. Отличие состоит в том, что браузер отображает информацию, содержащуюся на странице (текстовую, графическую и т.д.), паук же не имеет никаких визуальных компонент и работает с html-текстом страницы (вы можете сделать «просмотр html-кода» в вашем браузере, чтобы увидеть «сырой» html-текст).

Indexer (индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Indexer разбирает страницу на составные части и анализирует их. Выделяются и анализируются различные элементы страницы, такие как текст, заголовки, структурные и стилевые особенности, специальные служебные html-теги и т.д.

Я думаю вам стало понятно, что ПС при индексации не подгружает страницу а просто копирует её "сырой" HTML-код. Затем Indexer просто ищет параметры подходящие под его шаблоны, разбирает и заносит в базу. И никакой JS он не обрабатывает, а вот индексирует или нет, это уже сказать труднее. Возможно он и понимает некоторые аспекты JavaScript и даже разбирает их и заносит в базу. Всё зависит от присутствия определённых шаблонов у Indexer.

Второй случай ваш идентичен, Поисковые роботы копируют то что им нужно, и никак не загружают это, как мы в браузере. Они тупо видят HTML-код страницы.

По поводу SSI всё намного проще. SSI (Server Side Includes - включения на стороне сервера) - это язык включений на стороне сервера.
Браузер(Поисковой бот) посылает запрос по определённому адресу. Идёт запрос на сервер этой страницы, сервер находит в ней SSI включения, и вставляет вместо них всё что нужно, а браузеру(поисковому боту) возвращает уже готовую, собранную HTML-страницу(HTML-код).
SSI собирается так же как и PHP, а вообще бы я посоветовал вам почитать про протокол HTTP, как осуществляется запрос, возвращение информации, как передаются заголовки страницы и что это вообще такое.
  • 0

#8

Поделиться сообщением #8



prostors

prostors
    Topic Starter
  • Неактивные
  • 154 сообщений
  • Репутация: 0

Отправлено 05 Март 2009 - 19:18

Первый случай. Все скрипты висят на сайте в открытом для роботов виде. Робот зайдя на сайт начинает их обрабатывать и тем самым задерживается, подгружает сервер и тд. В общем индексация может зависнуть на долго.


Я про то что когда робот скачивает себе на сайт html страницу, он скачивает и js скрипты. Тоесть когда он их начинает обрабатывать на своём серваке как это происходит?

Раз уж на то пошло и никто не может рассказать во всех подробностях буду сам спрашивать включая каждую мелочь.
  • 0

#9

Поделиться сообщением #9



ZiTosS

ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 05 Март 2009 - 20:36

prostors, вы знаете что такое парсеры?
Прасеры - это скрипты(программы) которые написаны под определённые запросы, они разбирают данный им текст и находят в них соответствие заданным шаблонам. Что делать с найденой информацией это уже другое дело... Заносить в базу или выводить на экран.

Не уверен что ПС так уж силньо интересуется JavaScript, если учесть что написание одного и того же кода можно проделать многими способами. Мне кажется парсеры ПС не заморачиваются на JavaScript коде и просто выкидывают его. Скорость работы таких парсеров написанных на низких языках программирования очень больша, и поэтому обработали ли они ваш JS или нет, вы даже не сумели бы заметить...
  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru