Как работают поисковые системы (Яндекс, Гугл и т.п.)

Для чего вообще существуют поисковики? Интернет очень большой, в нем очень много информации, никто с этим не будет спорить, думаю. Ну вот, чтобы среди миллиардов текстов и прочего добра найти именно то, что вам действительно нужно, пришлось создавать этих поисковых монстров. К слову, не всегда даже они справляются. А все потому, что практически вместе с созданием поисковых систем, появились товарищи, которые стали заниматься искусством поисковой оптимизации (SEO). Кстати, вы не замечали, что всегда профессионалы в той или иной области, появляются на рынке сразу опытными и обязательно будут иметь опыт работы от 3-х лет (даже в отрасли которой полгода)? Думаю, если в наш мир прилетели бы инопланетяне, а потом поспешно улетели, поняв, что столь варварская планета не для них, то и тут уже через несколько дней мы бы были свидетелями появления в гугле по запросу борьба с инопланетянами фирмы, которая стоит на защите нашего мира и сдерживает кровожадных инопланетян от покушений на наших гражданок и у которых вы можете купить шапочки из фольги и пр. полезное оборудование, которое поможет вам защититься от любых нападок инопланетян. При этом не удивлюсь, если в описании компании будет значиться «триста лет на страже планеты».

Вернемся к поисковикам. Поисковик — большая сложная система, которая состоит из 2 пауков (видимо они так названы, потому что также как их природные сородичи, пока всю паутину(сеть) не пробегут, не успокоятся. Первый скачивает все страницы из Интернета для поисковика, а второй бегает по ссылкам на всех страницах и находит все новые и новые страницы), индексатора (который поедает все, что принес первый паук и записывает наиболее вкусные и полезные, по его мнению, страницы в свою базу, проиндексирует их), базы данных (где все это хранится) и системы выдачи результатов (то, что мы с вами и видим на сайте Яндекса и Гугла).

Когда мы вводим запрос, например что такое SMM, то поисковая система (в данном случае гугл) достает из свой базы данных, собранной пауком, наиболее подходящие нам страницы. Сразу возникает вопрос — «А как она определяет, что мне больше подойдет?». Точного ответа никто не знает, но известно, что у каждого поисковика есть свой специальный алгоритм (методика), который учитывает много сотен критериев (по большей части неизвестных простым смертным). Этот алгоритм постоянно совершенствуется, именно поэтому, чтобы быть грамотным SEOшником (поверьте, таких очень-очень мало) нужно быть всегда в курсе последних новостей SEO-отрасли, и что важнее — иметь опыт продвижения при новых алгоритмах.

Ладно, ввели мы запрос что такое SMM (заметьте, что тут ссылка уже на внутреннюю страницу моего сайта с контентом на эту тему. Сейчас по этому запросу после 20 дней существования сайта данная страница в топ-20. Давая ссылки с других страниц своего сайта на нее, мы даем поисковику понять, что эта страница действительно важнаи интересна для людей по этому запросу). Поисковик, после введения запроса показывает вам список отобранных сайтов, который выглядит так:

Схема показа традиционно такая (может меняться, если поисковику не понравились метатеги с сайта и он проставил свои):

Title (заголовок), в первом случае «Что такое SMM | Бизнес в интернете» Domain/URL (Домен/адрес), в первом случае владтимошенко.ком дата создания страницы (6 апреля 2011) Далее показывается текст из мета-тега (по ссылке объяснение, что такое мета-тег) описания страницы (meta name=»description») данного сайта — Направление SMM (social media marketing) — это один из современных способов продвижения ресурсов в сети Интернет, который продвигает сайты/товары/услуги с помощью различных социальных проектов – социальных сетей, форумов, блогосферы, сетевых конференций, сервисов мгновенных сообщений и т.д. К ключевым свойствам SMM относятся: 1) Сайт/товар/услуга продвигается исключительно с […] . (как мы видим, смысла делать такой длинный мета-тег нет, так как он показан пользователю только не треть). На строчку, которая изображена чуть ниже пока не обращайте внимания (у вас ее в поиске не будет), это плагин для браузера SEOquake, который помогает анализировать выдачу, о нем поговорим в других постах.

После того, как SEOшники начали «оптимизировать» свои сайты и сайты своих клиентов под требования поисковиков стало все сложнее попасть в ТОП выдачи поисковых результатов (особенно по коммерческим запросам вроде — пластиковые окна, продажа авто, интернет-маркетинг). При этом не факт, что этот наоптимизированный сайт большего всего соответствовал требованиям человека, который вводил данный запрос в поисковик. Хотя на данный момент поисковики поумнели и по большей части при вводе запроса мы находим то, что нам нужно на первой странице из 10-ти запросов.

Таким образом, теперь мало иметь хороший контент, чтобы попасть в ТОП, помимо этого нужно грамотно оптимизировать свой сайт (а главной силой в SEO были и остаются внешние ссылки на ваш сайт). И если вы запустили свой сайт, например, про интернет-маркетинг, как я, по запросу интернет-маркетинг в ТОПе просто так вы не появитесь, так как у вас есть сотни конкурентов, которые давно работают над своим сайтом (а кто работает над своим сайтом больше, чем интернет-маркетолог?). Выход из этого положения один — оптимизировать сайт лучше конкурентов, а это значит, нужно вести как внутреннюю работу над сайтом (грамотно формировать семантическое ядро, работать над ссылочными связями постов на сайте, писать интересный контент и т.п.), так и внешнюю, тем или иным образом получая внешние ссылки на сайт.

Вот так в двух словах работают поисковики и SEOшники, которые пытаются их приручить. А вот это видео гениально демонстрирует работу поисковых систем, если бы они были реальными людьми:

Update: К 2016 году произошло много изменений. Теперь поисковики стали намного умнее и используют гораздо больше алгоритмов в своей работе, поэтому серьезно усложнили задачу черным сеошникам и лицам, которые хотят обмануть поисковики. Теперь используется LSI — латентно-семантическое индексирование, что означает следующее: поисковый робот теперь умеет выделять из основного текста не отдельные фразы, которые пользователи вводят в поисковую строку, а умеет понимать тематику страницы, опираясь на целый комплекс используемых на этой странице слов, он понимает синонимы, словоформы, склонения по падежам и близкотематические фразы. Если вы пишете качественный контент и пользователям он нравится, рано или поздно вы продвинетесь в топ.