< Поиск Яндекса, как работает алгоритм поиска

Поиск Яндекса, как работает алгоритм поиска ответов на запросы?

Логотип поисковой системы Яндекс.
Обновлено:

В статье расскажу про поиск Яндекса, о том, как работает алгоритм поиска ответов на запросы для понимания простого пользователя.

Яндекс открылся в 1997 году и имел всего один сервер. Сегодня существует обширная сеть дата-центров, по всей территории страны, где число серверов составляет несколько тысяч. 

На каждом из них хранятся миллионы, если не миллиарды, вопросов и ответов. Каждый божий день огромное количество пользователей озадачивают поисковик своими запросами.

Но машина не дремлет. Заметили, что как только вы начинаете вводить в поисковую строку слово, она заранее подсказывает вам возможные варианты? Всё это не потому, что она такая добренькая и не хочет вас утруждать набирать фразу целиком.

А потому, что у человека в голове не всегда запрос формулируется однозначно. Не всегда машина понимает, что от неё требуется. Вот Яндекс и помогает нам направить свои мысли в нужное русло.

Поисковая система Яндекс, главная страница

Поисковая машина должна выполнить две основные задачи:

  1. Сообразить, что действительно хочет узнать пользователь.
  2. Среди великого множества документов за доли секунды найти в сети соответствующие файлы.

Первая задача также решается в два этапа. Когда поисковик понял запрос, он предпринимает общий и быстрый поиск. То есть одни роботы отбирают по запросу те документы, которые появились только что, секунду или две секунды назад. Другие просматривают сеть в целом, что есть и где лежит.

Потом всё это перерабатывается, отбрасывается устаревшая информация, а выдаётся свежая, полезная, релевантная запросу.

Причем такая группировка ответов не пропадает даром. Она формирует такой себе «отпечаток» по запросу. Он хранится не в одном месте, а на многих серверах и периодически обновляется.

Это что-то вроде реестра, в котором сказано, где какая информация лежит. Здесь у каждого ключевика есть миллионы привязанных документов.

Обновления такого слепка своевременно переносятся из хранилища в базу, чтобы всегда быть «под рукой».

Полученные данные от основных роботов обновляются и переносятся в базовый поиск пару раз в неделю. Данные же от быстрого поиска обновляются и выдаются тут же, в реальном времени.

Как Яндекс выясняет требуемый вариант?

Сложность для поисковой машины состоит не только в том, чтобы быстро найти все документы, которые:

  • отвечают на ваш запрос;
  • встречаются в словах и словосочетаниях.

Сначала поисковик должен определить язык, на котором вы делаете свой запрос. Вы действительно задаете вопрос на английском языке или просто не переключили раскладку клавиатуры?

Вы обратили внимание, что почти всегда, если набрать вопрос латинскими буквами, робот все равно выдаст ответ по-русски, причём то, что надо. Да, иногда переспрашивает, может вы хотели спросить это?

Но встречаются вопросы на кириллице.

Пример. «Дружина князя Игоря» — для русскоязычных людей машина выдаст всё о доблестной рати князя. Для украинцев — всё о его жене, княгине Ольге. В украинском языке дружиною называют жену мужа.

Что на самом деле ищет человек?

Вот слово «коса». Это омоним. Означает и переплетение волос, и сельско-хозяйственное орудие, и отмель, и узор вязания спицами и даже название сериала. А может это просто парикмахерская.

Когда мы задаем вопрос машине, то совершенно не задумываемся, по каким принципам работает математический мозг. Поэтому Яндекс задает наводящие вопросы в выпадающем списке, чтобы сузить запрос.

Омонимы на слово "коса": прическа, узор, берег, парикмахерская, орудие земледелия.Коса

Если мы не реагируем на это, не выбираем фразу из списка и не добавляем определяющих слов, тогда вступает в силу технология «Спектр». Поиск начинается во всех направлениях сразу.

Но здесь рóботу помогают дополнительные персональные механизмы. Если вы на днях, а то и раньше, рылись в кулинарных рецептах, то поисковик может выдать рецепт выпечки в форме «косы».

Данные о вашем географическом положении тоже играют не последнюю роль в выдаче результата. Сейчас геолокация сузилась вплоть до района, улицы и дома, из которого производится запрос.

Совсем недавно заработало новое обновление поиска «Вега». Данные обрабатываются с помощью нейросетей, внедрен пререндеринг.

Нейросети группируют документы по смыслу, одновременно и в большом количестве. А предварительный рендеринг формирует выдачу результатов по первым словам запроса. Поиск ведется не по всему интернету, а по сформированным смысловым кластерам. 

Вместе с внедрением Турбо-страниц выдача происходит гораздо быстрее, за доли секунды, и эффективнее, чем раньше.

Особенности поисковой системы Яндекс

Хвала создателям Яндекса. Надо отдать им должное. Они поручили машине самой искать критерии для поиска.

С одной стороны робот использует все имеющиеся данные, с другой — ему позволено разрабатывать собственные пути выискивания соответствий.

Он «следит» за вами, запоминает, что вы запрашивали, как часто, на каком языке, что смотрели, где находитесь сейчас и где бывали раньше и так далее. У него складываются свои принципы, по которым он потом выдает вам ответы.

Иногда это могут быть неожиданные комбинации. Если музыкант разводит тритонов, то он точно введёт машину в заблуждение, чтó ему надо узнать на сей раз по запросу «тритон»: музыкальный интервал или разновидность земноводных саламандр.

Асессор Яндекса оценивает выдачу на запросы пользователя

Но система всё же не сама. Около тысячи сотрудников Яндекса следят и оценивают работу поисковика по тем или иным запросам. Теперь с учетом мнения экспертов по качественной оценке Яндекс выдает наиболее точные результаты на вопросы пользователей.

Насколько эти ответы соответствуют ожиданиям человека? Живого человека не такого правильного, как машина, не такого логичного, как она, а человека неординарного, противоречивого и эмоционального, который не всегда формулирует свой вопрос четко и однозначно. 

Что такое Семейный поиск Яндекса? Как подключить?

Яндекс предусмотрел еще одну хорошую фишку для поиска. Поскольку интернетом сейчас пользуются все от мала до велика, компания Яндекс предложила три режима для поиска с целью ограничить доступ детей к сайтам «для взрослых». 

  1. Умеренный режим включен по умолчанию. Поиск осуществляется по всему интернету, но цензура исключает сайты с недетской тематикой, если только запрос прямо не направлен на таковой. 
  2. Семейный фильтр исключает из поиска все сайты для взрослых, даже если запрос поставлен напрямую, а также сайты с ненормированной лексикой и нецензурной бранью. 
  3. Режим «Без ограничений» включает в себя любые найденные документы по пользовательскому запросу, в том числе и сайты «для взрослых».

Чтобы включить или отключить режим «Семейный», нужно зайти в Настройки поиска, дальше «Фильтрация поиска»→«Семейный поиск»→«Сохранить».

Новый сервис Яндекс Кью 

Хочу отметить создание службы «Кью». Когда человеку надо получить ответ от компетентного человека или специалиста в какой-то области на конкретный вопрос без лишних подробностей, то можно обратиться сюда.

На вопросы отвечают узкие специалисты, прошедшие верификацию — психологи, врачи, историки, программисты и другие эксперты, которые кратко, по сути отвечают на конкретно заданный вопрос.

Теперь вы представляете себе, как работает поиск Яндекса и как работает алгоритм поиска ответов на запросы пользователей. Так что спрашивайте Яндекс о чем угодно, он всегда найдет подходящий ответ на любой ваш вопрос.

Если хотите узнавать ещё что-то новое и полезное на моём блоге, смело подписывайтесь тут.

Нет комментариев

Оставить комментарий

Отправить комментарий Отменить

Сообщение