Поисковые технологии

Проблема поиска нужной и качественной информации является самой наболевшей в сети, как для пользователей, так и для создателей поисковых систем. Последние постоянно бьются над главнейшей задачей – оптимизацией HTML-кода, текста, структуры сайтов, чтобы вывести запрошенные данные поисковой системой. Исторически поисковые системы начинали свой путь с обыкновенных интернет – каталогов, параллельно которым чуть позже разрабатывались поисковые машины (поисковые движки). Поисковые машины вели учет морфологии языка, в основном применялся TF-IDF - метод для оценки релевантности. В этих системах проводится индексация с помощью поисковых роботов. Индексация подразумевает добавление сведений в базу данных, которые затем понадобятся для поиска. Со временем поисковые машины соединили вместе с каталогами с целью обеспечения наибольшей функциональности. Современные поисковые технологи постоянно совершенствуются. Но до сих пор существует нерешенные проблемы, касающиеся поиска страниц, динамически создаваемых по запросам базы данных и закрытых сайтов, к которым доступ разрешен только зарегистрированным пользователям.

На сегодняшний день поисковые машины основаны на технологии RSS (Rich Site Summary — обогащённая сводка сайта). Информация, назначенная форматом RSS, представляется пользователю в удобном для него виде специальными программами-агрегаторами. RSS технология строится на лентах новостей, различных анонсах, изменениях в блогах и прочем. Но и в этой технологии есть «ложка дегтя». Существование разных версий RSS наталкивает к проблеме совместимости. Программы-агрегаторы должны работать со всеми вариантами. Заметны проблемы с кодированием узлов при вставке RSS-описаний в HTML-тексты, а также с частотой обновления данных.

При этом любой разработчик поисковой технологии должен уделять внимание таким негативным явлениям, как поисковый спам и линкоферма. Обман пользователей в поиске (ссылки на несуществующие или бесполезные сайты) – привычное дело в сети. Коммерческие проекты, занимающиеся поисковыми системами, расширяют функциональные возможности систем. Помимо поисковых методов обработки, связанных с контекстом, рубрикацией и лингвистикой, разработчик использует новый метод поиска – определение географического положения пользователя в сети по IP-адресу.
Сегодня наиболее популярными международными поисковыми системами по-прежнему остаются Google и Yahoo. Русскоязычными лидерами являются Rambler и Yandex.

К сожалению, пока что ни одна поисковая система не может исследовать хотя бы 80 % информации, размещенной в сети. До сих пор отсутствуют какие – либо алгоритмы для анализа одного и того же материала базы данных в различных представлениях. Тем не менее, отчаиваться не стоит. Вспомните известную фразу - «кто ищет, тот всегда найдет».