Вопрос 47. поисковые системы Internet. Обычный и расширенный поиск.

Поисковая система - программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы. Информационно-поисковая система (И.-пс) – совокупность программных, языковых и технических средств, предназначенных для хранения, поиска и выдачи по запросу требуемой информации.

Поисковые cистемы обычно состоят из трех компонент:

агент (паук или кроулер), который перемещается по Сети и собирает информацию;

база данных, которая содержит всю информацию, собираемую пауками;

поисковый механизм, который люди используют как интерфейс для взаимодействия с базой данных.

Lycos. В Lycos используется следующий механизм индексации:

слова в title заголовке имеют высший приоритет;

слова в начале страницы;

слова в ссылках;

если в его базе индекса есть сайты, ссылка с которых указывает на индексируемый документ - релевантность этого документа возрастает.

Как и большинство систем, Lycos дает возможность применять простой запрос и более изощренный метод поиска. В простом запросе в качестве поискового критерия вводится предложение на естественном языке, после чего Lycos производит нормализацию запроса, удаляя из него так называемые stop-слова, и только после этого приступает к его выполнению. Почти сразу выдается информация о количестве документов на каждое слово, а позже и список ссылок на формально релевантные документы. В списке против каждого документа указывается его мера близости запросу, количество слов из запроса, попавших в документ, и оценочная мера близости, которая может быть больше или меньше формально вычисленной. Пока нельзя вводить логические операторы в строке вместе с терминами, но использовать логику через систему меню Lycos позволяет. Такая возможность применяется для построения расширенной формы запроса, предназначенной для искушенных пользователей, уже научившихся работать с этим механизмом. Таким образом, видно, что Lycos относится к системе с языком запросов типа "Like this", но намечается его расширение и на другие способы организации поисковых предписаний.

AltaVista. Индексирование в этой системе осуществляется при помощи робота. При этом робот имеет следующие приоритеты:

слова содержащиеся в теге title имеют высший приоритет; ключевые фразы в Meta тэгах;

ключевые фразы, находящиеся в начале странички;

ключевые фразы в ALT - ссылках

ключевые фразы по количеству вхожденийприсутствия словфраз;

Если тэгов на странице нет, использует первые 30 слов, которые индексирует и показывает вместо описания (tag description)

Наиболее интересная возможность AltaVista - это расширенный поиск. Здесь стоит сразу оговориться, что, в отличие от многих других систем AltaVista поддерживает одноместный оператор NOT. Кроме этого, имеется еще и оператор NEAR, который реализует возможность контекстного поиска, когда термины должны располагаться рядом в тексте документа. AltaVista разрешает поиск по ключевым фразам, при этом она имеет довольно большой фразеологический словарь. Кроме всего прочего, при поиске в AltaVista можно задать имя поля, где должно встретиться слово: гипертекстовая ссылка, applet, название образа, заголовок и ряд других полей. К сожалению, подробно процедура ранжирования в документации по системе не описана, но видно, что ранжирование применяется как при простом поиске, так и при расширенном запросе. Реально эту систему можно отнести к системе с расширенным булевым поиском.

Yahoo. Данная система появилась в Сети одной из первых, и сегодня Yahoo сотрудничает со многими производителями средств информационного поиска, а на различных ее серверах используется различное программное обеспечение. Язык Yahoo достаточно прост: все слова следует вводить через пробел, они соединяются связкой AND либо OR. При выдаче не указывается степень соответствия документа запросу, а только подчеркиваются слова из запроса, которые встретились в документе. При этом не производится нормализация лексики и не проводится анализ на "общие" слова. Хорошие результаты поиска получаются только тогда, когда пользователь знает, что в базе данных Yahoo информация есть наверняка. Ранжирование производится по числу терминов запроса в документе. Yahoo относится к классу простых традиционных систем с ограниченными возможностями поиска.

OpenText. Информационная система OpenText представляет собой самый коммерциализированный информационный продукт в Сети. Все описания больше похожи на рекламу, чем на информативное руководство по работе. Система позволяет провести поиск с использованием логических коннекторов, однако размер запроса ограничен тремя терминами или фразами. В данном случае речь идет о расширенном поиске. При выдаче результатов сообщается степень соответствия документа запросу и размер документа. Система позволяет также улучшить результаты поиска в стиле традиционного булевого поиска. OpenText можно было бы отнести к разряду традиционных информационно-поисковых систем, если бы не механизм ранжирования.

Infoseek. В этой системе индекс создает робот, но он индексирует не весь сайт, а только указанную страницу. При этом робот имеет такие приоритеты:

слова в заголовке title имеют наивысший приоритет;

слова в теге keywords, description и частота вхожденийповторений в самом тексте;

при повторении одинаковых слов рядом выбрасывает из индекса

Допускает до 1024 символов для тега keywords, 200 символов для тэга description;

Если тэги не использовались, индексирует первые 200 слов на странице и использует как описание;

Система Infoseek обладает довольно развитым информационно-поисковым языком, позволяющим не просто указывать, какие термины должны встречаться в документах, но и своеобразно взвешивать их. Достигается это при помощи специальных знаков "+" - термин обязан быть в документе, и "-" - термин должен отсутствовать в документе. Кроме этого, Infoseek позволяет проводить то, что называется контекстным поиском. Это значит, что используя специальную форму запроса, можно потребовать последовательной совместной встречаемости слов. Также можно указать, что некоторые слова должны совместно встречаться не только в одном документе, а даже в отдельном параграфе или заголовке. Имеется возможность указания ключевых фраз, представляющих собой единое целое, вплоть до порядка слов. Ранжирование при выдаче осуществляется по числу терминов запроса в документе, по числу фраз запроса за вычетом общих слов. Все эти факторы используются как вложенные процедуры. Подводя краткое резюме, можно сказать, что Infoseek относится к традиционным системам с элементом взвешивания терминов при поиске.

Поисковая система Hot Bot (Хот Бот) самая молодая из рассматриваемых нами всемирных поисковых систем. Так же как Yahoo и Infoseek, в ней имеется каталог, но кроме него информация выдаётся по запросам, как в системе Alta Vista. Мы в опыте осуществим поиск по запросам, а вы можете самостоятельно осуществить поиск в каталоге Hot Bot.

Ø Введите адрес страницы hotbot.lycos.com. Будет загружена начальная страница данной поисковой системы (Рис. 4).

Рис. 4. Начальная страница системы Hot Bot

Выполнить простой запрос, аналогично тому, как мы искали информацию в других поисковых системах.

Ø Введите в поле ввода запроса слово интернет. Если вы формируете запрос на английском языке, то введите слово internet document.

Ø Нажмите кнопку Advanced Search (Поиск). Расположенную правее поля ввода. Мы получили список найденных страниц. Он содержит несколько десятков страниц

Как вы видите, обычный поиск в данной системе аналогичен такой же операции в других системах. Но расширенные возможности поиска в системе Hot Bot реализованы достаточно оригинально. Для ввода запросов не требуется знать специальные правила, запросы формируются вами прямо на данной странице путём ввода значений и выбора других значений из списка.

Система Hot Bot достаточно удобна для поиска. Количество ссылок в системе растёт быстрыми темпами, но при этом скорость работы системы остаётся достаточно высокой.

Ещё одной системой, с которой мы познакомимся, будет система Яндекс.

Ø Введите адрес yandex.ru. Будет загружена начальная страница данной поисковой системы. (Рис. 9).

Вы можете ввести запрос в поле ввода и установить некоторые параметры запроса с помощью флажков, расположенных на данной странице. Давайте введём запрос и выполним поиск информации.

Ø Введите в поле ввода запроса слова поиск Интернет. Мы хотим найти документы, содержащие эти два слова.

Ø Установите флажок Везде. В этом случае поиск будет осуществлён во всех доступных местах.

Ø Нажмите кнопку Найти. Вы получите список найденных страниц.

Из поисковых систем Яндекс, пожалуй, пользуется наибольшей популярностью среди русскоязычных посетителей Интернета. В системе Яндекс так же имеется возможность перехода по ссылкам, однако, если вы хотите воспользоваться не поиском, а системой каталогов, лучше воспользоваться другими поисковыми системами.