Всемирная паутина и DEEP WEB

C-1. Интернет представляет собой динамичную информационную среду, состоящую из неподвижных и движущихся виртуальных и специальных веб-сайтов, содержащих смесь старых и новых информаций. Существует множество виртуальных баз данных, которые увеличиваются с геометрической прогрессией. Двигаясь в ногу с новыми технологиями, сотрудники, занимающиеся разведкой в открытых источниках, могут противостоять любым проблемам.

Всемирная паутина (интернет пространство)

C-2.WWW индексируется по стандартным информационно-поисковым системам. Стандартные информационно-поисковые системы, как правило, неспособны получить доступ или завладеть информацией, необходимой для эффективного проведения разведки в открытых источниках. Общий объем информации в сети Интернет составляет более 7,5 тыс. терабайтов и продолжает увеличиваться. При использовании обычных информационно-поисковых систем можно найти только одну четверть всей необходимой информации. Считается, что при ведении разведки в открытых источниках из всего объема информаций, находящихся в сети Интернет, можно увидеть лишь ее часть. Остальные три четверти (или примерно 5,6 тыс. терабайтов) содержатся в так называемом Deep Web.

DEEP WEB

C-3. Deep Web не является частью традиционной всемирной паутины и содержит в два раза больше информации. В отличие от всемирной паутины, Deep Web не индексируется. Веб-сайты и базы данных, расположенные на нем не доступны при осуществлении поиска через традиционные поисковые системы. Deep Web предлагает огромное количество ресурсов следующего содержания:

динамического. Веб-страницы, появляющиеся при осуществлении поиска;

ответ на представленный запрос;

несвязанного. Веб-страницы, которые не связаны с другими веб-страницами и блокирующие доступ к своему содержанию при использовании стандартных программ поиска информации;

скрытого. Веб-страницы без обратных и входящих ссылок;

ограниченного доступа. Веб-сайты, которые ограничивают доступ к информации;

не имеющие гипертекст. Текстовое содержание закодированное в формате мультимедийных файлов, которые не обнаруживаются поисковыми системами.

Поисковые системы

C-4. Поисковые системы являются основными инструментами, которые используют сотрудники OSINT при проведении разведки и сбора общедоступной информации из открытых источников. Сотрудники OSINT активно используют поисковые системы и разные критерий поиска, чтобы найти текст, изображение и информацию на страницах тысячи веб-сайтов. Технически, поисковые системы осуществляют поиск по индексу веб-сайтов. Коммерческие и государственные поисковики отличаются друг от друга в зависимости от параметров поиска, осуществления процесса поиска и способами предоставления результатов поиска. Большинство поисковых систем используют так называемые программы-сборщики, которые могут построить индексированные базы данных. Программы-сборщики осуществляют поиск в Интернет веб-сайтах и автоматически сохраняют найденные файлы в своей базе данных.

C-5. Большинство поисковых систем при отображении результатов поиска используют формулу релевантности (в первую очередь показывают важную информацию, расположенную в определенном порядке, с кратким описанием и ссылкой на нее).

Это помогает определить, насколько хорошо ответ соответствует запросу. С продолжающимся развитием поисковых систем, формула релевантности имеет большое значение, так как она не показывает одинаковые результаты. Размещение ключевых слов дает разные результаты, если переставить в связи с более акцентом на одно слово за другим. С развитием методов поиска, некоторые поисковые системы начали более эффективно находить конкретные виды информаций, такие как статистические и финансовые данные и новости. Для увеличения результативности, программные инженеры разработали мета поисковики, которые позволяют пользователю осуществлять поиск информации на нескольких системах одновременно.

Поисковые системы

В случае если определенная поисковая система не может вместить фразы в кавычки или преобразовать запрос в другие виды булевых функций (логическая функция; Булевы функции названы в честь английского математика ХIХ века Дж. Буля, который впервые применил алгебраические методы для решения логических задач), то мета поисковик исключает заданные параметры из поиска.

Результатом такого поиска станет предоставление общей информации, которая будет менее эффективной по сравнению с хорошо отформатированным поиском в специализированных поисковых системах, позволяющих находить более детальную информацию.

C-6. Сотрудники спецслужб, понимая механизм работы поисковых систем:

проводят первоначальные поиски с использованием ключевых слов и сочетаний;

для улучшения параметров поиска активно применяют булеву функцию;

проводят последующие поиски с использованием естественного языка.

ПОИСК ПО КЛЮЧЕВЫМ СЛОВАМ

C-7. При осуществлении поиска по ключевым словам, сотрудники OSINT должны определить какие слова являются уникальными (ключевыми) в необходимой для них информации.

Во избежание иррелевантной (ненужной) информации и получения соответствующих результатов, применение ключевых слов должно быть сбалансированным.

Общие слова (английского языка), которые следует избегать:

неопределенный артикль A;

неопределенный артикль An;

союз And;

определенный артикль The.

C-8. При осуществлении поиска в сети Интернет, в целях получения эффективного результата, необходимо уменьшить использование вышеперечисленных слов, за исключением, когда они являются частью названия статьи или книги. Большинство поисковых систем игнорируют общие слова. Например, если искать информацию о продаже русских и китайских танков в Ираке, не нужно использовать слово танк в роли ключевого слова. Вместо этого, используйте дополнительные определяющие слова, такие как «Продажа Российских или Китайских танков в Ираке».