Кибернетические методы Data Mining

Второе направление Data Mining - это множество подходов, объединенных идеей компьютерной математики и использования теории искусственного интеллекта.

К этой группе относятся такие методы:

· искусственные нейронные сети (распознавание, кластеризация, прогноз);

· эволюционное программирование (в т.ч. алгоритмы метода группового учета аргументов);

· генетические алгоритмы (оптимизация);

· ассоциативная память (поиск аналогов, прототипов);

· нечеткая логика;

· деревья решений;

· системы обработки экспертных знаний.

Методы Data Mining также можно классифицировать по задачам Data Mining.

В соответствии с такой классификацией выделяем две группы. Первая из них - это подразделение методов Data Mining на решающие задачи сегментации (т.е. задачи классификации и кластеризации) и задачи прогнозирования.

В соответствии со второй классификацией по задачам методы Data Mining могут быть направлены на получение описательных и прогнозирующих результатов.

Описательные методы служат для нахождения шаблонов или образцов, описывающих данные, которые поддаются интерпретации с точки зрения аналитика.

К методам, направленным на получение описательных результатов, относятся итеративные методы кластерного анализа, в том числе: алгоритм k-средних, k-медианы, иерархические методы кластерного анализа, самоорганизующиеся карты Кохонена, методы кросс-табличной визуализации, различные методы визуализации и другие.

Прогнозирующие методы используют значения одних переменных для предсказания/прогнозирования неизвестных (пропущенных) или будущих значений других (целевых) переменных.

К методам, направленным на получение прогнозирующих результатов, относятся такие методы: нейронные сети, деревья решений, линейная регрессия, метод ближайшего соседа, метод опорных векторов и др.

Задачи Data Mining

Задачи (tasks) Data Mining иногда называют закономерностями (regularity) или техниками (techniques).

Единого мнения относительно того, какие задачи следует относить к Data Mining, нет. Большинство авторитетных источников перечисляют следующие: классификация, кластеризация, прогнозирование, ассоциация, визуализация, анализ и обнаружение отклонений, оценивание, анализ связей, подведение итогов.

Визуализация данных – это представление информации с помощью изображений, графиков, схем, таблиц и диаграмм. Ценность визуализации в том, что она часто позволяет наиболее наглядно и лаконично выявить и показать содержащуюся в данных информацию, потому что на картинке можно сразу продемонстрировать то, что в вербальном эквиваленте займет не один абзац.

В разработке способов визуального представления данных в равной мере принимают участие ИТ-специалисты и дизайнеры, так как от дизайна во многом зависит, насколько понятной и «читаемой» будет визуализация.

С помощью визуализации данных решаются самые разные задачи.

Во-первых, это важный инструмент на начальных этапах анализа данных. Самые простые графики позволяют быстро обнаружить в данных закономерности, тенденции или аномалии, на которые будет ориентироваться аналитик при дальнейшей работе с данными. Аналогичным образом журналист, используя графики при первичном просмотре данных, может сформулировать для себя вопросы, из которых в дальнейшем можно вывести сюжет для очередного материала.

Во-вторых, визуализации часто играют важную роль в представлении конечных результатов анализа. Это могут быть статичные графики, иллюстрирующие тенденции; интерактивные визуализации, позволяющие пользователям самостоятельно исследовать данные; а также инфографика (статическая или интерактивная), наглядным образом представляющая основанную на данных историю.

Важная задача визуализации в том, чтобы в одной картинке с ограниченным числом физических измерений (как правило, двухмерной) показать множество содержащихся в данных измерений и взаимосвязь между ними.

Вопросы для самоконтроля

1. Как оределяем Коэффициент корреляции Пирсона?

Как решать Задачи Data Mining?

3. Что означает Обработка больших объёмов данных?

4. Какие виды бывает Деревья решений.