Исследование средств интеллектуального анализа данных в облачной среде microsoft azure
Объект исследования: средства интеллектуального анализа данных в облачной среде Microsoft Azure.
Результаты, полученные лично автором: произведён обзор средств интеллектуального анализа данных; предложены варианты решений задач, связанных с интеллектуальным анализом данных, используя среду Microsoft Azure.
Повсеместное распространение информационных технологий, а особенно таких как сбор и хранение, привело к тому, что в хранилищах данных начали скапливаться огромные количества информации. Это привело к развитию более широких методов анализа, так как привычные подходы не могли решить поставленные задачи. Таким образом, произошёл переход от статистического анализа данных к более сложному – интеллектуальному анализу данных.
Анализ данных – это собирательное название множества методов, которые используются для обнаружения новых, ранее неизвестных знаний в «сырых» данных, а также выявления закономерностей, являющихся практически полезными и доступными для интерпретации.
Облачная среда Microsoft Azure предоставляет множество сервисов для анализа различных данных, обладающих рядом преимуществ перед конкурентами (см. рис. 1). К ним преимуществам относятся: широкий охват доступных регионов, соответствие наибольшему количеству требований международных стандартов.
Рис. 1. Сервисы анализа данных Microsoft Azure
Каждый из сервисов выполняет определённые функции, подходящие для широкого круга задач. Далее каждый сервис будет рассмотрен подробнее.
Машинное обучение позволяет выполнять обучение компьютеров с целью прогнозирования, используя имеющиеся данные. В среде Microsoft Azure можно быстро и просто развернуть службу прогнозной аналитики, используя готовые библиотеки алгоритмов, или же написав собственные сценарии на R или Python. У службы огромный потенциал, так как имеется множество готовых алгоритмов анализа и работы с данными, комбинируя которые, можно добиться точных результатов прогнозирования.
Служба Stream Analytics необходима, если стоит задача анализировать потоковые данные из различных источников, таких как датчики, веб-сайты, социальные сети и прочих, в режиме реального времени. Одним из вариантов использования может стать задача выявления мошенничества в режиме реального времени.
Для анализа речи, текста, изображений, создан пакет SDK и API Cognitive Services. В него входит пять групп API: язык, речь, зрение, поиск, знания. Их можно использовать, например, для анализа фотографий профиля в социальных сетях, анализ эмоциональной окраски сообщений. Службы предлагают более двадцати API для решения подобных задач.
Служба Azure Data Lake Analytics разработана для анализа больших данных. Она позволяет анализировать эксабайты информации, не требуя от разработчика каких-либо действий с ресурсами.
Служба Azure Analysis Services разработана на основе аналитического модуля Microsoft SQL Server Analysis Services, который используется в принятии решений и бизнес-аналитике. Представлены следующие алгоритмы: классификация, регрессия, сегментация, анализ последовательностей.
При помощи Log Analytics можно анализировать подключённые источники, такие как журналы активности. Доступ к мониторингу этих данных можно получить из браузера, используя предоставляемый синтаксис запросов или его графическое представление.
Подводя итог, можно сказать, что облачная платформа Microsoft Azure предоставляет широкий спектр сервисов для анализа данных, которые подойдут как для образовательных целей, так и для компаний любого размера. Задача анализа данных является актуальной, а облачные вычисления могут существенно помочь при её решении. В среду постоянно добавляются новые сервисы, а также развито сообщество, где опытные пользователи могут ответить на вопросы.
1. Каталог облачных служб Azure [Электронный ресурс]. – Режим доступа: https://azure.microsoft.com/ru-ru/services/?filter=intelligence-analytics, свободный.
Материал поступил в редколлегию 03.04.2017
УДК 519.178
Д.В. Тюлюкина
Научный руководитель: доцент кафедры «Информатика и программное обеспечение», к.т.н., Д.А. Коростелёв