Инструменты Oracle Data Mining и Deductor

Состав и назначение аналитической платформы Deductor (разработчик – компания BaseGroup Labs [115]). Deductor состоит из двух компонентов: аналитического приложения Deductor Studio и многомерного хранилища данных Deductor Warehouse [48] .

Архитектура системы Deductor представлена на рис. 26.1.

Рис. 26.1. Архитектура системы Deductor

Deductor Warehouse – многомерное хранилище данных , аккумулирующее всю необходимую для анализа предметной области информацию. Использование единого хранилища позволяет обеспечить непротиворечивость данных, их централизованное хранение и автоматически создает всю необходимую поддержку процесса анализа данных. Deductor Warehouse оптимизирован для решения именно аналитических задач, что положительно сказывается на скорости доступа к данным.

Deductor Studio – это программа , предназначенная для анализа информации из различных источников данных. Она реализует функции импорта, обработки, визуализации и экспорта данных. Deductor Studio может функционировать и без хранилища данных, получая информацию из любых других источников, но наиболее оптимальным является их совместное использование.

Поддержка процесса от разведочного анализа до отображения данных

Deductor Studio позволяет пройти все этапы анализа данных. Схема на рис. 26.2 отображает процесс извлечения знаний из данных.

Рис. 26.2. Процесс извлечения знаний из данных в Deductor Studio

Рассмотрим этот процесс более детально.

На начальном этапе в программу загружаются или импортируются данные из какого-либо произвольного источника. Хранилище данных Deductor Warehouse является одним из источников данных. Поддерживаются также другие, сторонние источники:

• текстовый файл с разделителями;
• Microsoft Excel;
• Microsoft Access;
• Dbase;
• CSV-файлы;
• ADO-источники – позволяют получить информацию из любого ODBC-источника (Oracle, MS SQL, Sybase и прочее).

Обычно в программу загружаются не все данные, а какая-то выборка, необходимая для дальнейшего анализа.

После получения выборки можно получить подробную статистику по ней, посмотреть, как выглядят данные на диаграммах и гистограммах.

После такого разведочного анализа можно принимать решения о необходимости предобработки данных. Например, если статистика показывает, что в выборке есть пустые значения (пропуски данных), можно применить фильтрацию для их устранения.

Предобработанные данные далее подвергаются трансформации . Например, нечисловые данные преобразуются в числовые, что необходимо для некоторых алгоритмов. Непрерывные данные могут быть разбиты на интервалы, то есть производится их дискретизация.

К трансформированным данным применяются методы более глубокого анализа. На этом этапе выявляются скрытые зависимости и закономерности в данных, на основании которых строятся различные модели. Модель представляет собой шаблон, который содержит формализованные знания.

Последний этап – интерпретация – предназначен, чтобы из формализованных знаний получить знания на языке предметной области.

1. Аналитическая платформа Deductor

Deductor – это аналитическая платформа, основа для создания законченных прикладных решений в области анализа данных. Реализованные в Deductor технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от консолидации данных до построения моделей и визуализации полученных результатов.

До появления аналитических платформ анализ данных осуществлялся в основном в статистических пакетах. Их применение требовало от пользователя высокой квалификации. Большинство алгоритмов, реализованных в статистических пакетах, не позволяло эффективно обрабатывать большие объемы информации. Для автоматизации рутинных операций приходилось использовать встроенные языки программирования.

В конце 80-х гг. произошел стремительный рост объемов информации, накапливаемой на машинных носителях, и увеличились потребности бизнеса в применении анализа данных. Ответом стало появление новых парадигм в анализе, таких как хранилища данных, машинное обучение, Data Mining, Knowledge Discovery in Databases. Это позволило популяризировать анализ данных, поставить его на промышленную основу и решить огромное число бизнес-задач с большим экономическим эффектом.

Венцом развития анализа данных стали специализированные программные системы – аналитические платформы, которые полностью автоматизировали все этапы анализа от консолидации данных до эксплуатации моделей и интерпретации результатов.

Первая версия Deductor увидела свет в 2000 г., и с тех пор идет непрерывное развитие платформы. В 2007 г. выпущена пятая по счету версия системы (5.0 и 5.1), в 2009 г. – версия 5.2. Разработчик – компания BaseGroup Labs (Россия).

Сегодня Deductor – яркий представитель как настольной, так и корпоративной системы анализа данных последнего поколения.

1.2. Общие сведения о Deductor

Аналитическая платформа Deductor состоит из пяти частей:

• Warehouse – хранилище данных, консолидирующее информацию из разных источников;
• Studio – приложение, позволяющее пройти все этапы построения прикладного решения, рабочее место аналитика;
• Viewer – рабочее место конечного пользователя, одно из средств тиражирования знаний (то есть построенные аналитиком модели применяют пользователи, не владеющие технологиями анализа данных);
• Server – служба, обеспечивающая удаленную аналитическую обработку данных;
• Client – клиент доступа к Deductor Server. Обеспечивает доступ к серверу и управление его работой из сторонних приложений.

• Enterprise;
• Professional;
• Academic.

• серверные компоненты Deductor Server и Deductor Client;
• интерфейс доступа к Deductor через механизм OLE Automation;
• традиционное хранилище данных Deductor Warehouse на основе трех СУБД: Firebird, SQL, Oracle;
• виртуальное хранилище данных Deductor Virtual Warehouse.

• отсутствует пакетный запуск сценариев, то есть работа в программе может вестись только в интерактивном режиме;
• отсутствует импорт из промышленных источников данных: 1С, СУБД, файлы Excel (имеется возможность импорта только из текстовых файлов и Deductor Warehouse на базе Firebird);
• отсутствуют некоторые другие возможности.

Аналитическая платформа Deductor

Deductor является аналитической платформой – основой для создания законченных прикладных решений в области анализа данных. Реализованные в Deductor технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.

Deductor состоит из шести частей

Deductor Warehouse

многомерное хранилище данных, аккумулирующее всю требуемую для анализа предметной области информацию. Использование единого хранилища позволяет обеспечить непротиворечивость данных и централизованное хранение, а также автоматически обеспечивает всю необходимую поддержку процесса анализа. Deductor Warehouse оптимизирован для решения именно аналитических задач, что положительно сказывается на скорости доступа к данным. В ряде случаев имеет смысл отказаться от традиционного хранилища и воспользоваться альтернативой – виртуальным хранилищем Virtual Warehouse;

Deductor Studio

программа, реализующая функции импорта, обработки, визуализации и экспорта данных. Она может функционировать и без хранилища, получая информацию из любых других источников, но наиболее оптимальным является их совместное использование. В Deductor Studio включен полный набор механизмов, позволяющий получить информацию из произвольного источника данных, провести весь цикл обработки (очистку, трансформацию данных, построение моделей), отобразить полученные результаты наиболее удобным образом (OLAP, таблицы, диаграммы, деревья и т. д.) и экспортировать их в наиболее распространенные форматы;

Deductor Viewer

программа, ориентированная на конечного пользователя и предназначенная для просмотра подготовленных при помощи Deductor Studio отчетов. Deductor Viewer позволяет минимизировать требования к пользователю системы, т. к. все требуемые операции выполняются автоматически при помощи подготовленных ранее сценариев обработки. Пользователю Deduсtor Viewer нужно только выбрать и настроить вариант отображения полученных результатов;

Deductor Analytic Server

служба, обеспечивающая удаленную аналитическую обработку данных. Она позволяет автоматически обрабатывать данные и переобучать модели на сервере, оптимизирует выполнение сценариев за счет кэширования проектов и использования многопоточной обработки;

Deductor Integration Server

служба, обеспечивающая интеграционное взаимодействие компонентов;

Deductor Client

клиент доступа к Deductor Server. Он обеспечивает доступ к серверу из сторонних приложений и управление его работой. Реализованная в Deductor архитектура позволяет добиться максимальной гибкости при создании законченного решения. Благодаря данной архитектуре можно собрать в одном аналитическом приложении все необходимые инструменты анализа и реализовать автоматическое выполнение подготовленного сценария. Технологическая платформа включает средства, позволяющие максимально сократить сроки разработки, быстро создавать и выводить на рынок новые прикладные решения, а также адаптировать их в соответствии с изменяющимися требованиями предприятий. Создание законченного решения занимает очень мало времени: достаточно получить данные, определить сценарий обработки и задать место для экспорта полученных результатов. Наличие мощного набора механизмов обработки и визуализации позволяет двигаться по шагам, от наиболее простых способов анализа к наиболее мощным. Первые результаты пользователь получает практически сразу, но при этом можно легко наращивать мощность решения.

При подготовке материала использовались источники:
https://intuit.ru/studies/courses/6/6/lecture/208?page=3
https://studfile.net/preview/2592958/
https://www.wikipro.ru/wiki/analiticheskaya-platforma-deductor/