Технологии и методы анализа и интерпретации данных

Процесс аналитического исследования больших массивов информации (обычно экономического характера) с целью выявления определенных закономерностей и систематических взаимосвязей между переменными, которые затем можно применить к новым совокупностям данных, включает три основных этапа: исследование, построение модели или структуры и ее проверку. В идеальном случае, при достаточном количестве данных можно организовать итеративную процедуру для построения устойчивой модели. В то же время, в реальной ситуации практически невозможно проверить экономическую модель на стадии анализа и поэтому начальные результаты имеют характер эвристик, которые можно использовать в процессе принятия решения.

Эвристика. В противоположность алгоритму (который описывает вполне определенный набор операций для получения конкретного результата), эвристики - это общие рекомендации или советы, основанные на статистической очевидности [15].

Хотя в последнее время возрос интерес к разработке новых методов анализа данных, специально предназначенных для сферы бизнеса (например, деревья классификации), в целом методы анализа данных по-прежнему основываются на классических принципах разведочного анализа данных (РАД) и построения моделей и используют те же подходы. При этом также используются и такие методы, как нейронные сети, которые позволяют строить достоверные прогнозы, не уточняя конкретный вид тех зависимостей, на которых такой прогноз основан.

Очень часто анализ данных трактуется как "смесь статистики, методов искусственного интеллекта (ИИ) и анализа баз данных". Анализ данных часто рассматривается как естественное развитие концепции хранилищ данных.

Хранилища данных - способ хранения больших многомерных массивов данных, который позволяет легко извлекать и использовать информацию в процедурах анализа. Эффективная архитектура хранилища данных должна быть организована таким образом, чтобы быть составной частью информационной системы управления предприятием (или по крайней мере иметь связь со всеми доступными данными). При этом необходимо использовать специальные технологии работы с корпоративными базами данных (например, Oracle, Sybase, MS SQL Server) [15].

Анализ данных в хранилищах данных базируется на технологиях интер­активной аналитической обработки данных — OLAP (On-Line Analytical Processing), глубинного анализа данных (т.н. «добычи данных») (Data Mining) и визуализации данных.