Інтелектуальний аналіз даних

Тема 1. Інтелектуальний аналіз даних — Data Mining.

Задачі  інтелектуального аналізу даних (Data Mining). Класифікація задач Data Mining . Задача класифікації і регресії. Задача пошуку асоціативних правил. Задача кластеризації. Моделі Data Mining. Передбачаючі моделі. Описові моделі. Процесс виявлення знань. Основні етапи аналізу. Підготовка початкових даних. Практичне  використання  інтелектуального аналізу даних: Інтернет - технології. Торгівля. Телекомунікації. Промислове виробництво. Медицина. Банківська справа. Страховий бізнес. Інші області використання.

Тема 2. Сховище даних та  OLTP, OLAP-системи

Неефективність використовування OLTP-систем для аналізу даних. Концепція сховища даних і аналіз. Організація СД. Очищення даних. Багатовимірна модель даних OLAP-системи. Визначення OLAP-систем. Концептуальне багатовимірне уявлення. Дванадцять основних  та  додаткові правила Кодда. Тест FASMI. Архітектура OLAP-систем, MOLAP,  ROLAP,  HOLAP.

Тема 3. Стандарти Data Mining

Стандарт СWM. Призначення стандарту CWM. Структура і склад CWM. Стандарт CRISP. Поява стандарту CRISP. Структура стандарту CRISP . Фази і задачі стандарту CRISP.  Стандарт PMML. Інші стандарти Data Mining. Стандарт SQL/MM. Стандарт OLE DB для Data Mining. Стандарт JDMAPI. Пакет Data Mining.

Тема 4. Бібліотека Data Mining Xelopes

Архітектура бібліотеки. Діаграма Model. Класи моделі для Xelopes. Методи пакету Model. Перетворення моделей. Диаграмма Settings. Класи пакету Settings. Методи пакету Settings. Діаграмма Attribute. Класи пакету Attribute . Ієрархічні атрибути. Діаграмма Algorithms. Загальна концепція. Клас MiningAlgorithm. Розширення класу MiningAlgorithm. Діаграмма DataAccess. Клас MininglnputStream . Класи Mining-векторів. Класи, що розширюють клас MininglnputStream. .Діаграма Transformation. Приклади використовування бібліотеки Xelopes. Рішення задачі пошуку асоціативних правил. Рішення задачі кластеризації. Рішення задачі класифікації.

Тема  5. Класифікація  об'єктів Xelopes

    Постановка задачі. Представлення результатів. Правила класифікації. Математичні функції. Методи побудови правил класифікації. Алгоритм побудови 1-правила . Метод Naive Bayes. Методи побудови дерев рішень. Методика "розділяй і володарюй". Алгоритм IDЗ. Алгоритм С4.5. Алгоритм покриття. Методи побудови математичних функцій. Лінійні методи. Метод найменших квадратів. Нелінійні методи. Support Vector Machines (SVM). Методи прогнозування тимчасових рядів. Базові методи. Нечітка логіка. Генетичні алгоритми. Нейронні мережі

Тема 6. Пошук асоціативних правил

Постановка задачі. Формальна постановка задачі. Секвенціальний аналіз. Різновиди задачі пошуку асоціативних правил. Представлення результатів. Алгоритм Apriori. Різновиди алгоритму Aprioriю. 

Тема 7. Кластерний аналіз

Постановка задачі кластеризації. Формальна постановка задачі. Заходи близькості, засновані на відстанях, використовувалися в алгоритмах кластеризації. Представлення результатів.Базові алгоритми кластеризації. Класифікація алгоритмів.Ієрархічні алгоритми. Агломератівні алгоритми. Дівізімні алгоритми. Ієрархічні алгоритми. Алгоритм  k-means (Hard-с-means). Алгоритм Fuzzy C-Means. Кластеризація по Гюстафсону-Кесселю. Адаптивные методи кластеризації. Вибір найкращого рішення і якість кластеризації. Використовування формальних критеріїв якості в адаптивній кластеризації. Показники чіткості. Ентропійний критерій. Інші критерії. Приклад адаптивної кластеризації

Тема 8. Візуальний аналіз даних — Visual Mining...

  Виконання візуального аналізу даних. Характеристики засобів візуалізації .даних. Методи візуалізації. Методи геометричних перетворень. Відображення ікон . Методи, орієнтовані на піксели. Ієрархічні образи.

Тема  9. Аналіз текстової інформації — Text Mining.

  Задача аналізу текстів Text Mining. Етапи аналізу текстів. Попередня обробка тексту. Отримування ключових понять з тексту. Загальний опис процесу отримання понять з тексту . Стадія локального аналізу. Стадія інтеграції і висновку понять. Класифікація текстових документів. Опис задачі класифікації текстів. Методи класифікації текстових документів. Методи кластеризації текстових документів. Представлення текстових документів. Ієрархічні методи кластеризації текстів. Бінарні методи кластеризації текстів. Задача анотування текстів. Виконання анотування текстів. Методи отримання фрагментів для анотації. Засоби аналізу текстової інформації Oracle Text. Засоби від IBM — Intelligent Miner for Text. Засоби SAS Institute — Text Miner. Засоби Мегап’ютер Інтелідженс — TextAnalyst.

Тема 10. Розподілений аналіз даних

Системи мобільних агентів. Основні поняття. Стандарти багатоагентних систем. Системи мобільних агентів. Система мобільних агентів JADE. Використання  мобільних агентів для аналізу даних. Проблеми розподіленого аналізу даних. Агенти-аналітики. Варіанти аналізу розподілених даних. Система аналізу розподілених даних. Агент для збору інформації про базу даних. Агент для збору статистичної інформації про дані. Агент для вирішення однієї задачі інтелектуального аналізу даних. Агент для вирішення інтегрованої задачі інтелектуального аналізу даних.

Тема 11. Особливості і ефективність генетичних алгоритмів Data Mining.

Методи оптимізації комбінаторних задач різного ступеня складності. Класифікація еволюційних алгоритмів. Базовий генетичний алгоритм. Послідовні модифікації базового генетичного алгоритму. Паралельні модифікації базового генетичного алгоритму. Особливості генетичних алгоритмів, передумови для адаптації. Основа  та область  управління  адаптації ГА. Адаптація на рівні популяції, індивідів, компонентів. Двонаправлена інтеграція ГА і нечітких алгоритмів продукційного типу.