Автоматизация кластерного анализа, дипломная работа по программированию

Работа выполнена и представлена в 2016 году.

Сегодня кластерный анализ, выделяющий однородные группы объектов, все больше используется в анализе данных экологического мониторинга. Использование методик кластеризации позволит понять структуру данных; сократить дальнейшую обработку, применяя различные методы анализа для разных типов кластера; минимизировать начальную выборку, оставив по одному самому типичному представителю от каждой группы; показать новизну и нестандартность объектов, не входящих ни в один из классов; подготовить или проверить гипотезы в рамках полученных результатов.

Итоги работы различных методов кластерного анализа значительно отличаются друг от друга. Во многих задачах возникает проблема выбора наилучшего числа кластеров, подходящего по природе изучаемых объектов. Поэтому самым актуальным вопросом кластерного анализа становится оценка качества итоговых результатов и поиск разбиения, что всецело соответствует структуре рассматриваемых данных.

Главной целью исследования становится создание ИТ кластерного анализа, позволяющей автоматизировать процесс выделения решений в условиях недоступности привлечения экспертов предметной области либо отсутствияданных о возможных результатах.

Сейчас в литературе есть множество функционалов и индексов качества, которые помогают в количественном виде оценить соответствие начального разбиения естественной структуре данных, а также могут сравнить результаты, полученные несколькими методами или при изменяемых значениях параметров. Выявление функционалов качества зачастую основывается на компактности и обособленности кластеров. Но в силу того, что различные понятия кластера и однородности имеются в каждом из функционалов, они часто показывают совершенно разные разрозненные результаты.

В представленной работе описывается технология, позволяющая учитывать данные различных функционалов качества сразу в совокупности с методами теории принятия решений, что помогает получить более точную оценку результатов. Технология включает в себя несколько этапов:

• Проведение начальной обработки данных: отбор признаков и стандартизация.
• Разбиение объектов на кластеры разными методами или при помощи изменения значений параметров, и исследование их в качестве альтернатив.
• Вычисление для каждой альтернативы значения функционалов качества, которые считаем экспертами: совокупность внутрикластерных дисперсий, совокупность квадратов расстояний до центров кластеров, отношение среднего внутрикластерного и среднего межкластерного расстояний, совокупность внутрикластерных расстояний.