[33+301+159. 9] Задача кластеризации разнотипных статистических данных

Сибирский федеральный университет

1. 
   Введение
   

Определение 1: Кластерный анализ – обобщенное название целого ряда методов, используемых для разбиения объектов, событий или индивидов на однородные в соответствующем понимании группы (называемые кластерами), так чтобы каждый кластер состоял из схожих объектов, а объекты из разных классов существенно отличались.

Большое достоинство кластерного анализа состоит в том, что он позволяет производить разбиение объектов не по одному параметру, а по целому набору признаков. Кроме того, кластерный анализ в отличие от большинства математико-теоретических методов не накладывает никаких ограничений на вид рассматриваемых объектов, и позволяет рассматривать множество исходных данных практически произвольной природы.

Основной недостаток методов анализа многомерных данных заключается в том, что при понижении размерности данных происходит потеря информации. Кроме того, общие методы кластеризации не способствуют визуализации данных. Поэтому в настоящее время широкое развитие получил метод нейронных сетей.

Определение 2: Нейронные сети – самообучающиеся системы, имитирующие деятельность человеческого мозга.

Определение 3: Нейронные сети, обучаемые без учителя, служат средством для решения задачи классификации, организации и визуального представления больших объемов данных.

Одним из классов нейронных сетей являются самоорганизующиеся карты Кохонена (SOM – Self-Organizing Map). Особенностью SOM является то, что метод не требует никаких априорных предположений о распределении данных. Алгоритм SOM основывается на соревновательном обучении без учителя. Он обеспечивает сохраняющее топологию отображение из пространства большей размерности в элементы карты. Элементы карты, или нейроны, обычно образуют двумерную решетку. Таким образом, это отображение является отображением пространства большей размерности на плоскость. Свойство сохранения топологии означает, что SOM распределяет сходные векторы входных данных по нейронам, т.е. точки, расположенные в пространстве входов близко друг к другу, отображаются на близко расположенные элементы SOM. Таким образом, SOM может служить как средством кластеризации, так и средством визуального представления данных большой размерности.

Каждый нейрон в алгоритме SOM представляет собой n-мерный вектор-столбец весовых коэффициентов , n определяется размерностью исходного пространства. Нейроны образуют сеть прямоугольного, гексагонального или регулярного вида. Величина взаимодействия нейронов определяется расстоянием между нейронами на карте.

Алгоритм обучения:

1. 
   Инициализация весовых коэффициентов нейронов малыми случайными величинами;
   
2. 
   На все входы сети подается один случайный вектор данных;
   
3. 
   Вычисляется расстояние от данного вектора до каждого нейрона. В качестве функции расстояния обычно используется евклидово расстояние ;
   
4. 
   Выбор нейрона с наименьшим расстоянием ;
   
5. 
   Для модификации весовых коэффициентов используется формула . Функция называется функцией соседства нейронов, обычно применяется функция Гаусса или, более простая, , если , , иначе. – окрестность победившего нейрона, ее значение уменьшается со временем. Функция называется функцией скорости обучения, она также убывает со временем.
   

2. 
   Описание статистики
   

Следующие 4 показателя позволяли оценить характеристики каждой марки кофе: вкус кофе, аромат кофе, консистенция кофе, привлекательность марки кофе.

Именно эти показатели использовались для решения задачи кластеризации. Вкус, аромат и консистенция каждой марки кофе оценивались каждым потребителем по шкале от 1 до 10 (наихудшее и наилучшее значения, соответственно). Последний показатель является множественным. Привлекательность марки оценивалась с помощью следующих параметров: известность бренда/производителя, привлекательная цена, положительный опыт употребления данной марки продукта, удобный вес упаковки, привлекательный (оригинальный) дизайн упаковки. Каждому покупателю предлагалось указать параметры, влияющие на привлекательность данной марки (предлагалось выбрать любое множество вариантов из 5 предложенных).

3. 
   Метод двудольных множеств случайных событий
   

Основная идея метода двудольных множеств случайных событий заключается в представлении любой сложной системы с помощью двудольной эвентологической модели, в которой каждый элемент системы характеризуется двудольным множеством событий: его первая доля определяется случайными величинами, а вторая - случайными множествами событий. Затем анализ поведения элементов системы сводится к анализу эвентологических распределений соответствующих им двудольных множеств событий.

Определение 4: Двудольное множество случайных событий представляет собой объединение двух множеств - множества событий, которое определяется случайными величинами, и множества событий, которое определяется случайными множествами событий:

Определение 5: Двудольной эвентологической моделью сложной системы будем называть такую систему, для которой поведение каждого элемента характеризуется двудольным множеством случайных событий , его первая доля определяется случайными величинами , а вторая доля – случайными множествами событий K.

Тогда каждый вектор данных будет характеризоваться двудольным множеством случайных событий , где – вектор, составленный из значений вероятностей, который соответствует числовой доле , – вектор вероятностей, который соответствует множественной доле . Каждый нейрон также представим в виде двудольного множества случайных событий , где – весовые коэффициенты, соответствующие числовой доле , – весовые коэффициенты, соответствующие множественной доле .

Расстояние между векторами данных и каждым нейроном будет вычисляться по формуле:

4. 
   Результаты