Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 Д. Ветров2, Д. Кропотов3

В настоящее время байесовские методы активно используются при решении задач классификации и восстановления регрессии [1]. Успех данного подхода обеспечивается практическим отсутствием параметров, которые необходимо настраивать пользователю при решении задач. Кроме того, байесовские методы позволяют автоматически отсеивать большую часть объектов или признаков в решающем правиле, что соответствует высокой степени интерпретируемости решения, а также позволяет быстро проводить распознавание новых объектов. Также следует отметить, что байесовский подход обеспечивает не только точечное значение прогноза, но и степень уверенности алгоритма в выдаваемом ответе. К числу широко используемых байесовских алгоритмов анализа данных следует отнести метод релевантных векторов (RVR) [2] и байесовскую логистическую регрессию [3]. В данной работе предложены два метода модификации RVR. Новые методы обладают более высокой скоростью обучения, большими значениями обоснованности и разреженности по сравнению с RVR.

Предположим, что имеется выборка данных , где , а целевая переменная. Необходимо для нового объекта предсказать значение . Предположим, что значение целевой переменной является зашумленным выходом функции регрессии от входных переменных:

Тогда правдоподобие обучающей выборки может быть представлено как

Заметим, что случай гомоскедастичной регрессии соответствует единичной матрице .

Байесовский подход предполагает задание априорных распределений на параметры алгоритма . Выберем в качестве априорного распределения нормальное распределение с центром в нуле и матрицей ковариации :

Прогноз значения целевой переменной для нового объекта вычисляется как интеграл по всевозможным значениям параметров алгоритма :

Выражение (2) представляет собой свертку двух нормальных распределений и может быть вычислено как

Оптимальное значение матрицы регуляризации из некоторого семейства матриц находится с помощью максимизации величины обоснованности:

Рассмотрим функцию правдоподобия (1). Она может быть представлена как

Здесь играет роль гессиана логарифма правдоподобия. Рассмотрим собственные значения и собственные векторы матрицы : . Выберем в качестве семейства матриц набор матриц, соответствующих независимой регуляризации вдоль собственных векторов :

Основным достоинством такой регуляризации является то, что значение обоснованности в терминах может быть представлено как произведение одномерных интегралов, каждый из которых может быть легко вычислен аналитически. Оптимальные значения равны

Выберем следующее семейство матриц регуляризации:

Приравнивая производную обоснованности (3) по матрице к нулю, получаем следующее выражение для оптимальной матрицы регуляризации [4]:

Матрица симметричная, но, вообще говоря, не является неотрицательно определенной. Преобразуем матрицу к диагональному виду . Так как матрица имеет ранг 1, а , то в диагональной матрице только одна компонента может быть положительной. Обозначим ее через . Тогда можно показать, что оптимальная неотрицательно определенная матрица регуляризации может быть получена из заменой всех отрицательных собственных значений на , т.е. .

В последнее время внимание исследователей привлекли полупроводники с тетрагональной кристаллической структурой халькопирита. Интерес к халькопиритам вызван перспективами их применения в оптоэлектронике [5,6], солнечной энергетике [6], нелинейной оптике [7] и спинтронике [8]. Задача состоит в прогнозе температуры плавления халькопирита по данным о составляющих его химических элементах. Обучающая выборка состоит из 40 халькопиритов (см. таблицу 1), а тестовая выборка – из 14 элементов (см. таблицу 3).

В таблице 2 приведены результаты экспериментов на обучающей выборке. Для оценки качества использовался следующий критерий:

Значение критерия оценивалось с помощью скользящего контроля (5x2-fold cross validation). Результаты экспериментов приведены для трех наборов признаков. Набор признаков П1 состоит из простых химических признаков каждого из элементов, входящего в состав халькопирита. Набор П2 представляет собой специально отобранные признаки, полученные в результате исследования. Набор П3 – это набор П2 с добавлением логарифмов всех признаков. Результаты прогноза для набора П1 лишь немногим лучше погрешности в 20%, что соответствует точности, с которой эксперт решает эту задачу вручную. Наборы П2 и П3 позволяют добиться точности в 14%, что уже значительно лучше, чем точность экспертной оценки.

В таблице 3 приведен прогноз для тестовой выборки, полученный с помощью метода IREVR.

Задача синтеза дешевых наноразмерных материалов из окиси алюминия является одной из актуальных проблем современной химии [10]. В качестве предшествующего материала часто используется гидрокарбонат алюмаммония (AACH), для синтеза которого проводится реакция с участием NH₄Al(SO₄)₂ и NH₄HCO_3. В данном исследовании решалась задача прогноза выхода AACH в процентах при различных условиях этой реакции. Обучающая выборка состояла из 34 объектов, а тестовая – из двух. Результаты экспериментов приведены в таблицах 4 и 5. Эти результаты показывают, что предложенные методы работают в целом лучше, чем метод релевантных векторов, а качество прогноза оказалось лучше, чем у используемого химиками алгоритма решения данной задачи на основе метода опорных векторов [9].

1. 
   C.M. Bishop. Pattern recognition and machine learning. Springer. - 2006.
   
2. 
   M.E. Tipping. Sparse Bayesian learning and the relevance vector machine // Journal of Mach. Learn. Res. – 2001. – Vol.1. – P.211-244.
   
3. 
   G.C. Cawley, N.Talbot, M.Girolami. Sparse multinomial logistic regression via Bayesian l1 regularization // Advances in neural information processing systems. – 2007. – Vol.19. - MIT press.
   
4. 
   D.Kropotov, D.Vetrov. Optimal Bayesian linear classifier with arbitrary Gaussian regularizer // Proc. of 7^th Open German-Russian Workshop “Pattern Recognition and Image Understanding”, to appear
   
5. 
   V.S. Vavilov. Physics and applications of wide bandgap semiconductors // Physics - Uspekhi. - 1994. - V.37, No.3 - P. 269-277.
   
6. 
   S. Siebentritt. Wide gap chalcopyrites: material properties and solar cells // The solid films. - 2002. V.403-404. - P.1-8.
   
7. 
   Bai L., Lin Z., Wang Z., Chen C. Mechanism of linear and nonlinear optical effects of chalcopyrite AgGaX2 (X = S, Se, and Te) crystals // J. Chem. Phys. - 2004. - V.120, No.18. - P.8772-8778.
   
8. 
   Pearton S.J., Abernathy C.R., Norton D.P., et al. Advances in wide bandgap materials for semiconductor spintronics // Mater. Sci. and Eng. - 2003. - V.R40. - P.137-168.
   
9. 
   Chi-Cheng Ma, Xue-Xi Zhou. Using Support vector machine in the optimization design for the preparation of ACCH
   
10. 
    Chi-Cheng Ma, Xue-Xi Zhou, et al. Synthesis and thermal decomposition of ammonium aluminate carbonate hydroxide (AACH) // Materials Chemistry and Physics. – 2001. – Vol.72. – P.374-379.