Восстановление функциональных закономерностей из эмпирических данных
Автор: профессор, д.ф.-м.н. Червоненкис Алексей Яковлевич
Лекция 1. Задача восстановления зависимостей. Интерпретация в терминах выбора функции из заданного класса. Интерпретация в терминах выбора модели из заданного класса моделей. Интерпретация в терминах имитации одного автомата другим. (Нет алгоритмов).
Лекция 2. Примеры конкретных задач (регрессия, идентификация моделей, распознавание образов и их приложения). Истинный риск и эмпирический риск, как его возможный эквивалент. Основания, по которым такая замена представляется разумной. Закон больших чисел. (Стандартные статистические пакеты: вычисление среднего, дисперсии, ковариации, корреляции и т.д. и погрешности их оценивания).
Лекция 3. Метод наименьших квадратов для оценки регрессии. Метод максимального правдоподобия для выбора модели. (Стандартные процедуры регрессии и максимума правдоподобия).
Лекция 4. Поиск решающего правила, минимизирующего число ошибок или среднее значение функции штрафа на данных обучения, в задачах распознавания образов. Метод ближайшего соседа. Линейные решающие правила. Сравнение с дискриминантной функцией Фишера. (Стандартная процедура распознавания по ближайшему соседу. Процедуры нахождения дискриминантной функции и линейного программирования.)
Лекция 5. Персептрон. Потенциальные функции. Нейронные сети. Вычислительные возможности и проблемы. (Стандартные процедуры обучения нейронных сетей).
Лекция 6. Машина опорных векторов (SVM). (Стандартная процедура).
Лекция 7. Критика подхода. Примеры, когда он не работает. Проблема равномерной сходимости эмпирического риска к истинному (или частот вероятностям, или средних к математическим ожиданиям). (Примеры задач, когда использование рассмотренных методов не приводит к успеху).
Лекция 8. Критерии равномерной сходимости частот к вероятностям. Функция роста. VC-размерность. Энтропийные критерии. (Алгоритмов нет, только примеры).
Лекция 9. Критерии равномерной сходимости средних к мат. ожиданиям.
Лекция 10. Проблема выбора оптимальной сложности модели.
Литература по курсу
[1] Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Исследование зависимостей. В книге «Прикладная статистика» / под ред. С.А. Айвазяна. Москва, Финансы и статистика, 1985.
[2] Айвазян С.А., Бухштабер В.М., Енюков И.С., Л.Д. Мешалкин. Классификация и снижение размерности. В книге «Прикладная статистика» / под ред. С.А. Айвазяна. Москва, Финансы и статистика, 1989.
[3] Бэстенс Д. Э., ван Ден Берг В. М., Вуд Д. Нейронные сети и финансовые рынки. Принятие решений в торговых операциях.
[4] Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Москва, Наука 1974.
[5] Вапник В.Н. Восстановление зависимостей по эмпирическим данным. Москва, Наука 1979.
[6] Вапник В.Н., Червоненкис А.Я. Необходимые и достаточные условия равномерной сходимости средних к математическим ожиданиям. Теория вероятностей и ее приложения. 1981, т. 26, № 3, стр. 543-564.
[7] Вапник В.Н., Червоненкис А. ˙Я. О методе упорядоченной минимизации риска. I. Автоматика и телемеханика, №8, 1974, стр. 21-30.
[8] Вапник В.Н., Червоненкис А. ˙Я. О методе упорядоченной минимизации риска. II. Автоматика и телемеханика, №9, 1974, стр. 29-39.
[9] Алгоритмы и программы восстановления зависимостей. / Под редакцией В.Н. Вапника. Москва, Наука 1984.
[10] Галушкин А.И. Теория нейронных сетей. Т.1. Нейрокомпьютеры и их применение. Изд-во ИПРЖР, 2000.
[11] Гельфанд И.М. Лекции по линейной алгебре. Добросвет, 2007.
[12] Гнеденко Б.В. Курс теории вероятностей. М.: Наука, Главная редакция физико-математической литературы, 1965.
[13] Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М.: Физматлит, Издание 7-е, 2006.
[14] Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. Изд-во Горячая ЛинияТелеком.
[15] Лаврентьев М.М., Савельев Л.Я. Линейные операторы и некорректные задачи. М.: Наука, 1991.
[16] Льюнг Л. Идентификация систем. Теория для пользователя.
[17] Носко В.П. Эконометрика для начинающих. М.: Институт экономики переходного периода, 2000.
[18] Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979.
[19] Турчин В.Ф., Козлов В.П., Малкевич М.С. Использование методов математической статистики для решения некорректных задач. УФН 1970, 102: 345-386.
[20] Уилкс C. Математическая статистика. М.: Наука 1967.
[21] Саймон Хайкин. Нейронные сети. Полный курс. Изд-во Вильямс, 2006.
[22] A. Ja. Chervonenkis. A combined Bayes – Maximum likelihood method for regression. // В книге «Data Fusion and Perception» / edited by Giacomo Della Riccia, Hanz-Joachim Lenz, Rudolf Kruse. Springer, Wien, New York, 2001.
[23] Jean Paul Chiles, Pierre Delfiner. Geostatistics. Modeling Spatial Uncertainty. Wiley, Series in Probability and Statistics. 1999.
[24] Devroye Luc, Gorfi Laslo, Lugosi Gabor A probabilistic theory of pattern recognition. Springer, 1996.
[25] A. Gammerman, V. Vovk. Hedging prediction in Machine Learning. Computer Journal 50, 151 –157. 2007.
[26] J.D.C. MacKay. Bayesian interpolation. Neural Computation, 4(3): 415-447, 1992.
[27] H. Mohamad. Hassoun Fundamentals of Artificial Neural Networks.
[28] J. Rissanen. Stochactic complexity. Journal of the Royal Statistical Society series B, 49: 223-239. 1987.
[29] V.N. Vapnik. Statistical Learning Theory. Wiley, New York, 1998.
[30] V.N. Vapnik. The Nature of Statistical Learning Theory. Springer, New York, 2000.
[31] V. Vovk, A. Gammerman and G. Shafer. Algorithmic learning in a random world. Springer, 2004.
[32] C. S.Wallace and P.R. Freeman. Estimation and inference by compact coding. Journal of the Royal Statistical Society series B, 49: 240-265. 1987.
|