Восстановление функциональных закономерностей из эмпирических данных




Скачать 35.75 Kb.
Дата27.09.2016
Размер35.75 Kb.

Восстановление функциональных закономерностей из эмпирических данных


Автор: профессор, д.ф.-м.н. Червоненкис Алексей Яковлевич

Лекция 1. Задача восстановления зависимостей. Интерпретация в терминах выбора функции из заданного класса. Интерпретация в терминах выбора модели из заданного класса моделей. Интерпретация в терминах имитации одного автомата другим. (Нет алгоритмов).

Лекция 2. Примеры конкретных задач (регрессия, идентификация моделей, распознавание образов и их приложения). Истинный риск и эмпирический риск, как его возможный эквивалент. Основания, по которым такая замена представляется разумной. Закон больших чисел. (Стандартные статистические пакеты: вычисление среднего, дисперсии, ковариации, корреляции и т.д. и погрешности их оценивания).

Лекция 3. Метод наименьших квадратов для оценки регрессии. Метод максимального правдоподобия для выбора модели. (Стандартные процедуры регрессии и максимума правдоподобия).

Лекция 4. Поиск решающего правила, минимизирующего число ошибок или среднее значение функции штрафа на данных обучения, в задачах распознавания образов. Метод ближайшего соседа. Линейные решающие правила. Сравнение с дискриминантной функцией Фишера. (Стандартная процедура распознавания по ближайшему соседу. Процедуры нахождения дискриминантной функции и линейного программирования.)

Лекция 5. Персептрон. Потенциальные функции. Нейронные сети. Вычислительные возможности и проблемы. (Стандартные процедуры обучения нейронных сетей).

Лекция 6. Машина опорных векторов (SVM). (Стандартная процедура).

Лекция 7. Критика подхода. Примеры, когда он не работает. Проблема равномерной сходимости эмпирического риска к истинному (или частот вероятностям, или средних к математическим ожиданиям). (Примеры задач, когда использование рассмотренных методов не приводит к успеху).

Лекция 8. Критерии равномерной сходимости частот к вероятностям. Функция роста. VC-размерность. Энтропийные критерии. (Алгоритмов нет, только примеры).

Лекция 9. Критерии равномерной сходимости средних к мат. ожиданиям.

Лекция 10. Проблема выбора оптимальной сложности модели.

Литература по курсу

[1] Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Исследование зависимостей. В книге «Прикладная статистика» / под ред. С.А. Айвазяна. Москва, Финансы и статистика, 1985.

[2] Айвазян С.А., Бухштабер В.М., Енюков И.С., Л.Д. Мешалкин. Классификация и снижение размерности. В книге «Прикладная статистика» / под ред. С.А. Айвазяна. Москва, Финансы и статистика, 1989.

[3] Бэстенс Д. Э., ван Ден Берг В. М., Вуд Д. Нейронные сети и финансовые рынки. Принятие решений в торговых операциях.

[4] Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Москва, Наука 1974.

[5] Вапник В.Н. Восстановление зависимостей по эмпирическим данным. Москва, Наука 1979.

[6] Вапник В.Н., Червоненкис А.Я. Необходимые и достаточные условия равномерной сходимости средних к математическим ожиданиям. Теория вероятностей и ее приложения. 1981, т. 26, № 3, стр. 543-564.

[7] Вапник В.Н., Червоненкис А. ˙Я. О методе упорядоченной минимизации риска. I. Автоматика и телемеханика, №8, 1974, стр. 21-30.

[8] Вапник В.Н., Червоненкис А. ˙Я. О методе упорядоченной минимизации риска. II. Автоматика и телемеханика, №9, 1974, стр. 29-39.

[9] Алгоритмы и программы восстановления зависимостей. / Под редакцией В.Н. Вапника. Москва, Наука 1984.

[10] Галушкин А.И. Теория нейронных сетей. Т.1. Нейрокомпьютеры и их применение. Изд-во ИПРЖР, 2000.

[11] Гельфанд И.М. Лекции по линейной алгебре. Добросвет, 2007.

[12] Гнеденко Б.В. Курс теории вероятностей. М.: Наука, Главная редакция физико-математической литературы, 1965.

[13] Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М.: Физматлит, Издание 7-е, 2006.

[14] Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. Изд-во Горячая ЛинияТелеком.

[15] Лаврентьев М.М., Савельев Л.Я. Линейные операторы и некорректные задачи. М.: Наука, 1991.

[16] Льюнг Л. Идентификация систем. Теория для пользователя.

[17] Носко В.П. Эконометрика для начинающих. М.: Институт экономики переходного периода, 2000.

[18] Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979.

[19] Турчин В.Ф., Козлов В.П., Малкевич М.С. Использование методов математической статистики для решения некорректных задач. УФН 1970, 102: 345-386.

[20] Уилкс C. Математическая статистика. М.: Наука 1967.

[21] Саймон Хайкин. Нейронные сети. Полный курс. Изд-во Вильямс, 2006.

[22] A. Ja. Chervonenkis. A combined Bayes – Maximum likelihood method for regression. // В книге «Data Fusion and Perception» / edited by Giacomo Della Riccia, Hanz-Joachim Lenz, Rudolf Kruse. Springer, Wien, New York, 2001.

[23] Jean Paul Chiles, Pierre Delfiner. Geostatistics. Modeling Spatial Uncertainty. Wiley, Series in Probability and Statistics. 1999.

[24] Devroye Luc, Gorfi Laslo, Lugosi Gabor A probabilistic theory of pattern recognition. Springer, 1996.

[25] A. Gammerman, V. Vovk. Hedging prediction in Machine Learning. Computer Journal 50, 151 –157. 2007.

[26] J.D.C. MacKay. Bayesian interpolation. Neural Computation, 4(3): 415-447, 1992.

[27] H. Mohamad. Hassoun Fundamentals of Artificial Neural Networks.

[28] J. Rissanen. Stochactic complexity. Journal of the Royal Statistical Society series B, 49: 223-239. 1987.

[29] V.N. Vapnik. Statistical Learning Theory. Wiley, New York, 1998.

[30] V.N. Vapnik. The Nature of Statistical Learning Theory. Springer, New York, 2000.

[31] V. Vovk, A. Gammerman and G. Shafer. Algorithmic learning in a random world. Springer, 2004.



[32] C. S.Wallace and P.R. Freeman. Estimation and inference by compact coding. Journal of the Royal Statistical Society series B, 49: 240-265. 1987.


База данных защищена авторским правом ©infoeto.ru 2016
обратиться к администрации
Как написать курсовую работу | Как написать хороший реферат
    Главная страница