2. Место дисциплины в структуре ооп

зач. ед.

1. 
   Основные понятия и постановка задачи распознавания
   
   1. 
      Классическое и информационное моделирование: факторы, затрудняющие построение математических моделей реальных процессов и явлений; этапы построения моделей: формализация знаний и идентификация параметров.
      
   2. 
      Основные понятия: прецеденты, обучающая выборка, алгоритм обучения, обобщающая способность.
      
   3. 
      Простейшая постановка задачи распознавания образов: пространство параметров и пространство поиска, метод обучения, функционал качества
      
   4. 
      Разновидности постановки задач: классификация, кластеризация, регрессия, прогнозирование; гарантированная и вероятностная постановка задачи.
      
   5. 
      Признаковое описание объектов: типы признаков, матрица объект/признак, синтез признаков
      
2. 
   Примеры прикладных задач распознавания образов
   
   1. 
      Характеристики прикладных задач: система признаков, источники информации для обучающей выборки, алфавит классов.
      
   2. 
      Области приложения методов распознавания: медицинская диагностика, техническая диагностика, управление качеством продукции, геологические приложения, рубрикация информационных потоков, распознавание текста, оценка заемщиков, оценка инвестиционной привлекательности проектов, прогнозирование спроса, прогнозирование финансовых рынков, анализ клиентских сред.
      
3. 
   Организация решения задачи распознавания образов
   
   1. 
      Оценка качества обучения: функция потерь, функционал качества, минимизация эмпирического риска, контрольная выборка, проблема переобучения, функционал среднего риска, эмпирические оценки риска.
      
   2. 
      Свойства реальных данных: неточные данные, выбросы, неполные данные, противоречивые данные, разнородные данные, структурированные данные; проблема малых и сверхбольших выборок.
      
   3. 
      Этапы решения задачи распознавания: постановка задачи, сбор данных, предобработка, выбор моделей алгоритмов и методов их настройки, оценка качества алгоритмов, опытная эксплуатация, автоматизированное принятие решений.
      
4. 
   Эвристические принципы обучения по прецедентам
   
   1. 
      Принцип сходства: гипотеза компактности, пример алгоритма (метод ближайшего соседа), выбор метрики.
      
   2. 
      Принцип регуляризации: функционал структурного риска, пример эвристического критерия регуляризации.
      
   3. 
      Принцип разделимости: разделяющая поверхность, персептронный алгоритм, вероятностная интерпретация разделяющей поверхности.
      
   4. 
      Принцип покрытия: эталоны классов, модель голосования, пример алгоритма построения эталонов.
      
   5. 
      Принцип самоорганизации: критерии для выбора структуры и выбора параметров модели.
      
   6. 
      Принцип композиции: механизмы усреднения и специализации, функции компетентности.
      
   7. 
      Источники тестовых данных: эксперименты на реальных данных, регулярные модельные данные, репозитории тестовых задач.
      

1. 
   Линейное решающее правило
   
   1. 
      Определение линейного и аффинного решающего правила: соотношение между линейным и аффинным правилом, их геометрическая интерпретация, линейная и аффинная разделимость множеств, двойственная интерпретация решающего правила в пространстве решений, максимизация зазора.
      
   2. 
      Алгоритмы построения линейного решающего правила: разделение выпуклых оболочек, перцептронный алгоритм для оптимизационного поиска в пространстве состояний, коэффициент обжига; выбор функционала качества; комбинаторные алгоритмы построения решающего правила.
      
2. 
   Алгоритмические композиции
   

1. 
   Пространство оценок и корректирующие операции: алгоритмический оператор, корректирующая операция, базовые алгоритмы; основные виды корректирующих операций.
   
2. 
   Алгоритмы построения композиций: последовательная, параллельная и глобальная оптимизация – сравнение свойств; общая схема последовательной оптимизации; пример алгоритма параллельной оптимизации – бэггинг
   

3. 
   Нелинейные обобщения линейного классификатора
   
   1. 
      Нелинейное преобразование пространства параметров: альтернативное представление для нелинейного алгоритмического оператора, метод опорных векторов
      
   2. 
      Многослойные нейронные сети: нелинейное решающее правило, его соотношение с искусственным нейроном, многослойная нейронная сеть прямого распространения, другие топологии нейронных сетей.
      

1. 
   Параметрические методы
   
   1. 
      Особенности вероятностной постановки задачи классификации: априорные вероятности классов, функция правдоподобия класса, классификация вероятностных методов по уровню принятых вероятностных допущений.
      
   2. 
      Функционал среднего риска: ошибки 1-го и 2-го рода, алгоритм минимизации среднего риска.
      
   3. 
      Восстановление плотности распределения: метод максимума правдоподобия и результаты его работы в частных случаях, геометрия разделяющих поверхностей для разных вероятностных предположений, возможные причины вырождения ковариационной матрицы
      
   4. 
      Робастные методы оценивания: понятие робастности, алгоритм робастного оценивания плотности распределения, использование параметрических методов для тестирования не вероятностных методов обучения.
      
2. 
   Смеси распределений
   

3. 
   Непараметрические методы
   

1. 
   Логические алгоритмы классификации
   

2. 
   Решающие списки и деревья
   

1. 
   Методы селекции признаков
   
   1. 
      Предобработка вектора признаков.
      
   2. 
      Селекция признаков на основе проверки статистических гипотез: постановка задачи, мера различия плотности признаков.
      
   3. 
      Векторная селекция признаков: дивергенция, матрицы рассеивания, стратегии сокращения и наращивания вектора признаков, алгоритм плавающего поиска.
      
2. 
   Методы синтеза признаков
   
   1. 
      Однородное преобразование признакового пространства: базисные вектора; преобразование Карунена-Лоэва, дискретное преобразование Фурье, преобразования Адамара и Хаара.
      
   2. 
      Неоднородное преобразование признакового пространства: региональные признаки, признаки для описания текстуры, признаки формы и размера,скелетизация
      

зан.

зан.

час.

(час.)

(час.)

(час.)

Знакомство с возможностями программного пакета MathWorks Matlab в части решения задач распознавания образов.

Генерация модельных данных для задач кластеризации и классификации.

Реализация метода k ближайших соседей и подбор метрики для решения задачи кластеризации на сгенерированных данных.

Реализация перцептронного алгоритма для построения линейного решающего правила. Графическое представление оптимизационного поиска в пространстве параметров состояния и в пространстве поиска. Выбор правила масштабирования шага поиска.

Реализация последовательного алгоритма построения комитета большинства на основе линейных решающих правил. Реализация алгоритма для выбора начального приближения в алгоритме построения композиции.

Генерация модельных данных для задачи классификации в вероятностной постановке.

Реализация метода потенциальных функций для нормально распределенных классов. Подбор функции ядра плотности для решения задачи классификации

Бинаризация параметров объектов.

Реализация жадного алгоритма построения решающего дерева на основе оценок информативности разбиений узла дерева по различным признакам.

Реализация автоассоциативной нейронной сети и алгоритма ее обучения. Преобразование данных обучающей выборки для решения задачи селекции признаков