Сегментно-целостная структура канала речевого управления программными системами

И.Ю.Бондаренко¹, С.А. Гладунов², О.И. Федяев³

Рассматривается включение речевого интерфейса в программные системы на примере текстового процессора Microsoft Word с целью повышения эффективности работы пользователя. Предлагается структура речевого канала интерфейса на основе взаимодействия сегментной и целостной систем распознавания, первая из которых реализована в нейросетевом, а вторая – в нечётком базисе.

Введение

Рассматривается проблема создания средств речевой коммуникации между человеком и компьютерными системами. Добавление речевого канала в контур управления сложными человеко-машинными системами позволит значительно повысить эффективность их работы. Такой сложной с точки зрения интерактивного взаимодействия системой является современный текстовый редактор, предоставляющий пользователю большое количество функциональных возможностей и связанных с ними команд по вводу и редактированию различного типа информации. Рациональное сочетание речевого и стандартного визуального способов управления процессом ввода и редактирования текстовой информации позволит снизить нагрузку на тактильно-зрительные каналы человека и тем самым повысить эффективность его работы. О востребованности речевого интерфейса свидетельствует и возросшее число коммерческих разработок систем, использующих речевой интерфейс. Так, NaturallySpeaking фирмы Dragon System позволяет редактировать и форматировать текст с помощью собственного текстового процессора без использования клавиатуры и мыши. Компания IBM разработала аналогичную программу, позволяющую осуществлять речевой ввод и форматирование текста в текстовом процессоре MS Word. На практике эти программы показывают недостаточно высокие результаты (при тестировании точность не достигла даже 90% [Лукьянюк, 2006]).

Данная статья посвящена разработке системы речевого управления, которая основана на сегментно-целостной модели восприятия речевого сигнала. Эта бионическая модель базируется на представлении о мозге как о двухканальной системе применительно к обработке звуковой речи [2]. Каналы сегментного и целостного восприятия, соответствующие левому и правому полушариям головного мозга, действуют параллельно, обеспечивая высокую скорость и надёжность распознавания. В статье предлагается реализация первого канала в виде нейросетевого пофонемного распознавателя, а второго – в виде нечёткого классификатора целостных паттернов (слов).

1. Структура двухканальной системы распознавания речевых команд

Современные представления о механизмах речевой деятельности человека [Морозов и др., 1988] положены в основу двухканальной системы речевого управления. Общая структура такой системы, дополняющей традиционные средства интерактивного взаимодействия человека и компьютера (клавиатуру и графический манипулятор типа «мышь»), изображена на рис.1. В качестве объекта управления использован текстовый редактор Microsoft Word как программная система со сложным интерфейсом, использование которого приводит к значительным нагрузкам на тактильно-зрительный канал пользователя.

Функциональная схема работы двухканальной системы распознавания речевых команд представлена на рис. 2. В звуковом сигнале, поступающем на вход системы, определяются границы речевого участка – предполагаемой речевой команды – на основе функций кратковременной энергии сигнала, числа переходов через нуль и количества точек постоянства. Далее выделенная речевая команда параллельно анализируется сегментным и целостным каналами. Сегментный канал основан на методе скользящего фонетического анализа [Федяев и др., 2002], а целостный канал – на методе нечёткого DTW-сопоставления образов [Федяев и др., 2006]. Эти каналы формируют независимые наборы слов-претендентов, т.е. слов, к каждому из которых с определённым коэффициентом уверенности может быть отнесена распознаваемая команда. На последнем уровне схемы, используя наборы слов-претендентов и соответствующие им коэффициенты уверенности, проводится согласование приближённых решений сегментного и целостного каналов и принимается окончательное решение о распознаваемой команде.


Рис. 1. Структура речевого канала управления текстовым

редактором MS Word

Рис.2. Схема сегментно-целостной модели распознавания речи

Целостный подход к распознаванию речи основан на методе нечёткого DTW-сопоставления паттернов входного сигнала с хранящимися в памяти целостными эталонами [Федяев и др., 2006]. В качестве паттернов рассматриваются слова, набор которых определяет словарный состав речевого командного интерфейса с редактором MS Word.

Речевое слово представляется в виде двумерного спектрального временного образа (СВО), получаемого с помощью оконного преобразования Фурье (рис.3а). СВО позволяет выделить местоположение резонансных частот, т.е. локальных выбросов, что является определяющей особенностью речевого сигнала [Асаи и др., 1993]. На этом основании СВО преобразуется к двоичному виду с помощью замены: 1 – на месте локального выброса, 0 – в других местах. Полученный образ является двоичным спектральным временным образом (ДСВО) и используется как отражение особенностей речевого сигнала (рис.3б).

Рис. 3. Пример спектрально-временного представления слова

“автоформат”: а – СВО; б – ДСВО
Для корректного сопоставления речевых образов необходимо провести их выравнивание по длине. Эта процедура выполнена с помощью нелинейного выравнивания, учитывающего неравномерность протекания сигнала во времени [Винцюк, 1987], для чего использовался алгоритм, основанный на определении наилучшего соответствия входных и эталонных речевых образов, известный как метод DTW [Wrigley, 2006]. В отличие от алгоритма линейного приведения длин, применяемый алгоритм осуществляет выравнивание входного ДСВО и эталонного образа только на спектрально подобных фрагментах.

Для распознавания изолированных слов, нормализованных по времени, применялся метод нечёткого сопоставления с эталоном [Асаи и др., 1993]. Эталонные образы для каждого слова словаря формировались как среднее арифметическое ДСВО различных вариантов произношения этого слова. В результате формируется бинарное нечёткое отношение между множеством F (номеров частот f) и множеством T (номеров временных интервалов t) в виде ,: F R T , где R – нечёткое отношение, которое ставит каждой паре элементов величину функции принадлежности . Набор нечётких отношений определяет словарь эталонов размером n.

Распознаваемый образ y рассматривается как обычное (чёткое) отношение между множеством частот и множеством временных интервалов. Для него вычисляются степени сходства S_j с каждым нечётким отношением r_j , и результатом распознавания является номер j слова в словаре, такой, что , где

.

Были проведены экспериментальные исследования, направленные на определение качества распознавания речевых команд по методу нечёткого сопоставления при линейном и нелинейном выравнивании образов. Для эксперимента использовалась речевая однодикторная база данных, включавшая в себя звукозаписи шести речевых команд управления текстовым процессором: “Автоформат”, “Жирный”, “Курсив”, “Маркеры”, “Найти”, “Нумерация”. Каждая речевая команда была представлена 30 реализациями, 15 из которых использовались для обучения системы, а 15 – для тестирования. Результаты распознавания слов тестового множества представлены в табл. 1.

Таблица 1. Результаты тестирования системы

Сегментный подход к распознаванию речи основан на фонетическом анализе речевого сигнала. Предложен метод, основанный на определении меры сходства фрагмента речевого сигнала с каждой из фонем с последующим выбором наиболее достоверной фонетической цепочки [Федяев и др., 2002].

Пусть A_w(t) – акустическое представление высказывания w; F_k(t) – акустическое представление некоторой фонемы. Требуется определить, является ли фонема, описываемая F_k(t), фрагментом высказывания A_W(t).

Представим F_k(t) на отрезке [t₀ , t₁] в виде множества пар

{(X^/(t), Y^/(t))}, (3.1)

где X^/(t)=(F_k(t – m), F_k(t – m +1),…F_k(t – 1)), m=const; Y^/(t)=F_k(t); t₀  t  t₁ . Аналогично представим A_w(t) в виде множества пар {X(t), Y(t)}.

Представление F_k(t) в виде (3.1) позволяет сформировать нейросетевую функцию NET: NET(X^/(t)) = Y^/(t). Тогда мера отличия Err_k участка A_w(t) при t[t_н , t_к] от F_k(t) определяется: Err_k(t) =Y(t) – NET(X(t)).

Таким образом, получаем новое параметрическое описание исходного сигнала:

где Err_k(t) – мера отличия участка сигнала A_w(t) от k-й фонемы на фрагменте сигнала длительности m.

Новое параметрическое описание исходного сигнала имеет преимущества, связанные с более высокой стабильностью описания на стационарных участках, а также с интерпретируемостью полученных величин. Однако сложная форма и значительная нестабильность речевого сигнала не позволяют сделать вывод о фонеме по отдельным мгновенным значениям мер отличия Err_k(t). Поэтому результаты распознавания усредняются на достаточно большом участке времени. Полученное параметрическое описание сигнала используется при дальнейшей контекстной обработке, как это показано на схеме распознавания (рис. 2).

Первый уровень схемы состоит из набора нейронных сетей, каждая из которых обучена распознаванию отдельной фонемы. Выходы сетей интерпретируются как прогноз следующих значений сигнала при условии, что имеет место соответствующая фонема. На втором уровне ошибка прогноза накапливается на всей протяженности окна сегмента речи. Интегральная ошибка поступает на третий уровень, где из всех фонем выбираются наилучшие. Полученный набор участвует в формировании фонетических цепочек, представляющих собой гипотезы о произносимом слове. Произнесённое слово определяется по цепочке с наибольшей степенью достоверности.

Работа метода проиллюстрирована на примере распознавания слова «один» (рис.4). В примере задействовано четыре фонемы. Для аппроксимации использованы трехслойные сети типа «многослойный персептрон» с 20 входами и количеством нейронов в слоях 20-10-1. Количество входов определялось в соответствии с оценкой периода основного тона для данного диктора. В обучении использовано по 10 реализаций каждой фонемы одного диктора.

На рис.4 видно, что минимумы ошибки последовательно достигаются на участках сигнала, соответствующих заданным фонемам.

Каждый канал не может сформировать однозначное решение задачи распознавания речевых команд. Достоверность получаемых приближённых решений описывается коэффициентами уверенности. В нечёткой модели значения коэффициентов уверенности слов-претендентов определяются на основе степеней сходства входного речевого образа с эталонными образами. Нейросетевая модель для каждого распознаваемого слова формирует множество цепочек фонем, из которого методом динамического программирования находятся наилучшие цепочки, определяющие слова-претенденты, и значения коэффициентов уверенности по отклонениям от соответствующих слов словаря. С помощью метода коэффициентов уверенности реализуется объединение предлагаемых каналами приближённых решений и выбирается наилучшее решение на конкурсной основе.

Предложенные способы речевого управления текстовым редактором были реализованы в виде программного компонента ActiveX, интегрируемого с системой MS Word. Словарь системы распознавания включал 105 речевых команд. Точность распознавания этих команд превысила 90%.