Контроль и корректировка при распознавании форм

Контроль и корректировка при распознавании форм

1. Введение

1.2. Модуль контроля и корректировки налоговых деклараций физических лиц для Госналогинспекции Республики Башкортостан, реализованный на платформе Макинтош, является частным решением названной задачи. Здесь оно излагается очищенным от деталей, относящихся преимущественно к налоговому ведомству. Примеры и иллюстрации взяты из реальной практики. Новизна задачи, систематичность и подробность изложения должны компенсировать читателю недостаточное освещение смежных подходов.

1.3. Упомянем макетный редактор, созданный в 1980-х годах во ВНИИСИ АН СССР В.Л.Арлазаровым и сотрудниками для ЭВМ ЕС-1045 и алфавитно-цифрового терминала ЕС-7920, который предназначался для ввода текстов и документооборота [1]. Документы состояли из частей, в том числе повторных, а в для хранения документов использовался текстовый формат, служебные строки и строки-значения полей. Подобный формат хранения применен в предлагаемом редакторе.

1.4. Принцип построения документов из частей лежит в основе технологии составных документов OpenDoc™[2].

1.5. В модуле контроля и корректировки для налоговых карт юридических лиц, разработанном А.Фиалковым, документ состоит из одной части и из одной страницы. Имеется автоматический контроль документа, режим просмотра сомнительных полей и документов. Графический образ страницы прокручивается в сыром виде.

1.6. Предлагаемый редактор в значительной мере опирается на операционную систему MacOS 7.5. Несомненно, что реализация редактора на платформе Макинтош при помощи Symantec C++ 8.1 позволила сильно сократить объем программирования. Практически весь документный контур, в том числе загрузка и сохранение документа; макетирование включая показ части и частично скроллинг; оконный интерфейс, включая плавающие окна: панель управления и информационное, получены как результат использования Symantec C++ 8.1 в готовом или почти готовом виде. Объем программирования можно оценить в 3 человеко-месяца.

2. Бумажный документ. Его страницы, части и поля. Пачки. Идентификатор документа.

2.2. Пачка является минимальным множеством документов, в котором гарантированно содержатся все страницы, поскольку пачки бумажных документов не смешиваются. Страницы документа помечены уникальным идентификатором документа, присущим документу и отличающим его от других документов пачки. Например, идентификатором может служить 12-значный социальный номер физического лица. Идентификатор документа и другие поля распознаются в виде текста, пригодного для редактирования, поиска и анализа.

2.3. Поле является элементарным данным: кодом, числом или текстовой строкой, как например: “код вида дохода”, “сумма дохода” и “название организации, в которой получен доход”. Поля группируются в смысловые блоки, или части документа. Три названных поля образуют часть “Величина дохода, полученного в одной организации”. Серия повторов такой части может встретиться как на одной странице документа, так и на разных. Так, в налоговой форме предусмотрены дополнительные листы для большого количества однотипных сведений. Если же сведений немного, то все повторы части могут уместиться на одной странице, для чего в форме предусматривается место для заполнения нескольких повторов части на странице. Лишние части на бумаге не заполняются.

Таковы бумажные документы; в компьютерном представлении документа, напротив, группируются все повторы части, а пустых частей не нужно. Об этом говорится ниже в разделе 5.

3. Распознавание. Вероятность ошибок.

3.2. Особую важность имеет точность распознавания идентификаторов, поскольку от этого зависит сборка документа из страниц, которые, как отмечалось выше, могут поступать в неправильном порядке. Если при сборке не делать никаких предположений относительно порядка страниц, то вероятность сборки документа из 4-х страниц с правильным 12-значным идентификатором при вероятности распознавания символа 99,85% равна:

0.9985 ⁴⁸ = 0,9304

То есть, в среднем 7% документов будут неправильно скомплектованы! Поэтому не только отдельные поля, но и самый состав распознанного документа нуждается в контроле и корректировке.

3.3. Манипуляции на этапе контроля и корректировке производятся оператором в отсутствие бумажных оригиналов. Вместо них он имеет дело с редактором, позволяющим зрительно сравнивать значения полей с графическим образом, корректировать поля, а при необходимости производить перекомплектацию документа путем слияния или разделения страниц.

3.4. Неправильно распознанный идентификатор может совпадать или не совпадать ни с одним из идентификаторов в пачке. При уменьшении размера пачки уменьшается и вероятность совпадения, приводящего к склейке чужих страниц в один документ. Распадение документа на части, вообще говоря, более вероятное последствие ошибки в идентификаторе. Гипотетическая возможность команды разделения склеенных страниц в следующей версии редактора здесь не рассматривается, а вот команда слияния двух одновременно открытых документов с одинаковым социальным номером в редакторе реализована.

4. Контроль документа. Сомнительные поля. Подтвержденные поля.

К сомнительным в первую очередь относятся неуверенно распознанные поля. При загрузке документа и затем по ходу корректировки редактор выполняет дополнительные проверки как отдельных полей, так и групп полей на достоверность.В процессе корректировки сомнительные поля могут становиться несомнительными и наоборот. Таким образом, с точки зрения программного контроля поля делятся на сомнительные и несомнительные.

4.2. С человеческой же точки зрения мы разделим поля на подтвержденные оператором и еще не подтвержденные. В рабочем режиме редактор последовательно фокусирует внимание оператора на еще не подтвержденных сомнительных полях, а оператор подтверждает их. Контроль выполняется редактором на ходу, как будет подробнее сказано несколько ниже. Подтвержденное поле становится таковым раз и навсегда в процессе корректировки.

4.3. Схема распределения ответственности за корректировку предлагается следующая. Документ, содержащий хотя бы одно сомнительное, но не подтвержденное поле, не пропускается редактором в выходную папку. Оператору предлагается как минимум подтвердить все сомнительные поля. Любое поле может быть подтверждено оператором при помощи клавиши ENTER, независимо от сообщений блока контроля по поводу этого поля. Сообщения блока контроля сохраняются в документе наряду с признаком подтвержденности поля. В выходной папке накапливаются исходные документы для последующих этапов обработки, которые здесь не рассматриваются (например, для ввода в базу данных).

4.4. Визуально сомнительные поля выделяются на экране синим цветом. Для подтвержденных полей в строке состояния показывается сообщение “Подтверждено оператором”.

5. Порядок частей. Повторные части и итоговые поля. Ключевые поля.

5.2. Итоговыми полями называются поля, зависящие от повторных частей. К итогам относятся в частности, суммы. Повторной части могут соответствовать несколько итогов 11 (рис.1). Они показываются вместе с каждой повторной частью. Это второе отступление от бумажного порядка частей, поскольку на бумаге итоги заполняются один раз, а в редакторе повторяются.

5.3. Ключевым полем называется некоторое избранное поле повторной части. Ключи призваны облегчить навигацию в документе. Предполагается, что ключ отличает экземпляр части от других экземпляров такой же части. Обычно ключевое поле–первое поле в части. Например, порядковый номер повтора части 10 (рис.1). Уникальность ключей не предполагается. Из ключей составляется меню 9 (рис.1).

6. Человеческий интерфейс редактора.

6.2. Требования к качествам человеческого интерфейса редактора:

• 
  Не более одной части на экране.
  
• 
  Не показывать пустых частей.
  
• 
  Не менять часть неожиданно при переходе от поля к полю.
  
• 
  Не показывать окрестность графического образа поля.
  
• 
  Кнопка контроля значения без покидания текущего поля.
  
• 
  Автоматическое масштабирование графического образа поля.
  

• 
  Узнаваемость части по расположению полей и пояснительному тексту подобно бумажному оригиналу.
  
• 
  Идентификация типа части и экземпляра повторной части.
  
• 
  Указатель положения в документе (полоса прокрутки).
  
• 
  Показ идентификатора документа наряду с именем файла.
  
• 
  Подсветка сомнительных полей цветом и показ сообщения об ошибке от блока контроля в строке состояния.
  
• 
  Показ ключа текущей части.
  
• 
  Показ номера страницы.
  
• 
  Строка состояния.
  
• 
  Показ информации о документе при просмотре папки на диске.
  

• 
  “Горячая кнопка” ENTER для подтверждения поля и поиска оставшихся не подтвержденными сомнительных полей.
  
• 
  Листание всех частей вперед и назад, в начало и в конец документа.
  
• 
  Листание сомнительных частей.
  
• 
  Выбор повтора части из меню.
  
• 
  Повтор итогов в каждой части.
  

• 
  Команда отмены изменения значения поля.
  
• 
  Возможность прохода по сомнительным полям, включая уже подтвержденные.
  
• 
  Команда восстановления последнего запомненного состояния документа с диска.
  

• 
  Фоновая загрузка графических образов.
  
• 
  Показ минимального графического образа поля.
  

7. Формат хранения документа.

7.2. Части могут идти в произвольном порядке, страницы так же. Внутри части порядок полей фиксированный. Допускаются пустые части, но редактор их не показывает и удаляет при сохранении документа.

7.3. Имя документа по возможности включает идентификатор документа, хотя это не предполагается. Расширение имени документа отражает его статус: P–уверенно распознан, M–неуверенно распознан, PP–откорректирован, MM–корректировался, но остались неподтвержденные сомнительные поля.

7.4. Имя файла графического образа включает имя документа и номер страницы, например: MYDOC_01.TIF.

8. Внутреннее представление документа в редакторе.

8.2. Дескриптор поля включает номер поля; номер части в макете; номер части в документе; номер части в серии повторов; номер страницы; текстовое значение поля; код ошибки; признак подтверждения оператором; ссылку на графический образ поля. Ссылка на графический образ может быть нулевой, если образ еще не загружен. Номер страницы нулевой для нового документа.

8.3. Страница как объект C++ содержит обратную ссылку на документ, номер страницы, ссылку на графический файл, признак загрузки в память. При загрузке страница фрагментируется на графические образы полей, которые хранятся по отдельности. Загрузка всех страниц может происходить не сразу, а в свободное время после открытия документа, пока оператор работает с одной частью (фоновая загрузка страниц). Графический файл закрывается сразу после фрагментации страницы.

8.4. Графический образ поля как объект C++ содержит битовый образ поля, его ширину и высоту в пикселах. При показе образ автоматически растягивается или сжимается по размеру панели, предназначенной для него в интерфейсе редактора. Масштаб не должен быть меньше 50%, иначе могут теряться тонкие линии.

9. Виды контроля.

9.2. Контроль вводимых символов производится при вводе в цифровое поле. Нецифровой символ сразу вызывает звуковой сигнал и сообщение в строке состояния.

9.3. Контроль отдельного поля производится автоматически при выходе из измененного поля, а также–для всех полей–при контроле документа. В частности, здесь проверяется принадлежность к списку возможных значений поля по словарю.

9.4. Контроль документа производится: 1) при открытии документа; 2) при нажатии клавиш RETURN и ENTER (на Макинтоше это две разные клавиши. Клавиша RETURN оставляет курсор в текущем поле, а клавиша ENTER после проверки документа ищет следующее неподтвержденное сомнительное поле); 3) по команде “Проверить”; 4) по команде “Экспортировать”.

9.5. Контроль документа выполяется в следующем порядке, при этом переход к более сложному виду контроля происходит только если после предыдущего вида контроля в документе нет ни одного неподтвержденного сомнительного поля:

1. 
   Контроль каждого поля по отдельности.
   
2. 
   Контроль каждой части по отдельности.
   
3. 
   Глобальный контроль (зависимости между частями).
   

9.7. Глобальный контроль включает расчет и проверку итогов.

10. Литература.

2. Orfali R., Harkey D., Edwards J. The essential distributed objects survival guide. John Wiley & Sons, Inc., 1996.