Применение методов нейросетевого моделирования для уменьшения объемов экспериментальных работ при разработке сварочных материалов

К.В. Гулаков

Работы, направленные на сокращение экспериментального этапа исследований (при сохранении достоверности результатов) и снижение трудоемкости при разработке новых сварочных материалов, по-прежнему остаются весьма актуальными.

Для решения этой проблемы предлагается методика исследования свойств сварных соединений на основе нейросетевого подхода.

Состояние вопроса и постановка задачи исследования. Как правило, при обработке экспериментальных данных используются различные подходы к аппроксимации функций характеристик объекта исследования от заданных параметров. Задача аппроксимации или регрессионного анализа данных является типичной обратной задачей воссоздания причин по их следствиям. Как и большинство обратных задач, она относится к типу плохо определенных (некорректных), т.е. можно подобрать множество регрессионных моделей, удовлетворяющих заданным критериям.

Классический подход к аппроксимации функций сопряжен с рядом трудностей. Это и выбор базисных кривых, и необходимость оптимизировать функцию погрешности, что требует применения методов оптимизации для многомерных функций. Задачу минимизации функций погрешности сводят либо к задаче решения системы линейных уравнений, либо к задаче линейного программирования, что значительно сложнее. При нелинейной аппроксимации решается система нелинейных уравнений, а это задача еще более сложная. При этом трудности определения коэффициентов аппроксимируемой функции нескольких аргументов многократно увеличиваются. Работа усложняется, если экспериментальные данные отражают стохастический процесс. В этом случае аппроксимирующая функция становится регрессионной моделью, а задача ее формирования относится к классу задач регрессионного анализа.

В аппарате математической статистики существуют методики построения линейных и нелинейных регрессионных зависимостей. Нелинейные зависимости с точки зрения теории планирования эксперимента строятся главным образом на основе полиномов второй степени. Более сложные нелинейные регрессионные модели строят с использованием линеаризующих преобразований. В этом случае появляются дополнительные трудности с подбором экспертом подходящих функций для замены, а также приходится минимизировать сумму квадратов отклонений для преобразованных переменных, а не исходных, что не одно и то же.

На этом фоне использование нейросетей как универсальных аппроксиматоров для построения регрессионных моделей является менее трудоемким и значительно более универсальным методом. Нейросети открывают ряд качественно новых возможностей, особенно в отношении создания регрессионнных моделей, наиболее полно учитывающих реальные свойства системы, в том числе нелинейность, и обеспечения быстродействия для получения конечного результата.

Согласно общим правилам построения нейросетевых моделей, экспериментальные данные, которые используются при обучении искусственных нейронных сетей, не проходят никакой предварительной обработки в отличие от регрессионного анализа. При этом необходимый объем данных, требуемых для обучения нейросети, может быть существенно меньше, чем для построения регрессионной зависимости. В общем случае для регрессионной модели при n степенях свободы (n независимых параметрах) потребуется проведение 2ⁿ независимых экспериментов с последующей верификацией каждого из них для достижения необходимой точности и достоверности моделирования. При росте n экспериментальные исследования могут стать экономически неэффективными.

При создании нейросетевой модели требуется значительно меньшее число экспериментальных данных (в среднем, согласно ряду исследований, в два раза меньше). Однако требования к качеству данных при этом растут. Они должны содержать минимальное число случайных помех и не иметь неэргодичных данных [4].

Д

Рис. 1. Структура нейронной сети

Задачей являлось определение минимального количества примеров, на которых нейросеть может обучиться и показать приемлемые результаты, т.е. количества экспериментов, необходимого для формирования обучающей выборки нейросети, обеспечивающей адекватную регрессионную модель.

Вопрос о минимальном объеме обучающей выборки является предметом многих исследований в области теории искусственных нейронных сетей. Оценки числа примеров, необходимых для обучения аппроксиматора, основываются на важном параметре, получившем название измерения Вапника-Червоненкиса (Yapnik-Chervonenkis dimension) или VС-измерения в честь ученых, которые в 1971 г. ввели это понятие [9]. VС-измерение обеспечивает теоретический базис для решения вопроса адекватности размера обучающей выборки. На основе этой теории была получена оценка VC-измерения для произвольной многослойной нейронной сети N прямого распространения, состоящей из нейронов с сигмоидальной функцией активации, равной O(W²) [10]. На практике оказывается, что для хорошего обобщения достаточно, чтобы размер обучающего множества N удовлетворял следующему соотношению:

, (1)

где W - общее количество свободных параметров (синаптических весов и порогов) сети;  - допустимая ошибка классификации; O(·) - порядок заключенной в скобки величины. Например, для ошибки в 10% количество примеров обучения должно в 10 раз превосходить количество свободных параметров сети. Выражение (1) получено из эмпирического правила Видроу (Widrow's rule of thumb) для алгоритма минимизации среднеквадратической ошибки [11].

Для применяемой в данной работе сети, многослойного персептрона прямого распространения с двумя входами, одним выходом и одним скрытым слоем с двумя нейронами в нем, количество весов и смещений W=8. Оценивая N, получаем значение порядка 80 примеров. К сожалению, часто оказывается, что между действительно достаточным размером множества обучения и этими оценками существует большой разрыв. Из-за этого расхождения возникает «задача сложности выборки»[8], требующая дополнительных исследований.

В работе [2] приведены экспериментальные данные о зависимости ударной вязкости сварного шва, наплавленного электродами типа УОНИ-13, от содержания в них следующих соединений: CaO, MgO, TiO₂, CaF₂. Там же указывается, что суммарное количество этих соединений не может превышать в долях единицы 0,6, или 60%. Так как CaO и MgO оказывают почти идентичное влияние на показатели прочности металла шва, их принято рассматривать как сумму (CaO+MgO) [2]. В этом случае функция ударной вязкости вырождается в зависимость от двух переменных. Процентное содержание CaO+MgO определяется как z=60-x-y, где x – процентное содержание TiO_2, y – процентное содержание CaF₂.

В этой же работе описаны исследования, в результате которых имеем N значений аргумента X₁ (процентное содержание TiO₂), X₂ (процентное содержание CaF₂) и соответствующих значений функции P (ударная вязкость, Дж/см²) при T=+20°C. При этом общая выборка из 95 записей, содержащих экспериментальные значения X₁, X₂, P, случайным образом была разделена на обучающую (80% записей) и тестовую (20% записей). Модель строилась на обучающей выборке, затем ее качество проверялось на тестовой выборке.

Было сформировано 5 экспериментальных выборок, содержащих некоторое количество записей, случайно выбранных из всего списка экспериментальных данных. Первая выборка содержала 47 записей, вторая – 37, третья – 26, четвертая – 18 и пятая – 12. Тестовая выборка содержала 23 записи, не присутствующие ни в одном из обучающих наборов. Таким образом, можно оценить работу нейросети на данных, на которых она не обучалась.

Построение и обучение нейросетей происходило в среде Matlab с использованием пакета Neural Network Toolbox. Для обучения нейросетей использовалась функция learngdm – обучающая функция градиентного спуска с возмущением [12], а для тренировки – функция TRAINLM, которая модифицирует значения весов и смещений в соответствии с методом оптимизации Левенберга-Маркара [3].

Эксперименты показали, что поскольку процесс обучения нейросети есть оп­тимизация функции многих переменных, не всегда возможно найти глобальный (а часто даже локальный) минимум этой функции. Успех в поиске минимума зависит от начальных значений весов и смещений синапсов нейросети. В эксперименте с пятой обучающей выборкой, содержащей 12 записей, поиск минимума функции обучения часто не давал положительных результатов (рис. 2, линия В). Уже на четвертой итерации оптимизация была прекращена, так как процесс не сходится ни к какому значению, а ошибка обучения, разность нейросети как аппроксиматора от значений обучающей выборки, осталась огромной – 238,9. В этом случае необходимо проинициализировать веса и смещения синапсов нейросети новыми начальными значениями и повторить тренировку. Вариант успешного обучения представлен на рис. 2 линией А. Из графика видно, что после 57 циклов обучения ошибка обучения сходится к некоторому минимальному значению – 4,7. При обучении нейросети большим количеством примеров функция ошибки обучения очень быстро сходится к минимуму практически при любых начальных значениях весов. На рис. 2 линией Б показана функция обучения для выборки 2, состоящей из 37 примеров. Видно, что функция достаточно быстро сходится к некоторому минимальному значению.

П

Рис. 2. Обучение нейросетей

Среднеквадратическое отклонение

Таблица 2

В общем случае вопрос о необходимом количестве записей в обучающей выборке не имеет однозначного ответа. Ответ на него зависит от вида аппроксимирующей кривой (поверхности), количества локальных минимумов и максимумов на ней, типа нейросети (персептрон, RBF-сеть), структуры сети (количество нейронов, слоев), а также от характера самой обучающей выборки. Так как тип и структура нейросети определяются до ее построения экспертом, предлагается характер и объем обучающей выборки изменять итерационно от простого к сложному, от малого количества к большему. Определив в начале экспериментов приемлемую точность модели, можно последовательно увеличивать объем обучающей выборки, пока не будет достигнуто необходимое качество модели. В данном случае за оптимальную по количеству обучающих примеров можно принять выборку 3. Следовательно, начиная с 10 опытов и последовательно прибавляя к ним 10, уже на третьем шаге можно получить приемлемое качество модели. При этом важно отметить, что даже самая «плохая» из полученных нейросетевых моделей, P⁵_т, описала данные лучше, чем полином второй степени, представленный в работе [5], где среднеквадратическая погрешность по полиному составила 7,1 (почти в полтора раза выше). Полученные результаты можно также сопоставить с построением регрессионной модели с точки зрения теории планирования эксперимента. Согласно этой теории, для построения нелинейной зависимости от двух параметров требуется построить ротабельный план второго порядка, содержащий 4 базовые, 4 звездные и несколько центральных точек. С учетом стохастичности процесса требуется проведение нескольких измерений для каждой точки, т.е. не менее 12 независимых экспериментов. При этом регрессионная модель будет основана на полиноме второй степени, о точности которого сказано выше. Таким образом, применение нейросетевого подхода позволяет не только снизить объем работ, связанных с построением регрессионной модели, в сравнении с классическим подходом, но и значительно увеличить точность (адекватность) самой модели.

2. Юркинский, С. В. Разработка низколегированных электродов, обеспечивающих высокую хладостойкость сварных соединений корпусных конструкций из сталей типа АБ: дис…. канд. техн. наук / С. В. Юркинский, 2009. – 179с.

3. Консультационный центр Matlab. - http://matlab.exponenta.ru/neuralnetwork/book2/18/trainlm.php.

4. Малолетков, А.В. Использование нейросетевых моделей в сварке: учеб. пособие / А.В. Малолетков. – М.: Изд-во МГТУ им. Н. Э. Баумана, 2000. – 63 с.

5. Гулаков, К.В. Сравнение методов регрессионного анализа многомерных данных на примере выбора состава покрытия электродов / К.В. Гулаков // Материалы Международной научно-практической конференции «Достижения молодых ученых в развитии инновационных процессов в экономике, науке, образовании» / под ред. И.А. Лагерева. - Брянск: БГТУ, 2010. – С. 125-126.

6. Абовский, Н.П. Нейронные сети и аппроксимация функций: учеб. пособие / Н.П. Абовский, Т.В. Белобородова, А.П. Деруга, О.М. Максимова. - КрасГАСА, 2002. – 134 с.

7. Родионов, П. Е. Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей: дис…. канд. техн. наук / П. Е. Родионов. – 2003. – 169 с.

8. Хайкин, С. Нейронные сети: полный курс: [пер. с англ.]/ Саймон Хайкин. - 2-е изд. - М. : Вильямс, 2006. - 1104 с.

9. Vapnik, V.N. Оn the uniform convergence of relative frequencies of events to their probabilities / V.N. Vapnik, А.Ya. Chervonenkis // Theoretical Probability and Its Aplications. – 1971. - Vol. 17.- P. 264-280.

10. Koiran, Р. Neural networks with quadratic VC-dimension / Р. Koiran, E.D. Sontag // Advances in Neural Information Processing Systems.- 1996.- Vol. 8.- P. 197-203.

11. Widrow, B. Adaptive Signal Processing / B. Widrow, S.D. Steams // Englewood Cliffs.- NJ: Prentice-Hall, 1985.

12. Медведев, В.С. Нейронные сети. Matlab 6 / В.С. Медведев, В.Г. Потемкин. – М.: Диалог-МИФИ, 2002. – 496 с.