Исследование возможности улучшения алгоритмов обучения нейронной сети
В наше время автоматизация технологических, экономических и прочих процессов жизнедеятельности набирает невиданные ранее обороты. Одной из важнейших задач, возникающих в контексте автоматизации является оптическое распознавание символов (optical character recognition, OCR) — частный случай задачи распознавания образов.
В практических задачах распознавания символов особую популярность имеют так называемые искусственные нейроные сети — математическая модель классификатора, вдохновленная работой человеческого мозга. Настройка или обучение нейронной сети, является задачей многомерной оптимизации большого числа параметров, нахождение эффективных методов решения которой являются актуальной проблемой.
В работе приведен анализ структуры нейронных сетей и конкретного их типа, являющего предметом исследования — сверточная нейронная сеть. Рассмотрены некоторые актуальные методы обучения сетей, в том числе метод обратного распространения ошибки (back propagation), улучшение качества работы которого вызывает интерес автора.
В работе были проанализированы результаты экспериментов по обучению сверточных нейронных сетей, что позволило выдвинуть гипотезу о том, что улучшение скорости сходимости метода обучения, а также оптимальности найденного решения, может быть достигнуто путем модификации скоростей обучения отдельных слоев нейронной сети в соответствии с изменением некоторой характеристической функции, зависящей от эпохи обучения сети, инкрементов параметров слоя и, возможно, некоторых других параметров.
В работе были предложены конкретные виды характеристических функций, которые позволили добиться положительных результатов в ходе экспериментов.
Нахождение более оптимальных функций является предметом дальнейшего исследования.
Научный руководитель – к.т.н., доц. Полевой Д. В.