Решение задачи распознавания нетипичного поведения в сфере нормирования труда на основе нейросетевого подхода

Проект посвящен разработке методологии выявления непроизводственных затрат рабочего времени на основе видеоматериала посредством методов искусственного интеллекта. Предлагается синтез из контурного метода и аппарата нейронных сетей. В целях проведения экспериментов записаны видеошаблоны, реализован контурный метод оператор Прюитт, разработана структура нейронной сети. Представлены результаты экспериментов, сделан вывод о перспективности данного исследования.

Целью проекта является разработка методологии повышения эффективности выявления непроизводственных затрат рабочего времени посредством создания системы видеонаблюдения с интеллектуальной надстройкой на базе синтеза контурного метода и аппарата нейронных сетей.

По мере роста масштабов производства, интенсификации производственных процессов возрастает значение бесперебойной и высокопроизводительной работы оборудования при затрате минимальных ресурсов, причем не только материальных, но и трудовых. Проблемой последних являются непроизводственные затраты рабочего времени (НЗРВ), которые ежегодно оборачиваются сотнями тысяч убытков для предприятия. Особенно остро возникает эта проблема при повременной оценке труда (человеко-часы). Сегодня проблема выявления НЗРВ решается традиционными способами: различными видами наблюдения и планирования, которые имеют ряд недостатков, заставляющих задуматься о поиске более совершенного подхода для решения поставленной задачи.

В ходе работы сформирована обучающая и тестирующая выборка шаблонов из более чем 25-ти образцов типичного и нетипичного поведения на примере технического обслуживания и ремонта оборудования (ТОиР), так как многие виды работ этой отрасли оцениваются повременным образом. В основе классификации поведения на типичное и нетипичное лежит его влияние на непроизводственные затраты рабочего времени (НЗРВ): если НЗРВ увеличивается, классифицируем как нетипичное, в противном случае – типичное. В качестве решения задачи выявления НЗРВ предлагается использование контурного метода и аппарата нейронных сетей. Контурный метод необходим для предварительной подготовки видео с целью снижения требований к вычислительной мощности. Нейронная сеть выполняет аналитическую функцию: распознает видеошаблон как образец типичного или нетипичного поведения. В ходе экспериментов программно реализовано выделение контура на образцах, матричная обработка шаблона, создание структур НС. Созданы структуры 5-ти нейронных сетей, представлены результаты работы лучшей из структур.

В работе использованы такие программные продукты, как Matlab R2012b, Sony Vegas Pro 13.0.

Так как работа в иссследовании преимущественно идёт с изображениями, суть методологии более подробно проиллюстрирована в полном варианте НИР и презентации, прикреплённых к заявке.

Выбор контурного метода.

Исследованы контурные методы (операторы Прюитт, Собеля, Робертса), описаны их математические модели. Наилучший результат выделения контура из проанализированных методов даёт оператор Прюитт. Эксперименты  -  в полном варианте НИР и презентации.

Разработка нейронной сети.

Опишем структуру нейронной сети, дающей наиболее приемлемый результат распознавания. Количество нейронов входного слоя опрделяется размерностью кадра: N=240×320=76 800; скрытого M = 1000 (определено экспериментально); выходного L = 19 (т.к. обучающая выборка состояла из 19 образцов). Использованы: trainscg - функция обучения сети, которая модифицирует веса и смещения в соответствии с методом шкалированных связанных градиентов, и логарифмическая сигмоидная функция активации logsig. Ошибка обучения составила 10^-4, сеть обучилась за 200 итераций.

Эксперименты.

Для начала на вход НС был подан образец, входящий в обучающую выборку (разгадывание кроссворда, ракурс - сидя спиной к камере). НС справилась с этой несложной задачей, распознав образец со степенью соответствия 0.9755.

Затем на вход НС был подан тестовый образец. Следует отметить, что для обучения использовались видеоматериалы продолжительностью 5 секунд. Тестовый образец был «вырезан» из видеофайла, но во временном интервале, на котором не учили НС. НС дала результат, приписав этому образцу степень соответствия 0.4940, остальным образцам была дана степень соответствия гораздо меньшая (max=0,0227). Это можно считать адекватным результатом: НС распознает образцы, похожие на те, которым её обучили.

Третьим экспериментом стала подача на вход НС образца типичного поведения – ремонтная операция. Заметим, что НС не учили на образцах типичного поведения. Это объясняется тем, что нетипичных образцов гораздо меньше. В противном случае пришлось бы заносить в обучающую выборку образцы «завязал шнурки», «почесал ухо», «поправил одежду» и мн.др. Очевидно, что рост числа образцов пропорционален росту требуемой вычислительной мощности. Исходя из этого, выбор в пользу нетипичных образцов обоснован. Результатом эксперимента стало то, что НС не распознала образец, дав степень соответствия ничтожно малую (от 0,0003 до 0,1773), как и ожидалось по смыслу задачи.

Выводы

Проведённые с НС эксперименты по тестированию сети можно считать удовлетворительными, так как сеть справляется с тестовыми образцами, давая адекватные результаты.

Дальнейшее исследование связано с расширением обучающей выборки, предполагается помимо образцов с разного ракурса, снять образцы поведения объекта наблюдения в разных участках рабочей зоны и выявить, насколько это повлияет на результат распознавания. Также отдельным направлением является тестирование системы в режиме реального времени. Устранение или минимизация погрешностей контурного метода тоже является предметом дальнейшего исследования. 

1. Бардина Н.Ю. Организация и планирование производства. // Учебное пособие. Автономная некоммерческая организация международный институт «Инфо-Рутения». – Москва. – 2013. – 180 с.
2. Хрящёв Д. А. Об одном методе выделения контуров на цифровых изображениях// Вестник АГТУ. Сер.: Управление, вычислительная техника и информатика. – 2010. - №2.

In the project the problem of detection of non-productive working time is considered at plant, a new approach based on identifying NZRV contour method and apparatus operator Pruitt and neural networks. Described contour method, proposed architecture of the neural network , which gives adequate results.