Регистрация / Вход
Прислать материал

Разработка технологии автономного управления наземной сельскохозяйственной техникой на базе технологий компьютерного зрения

Номер контракта: 14.579.21.0122

Руководитель: Панченко Алексей Владимирович

Должность: главный конструктор

Аннотация скачать
Постер скачать
Ключевые слова:
авторобот, беспилотное вождение, стереоскопическое зрение, распознавание образов, автоматическая классификация, кластер-анализ, компьютерное зрение, калмановская фильтрация, многокритериальная оптимизация

Цель проекта:
1. Разработка технологии автономного управления наземной сельскохозяйственной техникой на базе технологий компьютерного зрения, которая будет реализована посредством программно-аппаратного комплекса автоматического управления траекторией и скоростью движения комбайна на базе компьютерного зрения; 2. Разработка и изготовление экспериментального образца программно-аппаратного комплекса (ЭО ПАК) автоматического управления траекторией и скоростью движения комбайна, реализующего технологию автономного управления наземной сельскохозяйственной техникой на базе компьютерного зрения, в интересах повышения эффективности уборки зерновых культур в агрокомплексе РФ.

Основные планируемые результаты проекта:
1. ЭО ПАК должен включать следующие программные компоненты:
- обнаружения и отслеживания границ между убранной и неубранной частями поля (кромки поля) вдоль траектории движения;
- обнаружения динамических и статических объектов;
- мониторинга и прогноза положения обнаруженных динамических объектов;
- обнаружения неровностей и повреждений рельефа;
- анализа сцены уборки и прокладывания оптимальной траектории движения;
- управления скоростным режимом;
- определения и прогноза опасных ситуаций с учетом возможной остановки;
- интеграции со вспомогательными сенсорами.

2. ЭО ПАК должен обеспечивать:
а) быстрое обнаружение границы между убранными и неубранными частями поля (время обработки изображения с разрешением 1920х1080 пикселей - не более 0,7 сек).
б) возврат информации о границе между убранными и неубранными частями поля вдоль траектории движения комбайна в светлое время суток;
в) обнаружение находящихся на траектории движения динамических и статических объектов в светлое время суток;
г) обнаружение динамических и статических объектов независимо от их ракурса и при частичном заслонении (площадь заслонения не более 10%);
д) обнаружение динамических объектов, включая сельскохозяйственную технику, людей, животных (с видимыми размерами по высоте не менее 1 м и по ширине не менее 0,5 мет-ров) с качеством не менее 90% на расстоянии не менее 7 метров;
е) обнаружение статических объектов, включая столбы и линии ЛЭП, валки, рядки, деревья, кустарники, строения c качеством не менее 90% (с видимыми размерами по высоте не менее 1 м и по ширине не менее 0,5 метров) на расстоянии не менее 7 метров;
ж) быстрое детектирование объектов (время обработки изображения с разрешением 1920х1080 пикселей - не более 0,7 сек). Время работы не должно зависеть от количества одновременно обнаруживаемых объектов (при общем их количестве не более 20 объектов).
з) межкадровый трекинг обнаруженных объектов;
и) уточнение параметров траектории (для динамических объектов) или местоположения (для статических объектов) методом калмановской фильтрации;
к) экстраполяцию траекторий обнаруженных динамических единиц сельскохозяйственной техники;
л) возможность одновременного сопровождения до 20 динамических и статических объектов, не менее;
м) прогноз траектории пространственно близких по отношению к комбайну динамических объектов не менее, чем на 0,5 сек вперед, на основе данных траекторий их предшествующего движения.
н) обнаружение, классификацию и оценку геометрических характеристик следующих типов неровностей и повреждений рельефа: вспучивания, колея, ямы, лужи (с видимыми размерами по ширине и длине не менее 1 м);
о) быстрое обнаружение, классификацию и оценку геометрических характеристик (время обработки изображения с разрешением 1920х1080 пикселей - не более 0,7 сек);
п) дальность детектирования - 7 м, не менее.
р) анализ совокупности обнаруженных объектов, включающий прогноз пересечения их траекторий (для динамических) и местоположений (для статических) с траекторией управляемого комбайна;
с) интерпретацию данных, полученных от вспомогательных сенсоров;
т) управление траекторией движения управляемого комбайна с безусловным приоритетом безопасности движения по заданным требованиям к режимам работы;
у) управление скоростным режимом с безусловным приоритетом безопасности движения по заданным критериям;
ф) прогноз возможного столкновения с динамическими и статическими объектами;
х) прогноз аварийных ситуаций не связанных со столкновениями (опрокидывание, пробуксовка или повреждение) на основе обнаруженных неровностей и повреждений рельефа;
ц) возможность приема, интерпретации и использования информации, полученной от датчиков (глобального позиционирования, определения положения, скорости и геометрических параметров окружающих объектов, реконструкции трехмерной карты рельефа, фиксирования колебаний).

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
1. Целью данной ПНИЭР является создание передовых технологий автоматизации уборочного процесса в агрокомплексе РФ с использованием последних достижений в области компьютерного зрения, распознавания образов и оптимального управления.
Технология автономного управления наземной сельскохозяйственной техникой «Комбайн - авторобот» на базе технологий стереоскопического компьютерного зрения и анализа сцены уборки предназначены для создания принципиально новых отечественных комбайнов нового поколения в интересах повышения эффективности уборки зерновых культур в агрокомплексе РФ.
2. Признаками новизны предлагаемых ПНИЭР являются:
- разработка и применение аппарата исследования, инструментов и новых методов компьютерного зрения для реализации беспилотного движения комбайна;
- возможность реализации РИД, готовых к правовой охране.
3. В процессе выполнения ПНИЭР предстоит решить ряд сложных научно-технических задач, направленных как на реализацию базового алгоритма автопилота, так и на повышение безопасности уборки и взаимодействия комбайна с другими субъектами уборочного процесса.
Основными задачи программно-аппаратного комплекса являются:
- Обнаружение и отслеживание границ между убранной и неубранной частями поля (кромки поля) вдоль трассы движения. Данная задача является основополагающей при построении траектории комбайна, поскольку методы уборки основаны на движении вдоль этой кромки. Для решения этой задачи предполагается использовать методы компьютерного зрения: стереоскопическое восстановление карты высот вдоль маршрута, поиск линейных границ между скошенной и нескошенной зонами, а также сопоставление текстурных признаков в зонах. Дополнительно предполагается изучить возможность использования лазерных датчиков для детекции вышеописанных границ, а также сочетания методов, основанных на стереозрения и на лазерных датчиках.
- Обнаружение динамических (транспортные средства, пешеходы, крупный рогатый скот) и статических (столбы ЛЭП, валки, деревья и кустарники, строения) объектов в зоне уборки. Данная задача призвана обеспечить безопасное движение путем своевременного обнаружения всех объектов на уборочной сцене и выявление тех из них, которые могут стать препятствием на маршруте комбайна. Возможно использование разных техник для детектирования и классификации обнаруживаемых объектов, в т.ч. метода Виолы-Джонса, оператора Канни, классификаторов на основе нейросетевого программирования и SVM (Support Vector Machine) алгоритма.
- Мониторинг и прогноз положения обнаруженных динамических объектов. Для своевременного предотвращения столкновений с препятствиями (в особенности с двигающимися) необходимо максимально точно оценивать их текущие координаты, траекторию и динамические характеристики. Помимо того, критически важно обеспечить точный прогноз их перемещения на интервал времени, достаточный для адекватной реакции контура управления движения данным комбайном. Для этого предполагается разработать подсистему сопровождения обнаруживаемых объектов, основанную на Калмановской фильтрации;
- Обнаружение неровностей и повреждений рельефа вдоль маршрута следования. В целях предохранения механизмов комбайна от повреждений, опрокидывания или застревания комбайна необходимо проводить мониторинг состояния покрытия поля вдоль направления движения комбайна. Для решения данной задачи можно использовать методы, основанные на воссоздании карты высот, анализе текстурных характеристик, и кластерном анализе в смешанном цветово-геометрическом пространстве.
- Центральной задачей автопилота является анализ сцены уборки и прокладывание оптимальной траектории собственного движения с учетом анализа факторов сцены в зоне уборки. Анализ сцены уборки предполагает совместный анализ трасс всех сопровождаемых объектов с учетом их экстраполированных позиций на предмет выработки собственной траектории и скорости движения для избежания столкновений с любым из обнаруженных объектов. Помимо того, при выработки оптимальной траектории используются такие факторы как минимизации отклонения курса от кромки поля и ограничения, налагаемые обнаруженными препятствиями и повреждениями рельефа, а также заданный режим и стадия уборочного процесса (одиночная или бригадная уборка, критерии безопасности движения и эффективности процесса уборки. Данная задача может быть решена методами мультикритериальной оптимизации.
- Оптимальное управление скоростным режимом по совокупности критериев безопасности и экономической эффективности процесса уборки. В зависимости от наличия зерноуборочной техники в зоне уборки (бригадный режим) выбирается скоростной режим, обеспечивающий более простое управление не только собственным комбайном, но и другими комбайнами бригады.
- Определение и прогноз опасных ситуаций. При анализе уборочной сцены может возникнуть ситуация необходимости экстренной остановки в целях обеспечения безопасности. В контур управления будет добавлен режим безопасной экстренной остановки, сопровождающийся остановкой основных зерноуборочных механизмов и подачей световых и звуковых сигналов для информирования участников уборочной сцены.

Назначение и область применения, эффекты от внедрения результатов проекта:
Разрабатываемый комплекс предназначен для штатной установки в комбайне нового поколения с полностью автоматизированными системами управления. Индустриальный партнер - Комбайновый завод Ростсельмаш.

Внедрение в серийное производство комбайнов нового поколения (а впоследствии и прочей уборочной техники) позволит сократить временные издержки при выборе схем уборки во время страды, сэкономить горючее, сократить общее время уборки и гибко адаптироваться к текущим полевым и погодным условиям.

Ускорение процесса уборки позволит максимально сохранить выращенный урожай и убрать его при оптимальных погодных условиях. Также результатом будет являться улучшение качества выходной продукции. Ожидаемым результатом будет повышение уровня безопасности уборочных работ во время страды.

Результаты ПНИЭР могут применяться в широком спектре сельскохозяйственных работ в агрокомплексе на всей территории РФ как полноценная зерноуборочная машина, выполняющая последовательно непрерывным потоком и одновременно: самостоятельное беспилотное перемещение по периметру сельскохозяйственной территории (поле) и самостоятельное ориентирование на этой территории. Все действия комплекса принципиально происходят без задействования человеческих ресурсов, что исключает необходимость работы комбайнера и его ассистентов. Кроме того, комплекс, разработанный в ходе ПНИЭР, может использоваться в сельскохозяйственной сфере для полива урожая и удобрения сельскохозяйственных полей, для обработки полей инсектицидными средствами.

Текущие результаты проекта:
План работ на 2015 год включает получение следующих результатов:

1. Промежуточный отчет о ПНИЭР.
2. Отчет о патентных исследованиях.