Регистрация / Вход
Прислать материал

Разработка методологии автоматизированного контроля знаний, умений и навыков на базе когнитивных карт (mind map) и технологий интеллектуального анализа данных о поведении учащегося в информационно-образовательной среде

Номер контракта: 14.579.21.0073

Руководитель: Крупа Татьяна Викторовна

Должность руководителя: президент

Докладчик: Лебедев Арсений Александрович, директор

Аннотация скачать
Постер скачать
Ключевые слова:
образование, контроль знаний, оценка навыков, когнитивные карты, искусственный интеллект, интеллектуальный анализ данных, когнема, ассоциативный эксперимент

Цель проекта:
Целью проекта является разработка методов и алгоритмов, обеспечивающих оценку метапредметных и метакогнитивных знаний, навыков и умений на основе применения методов искусственного интеллекта и когнитивных карт учащихся. Достижение указанной цели может иметь высокую социальную значимость в рамках развития информационного общества за счет смещения акцентов в обучении. Вместо приобретения исключительно конкретных предметных знаний и компетенций, которые быстро устаревают из-за стремительного развития технологий, учащиеся будут дополнительно, в особых случаях – приоритетно, развивать метапредметные и метакогнитивные навыки. Широкое внедрение соответствующих технологий может в среднесрочной перспективе оказать также важный социально-экономический эффект, способствую росту квалификации и быстрой обучаемости персонала предприятий. В научно-технической сфере проект будет способствовать активизации разработок в области перспективных информационно-когнитивных технологий и интеллектуальной обработки информации.

Основные планируемые результаты проекта:
По итогам выполнения этапов проекта и решения соответствующих задач планируется получение следующих результатов:
1. Отчет по результатам сравнительного анализа методов оценки и контроля знаний, в том числе на базе когнитивных карт (mind map), образовательных техник для оценки навыков и умений, в том числе с помощью информационных технологий.
2. Отчет по результатам теоретических исследований в области создания методов и алгоритмов, позволяющих осуществлять автоматизированную количественную оценку метапредметных и метакогнитивных умений и навыков на основе анализа моделей поведения пользователей в различных обучающих средах.
3. Исследовательская база данных, включающая данные ассоциативных и когнитивных экспериментов, необходимых для разработки новых методов.
4. Типология и карты метапредметных и метакогнитивных умений и навыков с точки зрения подходов к их автоматизированной количественной оценке.
5. Отчет о результатах сопоставления данных и структур исследовательской базы с выделенными типами метакогнитивных и метапредметных навыков.
6. Типология моделей поведения, направленных на совершенствование как отдельных типов навыков и умений, так и целых их комплексов..
7. Методика сбора данных, использующихся при моделировании поведения в различных пользовательских средах (социальных сетях, MOOC-окружении, LMS, ЭОР и т.п.).
8. Отчет о результатах оценки эффективности новых методов, выработке технических принципов и методических подходов к организации и развертыванию разрабатываемых решений в различных средах.
9. Экспериментальный образец программного комплекса для демонстрации разработанных методов оценки знаний, умений и навыков.
10. Проект технического задания на проведение ОКР по теме, связанной с внедрением разработок на практике.
11. Патентная заявка по результатам проведенных исследований и разработок.
12. План по коммерциализации полученных результатов, технические требования и предложения по разработке, производству и эксплуатации продукции для выбранной предметной области.
13. Шесть статей в научных журналах, индексируемых в международных базах данных Scopus, Web of Science и др., и не менее 10 публикаций в других изданиях.

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
В современном мире научно-технический прогресс и формирование информационного общества создают ситуацию, когда потребность в обучении и самообучении поддерживается на протяжении всей жизни человека. Рассматривая процесс обучения как процесс управления сложной системой, необходимо отметить, что важнейшим компонентом обучения является механизм обратной связи, роль которого играет контроль знаний.
Мышление, память, когнитивные процессы человека доступны для непосредственного восприятия только ему самому, а для других людей всегда остаются «черным ящиком». Поэтому судить о знаниях человека, содержании его памяти, способах мышления можно только по внешним проявлениям этих характеристик в поведении человека.
Актуальность ПНИ обусловлена необходимостью создания новых информационных технологий, предназначенных для интеллектуализации автоматизированных систем контроля знаний. Идея использования искусственного интеллекта в компьютерных средствах поддержки процессов обучения не является новой ‑ первые интеллектуальные системы такого типа появились в 70-х годах XX века. К настоящему времени эта идея уже доказала свою эффективность, и с развитием области искусственного интеллекта постоянно развивается и область интеллектуализации таких компьютерных систем.
Большой вклад в развитие методов формирования оценки знаний, относящихся, прежде всего, к теории педагогических измерений (теории моделирования и параметризации педагогических тестов) внесли В.С. Аванесов, А.Н. Майоров, А.О. Шмелев, А.О. Татур, Ю.М. Нейман, М.Б. Челышкова, Г. Раш, А. Бирнбаум и другие ученые. Статистическая теория обучения и контроля знаний была развита в фундаментальных работах профессора А.П. Свиридова. Методы создания интеллектуальных систем обучения и контроля знаний исследовали многие отечественные и зарубежные ученые: Л.А. Растригин, В.Л. Стефанюк, Т.А. Гаврилова, И.Д. Рудинский, В.И. Васильев, С.В. Астанин, В.М. Курейчик, Д.И. Попов, А.И. Башмаков, И.А. Башмаков, В.А. Петрушин, Т.А. Таран, Д.О. Жуков, Дж. Карбонелл, П. Брусиловский и другие. В разработку методов создания систем, основанных на знаниях, большой вклад внесли Г.С. Поспелов, Д.А. Поспелов, Г.С. Осипов, Э.В. Попов, В.К. Финн, В.Ф. Хорошевский, В.Н. Вагин, А.П. Еремеев, А.С. Нариньяни и другие.
Несмотря на большое количество работ в области построения систем контроля знаний и значительное разнообразие предлагаемых подходов, можно выделить две базовые парадигмы построения таких систем, которые условно можно назвать «парадигма оценки знаний» и «парадигма выявления и анализа знаний». В рамках первой парадигмы основной целью контроля знаний является формирование некоторой меры (рейтинга, ранга), характеризующей знания пользователя системы. Такой подход как правило не дает возможности глубоко оценить структуру и полноту знаний, выделить надпредметные компетенции, оценить когнитивные процессы и навыки.
Вторая парадигма подразумевает, что целью оценки является построение «полноценной», структурной модели данных или знаний. Тогда, фактически, модель отражает знания учащегося и может быть соотнесена с «эталонным», целевым вариантом. Однако для автоматизированного выявления навыков и умений такой модели недостаточно, т.к. необходимо дополнительно оценивать динамику и характер ее построения, особенности ее функционирования в сознании учащегося. Построение универсальных инструментов выявления и контроля усвоения конкретных предметных и когнитивных умений (навыков) является труднодостижимой задачей из-за многообразия существующих умений и особенностей предметных областей.
Вместе с тем метапредметные и метакогнитивные умения (навыки) носят более универсальный характер, и при определенных условиях (с использованием специальных образовательных техник) могут детектироваться на основе поведенческих индикаторов.
В рамках ПНИ предлагается оригинальный подход для создания методологии автоматизированного контроля знаний, умений и навыков на базе когнитивных карт (mind map) и технологий интеллектуального анализа данных о поведении учащегося в информационно-образовательной среде.
Для построения когнитивных карт предлагается использовать наработки в области изучения мыслительных процессов учащихся на базе ассоциативно-вербальных моделей, которые часто называют интеллект-картами (Mind Map). Данные технологии уже нашли широкое применение в сфере обучения иностранному языку и развитию системного (целостного) понимания учебных дисциплин. Однако для контроля знаний соответствующие методики пока мало используются, т.к. для их автоматизации требуется применение сложных интеллектуальных технологий, таких как нечеткая логика, адаптивное обучение, семантический анализ и т.д. Кроме того, для обоснованного составления интеллект-карт учащихся требуется формирование существенной экспериментальной базы.
Участники ПНИ в течение многих лет проводят массовые ассоциативные эксперименты и накопили значительный объем информации для составления эталонных или усредненных когнитивных карт по различным предметным областям. Это создает основу для практической реализации предлагаемых технологий оценки знаний.
Для оценки метапредметных и метакогнитивных умений и навыков предлагается развить и автоматизировать специализированные логико-лингвистические игровые техники и ситуационные тесты, которые широко используются в образовании и сертификации специалистов. Теоретической основой для этих разработок служит теория Ю.Н. Караулова о когнемной структуре мышления человека, которая подтверждается результатами массового когнемного эксперимента для различных языков и культур, опытом ее прикладного применения для обучения.
В ходе предварительных исследований коллектива ПНИ экспериментально выявлены элементарные когнитивные структуры, которые использует учащийся для поиска решения в учебной задаче с помощью указанных типов техник и тестов. На базе методов интеллектуального анализа данных они могут быть сопоставлены с типовым перечнем метакогнитивных и метапредметных навыков, выделяемым в педагогике и андрагогике.
Наличие объемных исследовательских баз по массовым ассоциативным и когнитивным экспериментам, а также проведенные теоретические и практические разработки позволяют сделать новый шаг в развитии автоматизированных систем контроля знаний, умений и навыков – создать оригинальные образовательные ифнокогнитивные технологии, не имеющие прямых аналогов за рубежом.

Назначение и область применения, эффекты от внедрения результатов проекта:
Основной областью применения ожидаемых результатов проекта является сфера электронного обучения (e-learning), где разработанные методы и решения могут широко использоваться для создания новых сервисов и технологий оценки знаний, умений и навыков.
Прикладной областью применения являются проекты проведения распределенных научных исследований в рамках сетевых проектов студентов и школьников. В рамках этих проектов предлагается повысить эффективность обучения и контроля метапредметных и метакогнитивных умений и навыков на основе анализа моделей поведения пользователей и разработанных методов.
Результаты проекта при их широком внедрении могут оказать значимый социальный эффект в рамках развития технологий обучения, позволяя учащимся более активно развивать метапредметные и метакогнитивные умения и навыки. Широкое внедрение соответствующих технологий может в среднесрочной перспективе оказать важный социально-экономический эффект, способствуя развитию надпреметных компетенций учащихся, и их способностей к обучению, что остро необходимо для высококвалифицированных работников промышленности и сферы услуг.
Научные результаты проекта внесут значимый вклад в развитие электронной педагогики и методов искусственного интеллекта. Они будут способствовать активизации разработок в области инфокогнитивных технологий, изучению и созданию программного обеспечения для Интернет на русском языке.
Программные продукты, созданные на базе предлагаемых методов, будут иметь высокую степень конкурентоспособности, т.к. основаны на оригинальных подходах в области когнитивного моделирования образовательных моделей учащихся. Разработки в этих направлениях не имеют в настоящее время прямых аналогов, поэтому с высокой долей вероятности могут быть успешно запатентованы как в России, так и за рубежом.

Текущие результаты проекта:
1) Проведены теоретические исследования в области создания методов и алгоритмов, позволяющих осуществлять автоматизированную количественную оценку метапредметных и метакогнитивных умений и навыков на основе анализа моделей поведения пользователей в различных обучающих средах.
2) Разработаны математические модели автоматизированной количественной оценки метапредметных и метакогнитивных умений и навыков на основе анализа моделей поведения пользователей в различных обучающих средах, в составе:
а) Математическая модель типологии метапредметных и метакогнитивных умений и навыков с точки зрения подходов к их автоматизированной количественной оценки.
б) Математическая модель карты метапредметных и метакогнитивных умений и навыков, раскрывающая различные отношения между ними и образуемые ими устойчивые комплексы.
в) Математическая модель типологии паттернов поведения, направленных на совершенствование как отдельных типов умений и навыков, так и целых их комплексов.
г) Математическая модель исследовательской базы данных, которая включает данные предметных ассоциативных и когнитивных экспериментов, необходимые для разработки новых методов.