Технология разработки распределённых систем анализа и фильтрации Интернет-трафика на основе методов обнаружения и применения знаний

1. Проведен анализ предметной области, включая как запатентованные методы и технологии, так и открытые экспериментальные и исследовательские решения и подходы. На основе результатов анализа сформулированы задачи и технические требования к эффективным системам анализа и фильтрации Интернет-трафика, а также формальные критерии оценки производительности. Сформулированы концепции построения интеллектуальной системы анализа и фильтрации Интернет-трафика, основанной на методах выявления и применения знаний, в частности, на методах интеллектуального анализа данных и машинного обучения. Специфицированы сценарии работы системы и сценарии взаимодействия с ней пользователя и администратора.
2. Спроектирована архитектура интеллектуальной системы анализа и фильтрации Интернет-трафика. Выделены основные компоненты системы (ядро, прокси-сервер, модуль принятия решений, классификатор, интерфейсные модули для взаимодействия с администратором), специфицированы их интерфейсы и требования к функциональности. Выбраны протоколы взаимодействия, стандарты и технологии реализации, реализованы макетные прототипы для оценки производительности. Спроектирована онтология представления данных предметной области и реализован прототип базы знаний. Проведены эксперименты по оценке скорости работы и производительности.
3. Разработано новое представление гипертекстовых данных, являющееся расширением традиционного векторного представления, состоящего из базовых текстовых признаков (лексемы, если есть поддержка стемминга для языка, или N-граммы для морфологически сложных языков), базовых нетекстовых признаков (идентификаторы классов гиперссылок) для учета ссылочной структуры и составных признаков (сгруппированных базовых), вычисляемых с помощью алгоритма поиска частых эпизодов в рамках отдельной языковой или структурной конструкции документа (предложение, высказывание, название, поле таблицы и т.д.). Для классификации гиперссылок предложен новый подход, основанный на использовании N-граммного классификатора, применяемого для анализа самой структуры гиперссылки, и не требующего загрузки содержимого документа, на который указывает гиперссылка (как реализовано в других существующих подходах). Проведено экспериментальное сравнение по точности и скорости формирования модели. В качестве базового алгоритма классификации для оценки точности был выбран алгоритм на основе k ближайших соседей.

Проведен анализ предметной области, включая как запатентованные методы и технологии, так и открытые экспериментальные и исследовательские решения и подходы. На основе результатов анализа сформулированы задачи и технические требования к эффективным системам анализа и фильтрации Интернет-трафика, а также формальные критерии оценки производительности. Сформулированы концепции построения интеллектуальной системы анализа и фильтрации Интернет-трафика, основанной на методах выявления и применения знаний, в частности, на методах интеллектуального анализа данных и машинного обучения. Специфицированы сценарии работы системы и сценарии взаимодействия с ней пользователя и администратора.
2. Спроектирована архитектура интеллектуальной системы анализа и фильтрации Интернет-трафика. Выделены основные компоненты системы (ядро, прокси-сервер, модуль принятия решений, классификатор, интерфейсные модули для взаимодействия с администратором), специфицированы их интерфейсы и требования к функциональности. Выбраны протоколы взаимодействия, стандарты и технологии реализации, реализованы макетные прототипы для оценки производительности. Спроектирована онтология представления данных предметной области и реализован прототип базы знаний. Проведены эксперименты по оценке скорости работы и производительности.
3. Разработано новое представление гипертекстовых данных, являющееся расширением традиционного векторного представления, состоящего из базовых текстовых признаков (лексемы, если есть поддержка стемминга для языка, или N-граммы для морфологически сложных языков), базовых нетекстовых признаков (идентификаторы классов гиперссылок) для учета ссылочной структуры и составных признаков (сгруппированных базовых), вычисляемых с помощью алгоритма поиска частых эпизодов в рамках отдельной языковой или структурной конструкции документа (предложение, высказывание, название, поле таблицы и т.д.). Для классификации гиперссылок предложен новый подход, основанный на использовании N-граммного классификатора, применяемого для анализа самой структуры гиперссылки, и не требующего загрузки содержимого документа, на который указывает гиперссылка (как реализовано в других существующих подходах). Проведено экспериментальное сравнение по точности и скорости формирования модели. В качестве базового алгоритма классификации для оценки точности был выбран алгоритм на основе k ближайших соседей

В результате выполнения работ на данном этапе разработан полнофункциональный прототип интеллектуальной системы выявления и применения знаний в области анализа и фильтрации Интернет-трафика, разработаны алгоритмы идентификации пользователей, доработан модуль принятия решений с учётом персональных политик фильтрации, разработан пользовательский и административный интерфейс к базе знаний системы фильтрации, разработана программа и методика проведения тестовых испытаний и оформлена программная документация на все модули системы. Поставленные на заданный отчетный период задачи выполнены полностью. Составлен промежуточный отчет.

1. Проведено обобщение результатов предыдущих этапов работ. Выполнена оценка полноты решения задач и эффективности полученных результатов. Показано, что разработанная система может быть использована для анализа входящего и исходящего Интернет-трафика, при этом эффективность работы системы соответствует современным характеристикам по качеству и скорости работы. Сформулированы технические требования для технического задания на ОКР по разработке Системы анализа и фильтрации Интернет-трафика на основе методов извлечения и применения знаний. Подготовлена диссертация на соискание учёной степени кандидата физико-математических наук по специальности 05.13.11 на тему «Исследование и разработка программных средств классификации многотемных гипертекстовых документов».
2. Разработан полнофункциональный прототип системы анализа и фильтрации Интернет-трафика на основе методов обнаружения и применения знаний. Разработанная экспериментальная система поддерживает следующую функциональность: задание набора тематик фильтрации; формирование обучающего набора многотемных гипертекстовых документов; обучение системы на заданном обучающем наборе; классификация гипертекстовых документов относительно заданного набора тематик; дообучение системы на новых документах в рамках заданного набора тематик; дообучение системы с добавлением новой тематики; удаление существующей тематики; добавление и удаление пользователей и групп пользователей; задание политик фильтрации для пользователей и групп пользователей; принятие решений для данного документа относительно заданной политики фильтрации; блокирование или разрешение доступа к документу в зависимости от принятого решения; фильтрация исходящего трафика пользователей с целью предотвращения утечек конфиденциальной информации. Система анализа и фильтрации Интернет-трафика зарегистрирована в реестре программ для ЭВМ (свидетельство о государственной регистрации № 2008614494).
3. Проведена опытная эксплуатация разработанного прототипа системы в локальной сети лаборатории технологий программирования факультета вычислительной математики и кибернетики МГУ им. М.В.Ломоносова в тестово-нагрузочном режиме. Срок опытной эксплуатации – один месяц; размер локальной сети – 18 машин. Выполнена оценка основных характеристик эффективности работы системы (качество фильтрации; скорость обучения, дообучения, классификации и принятия решений) на реальных потоках входящего и исходящего трафика пользователей локальной сети.