Автоматизированная система интерактивного контроля знаний «Аргус-М» (далее Система «Аргус-М») разрабатывается с 2006 года к.ф.-м.н., доцентом кафедры Прикладной информатики и программирования факультета Информационных технологий Института Государственного Управления, Права и Инновационных технологий М. А. Приходько.

Система «Аргус-М» функционирует в среде Интернет, реализована в виде клиент-серверного PHP-приложения. Функционирует на Apache-сервере и использует для хранения исходных данных, контрольно-методических материалов и результатов тестирования СУБД MySQL. При необходимости система может быть развернута на единственном компьютере и функционировать без доступа в Интернет, а также в локальной сети. Ознакомиться с работой системы можно, посетив сайт http://www.argusm.com

Основной информационной единицей Системы «Аргус-М» является вопрос. База вопросов имеет 4-уровневую иерархическую структуру (вопрос – тема – подраздел – раздел), поддерживающую объединение вопросов в темы, а также многофункциональные разделы более высоких уровней, что позволяет, в частности, проводить мультидисциплинарные аттестации. Поддерживается использование произвольного числа ответов на вопрос, в том числе правильных, а также ответа специального вида – «среди приведенных вариантов нет правильного» (в системе реализована обработка обоих случаев, когда вариант ответа может быть как правильным, так и неправильным).

Главным отличием Системы «Аргус-М» от существующих на сегодня аналогов является механизм формирования аттестационного задания и прохождения аттестации. Аттестационное задание – набор вопросов – формируется динамически и индивидуально для каждого аттестующегося в момент начала прохождения аттестации. Аттестационное задание формируется на основе набора правил, объединенных в «Схему аттестации». В общей сложности процесс формирования аттестационного задания и прохождения аттестации определяет более 30 параметров: описание области базы вопросов, из которой будет формироваться аттестационное задание; правила выбора вопросов; ограничения на число вопросов и состав вариантов ответов; временные и другие ограничения; правила навигации по аттестационному заданию и отображения хода аттестации; ограничения доступа. В ходе аттестации в аттестационное задание вносятся данные ответы, а также вся информация о ходе аттестации – пропуски вопросов, время просмотра вопросов, попытки изменения ответа и так далее. Такая схема формирования аттестационного задания позволяет:

• формировать различные аттестационные задания как в случае повторного прохождения аттестации, так и в случае групповой аттестации;
• использовать адаптивные методы для формирования аттестационного задания;
• контролировать результаты аттестации как конкретного участника, так и группы в целом, а также использовать аналитические механизмы в любой момент времени, в том числе в ходе аттестации.

Реализованные в Системе «Аргус-М» архитектурные решения исключают такое понятия как «проверка работ» – полная информация о результатах прохождения аттестации, в том числе отметка, доступны в любой момент времени с самого начала аттестации. Отметка за аттестацию выставляется автоматически на основании набора правил, объединенных в «Схему оценивания». Поддерживается оценивание по системе «зачет/незачет», а также с выставлением отметки по 5-бальной шкале. Выбор отметки может производиться на основе фиксированных пороговых значений, а также на основе пороговых значений, выраженных в процентах от максимально возможного результата. Поддерживается оценивание с учетом лучшего показанного в аттестации результата, фиксированного лучшего результата, а также на основе лучшего результата, показанного в другой аттестации.

Все действия пользователя в Системе «Аргус-М» полностью протоколируются встроенной системой обеспечения безопасности. Это позволяет выявлять недобросовестные действия участников аттестации, а также обнаруживать, протоколировать и блокировать возможные атаки извне всех основных типов (sql-инъекция, php-инъекция, межсайтовый скриптинг).

Аналитическая подсистема позволяет всесторонне анализировать результаты участников аттестации, в том числе производить:

• анализ сложности заданных вопросов и сложности тем (в абсолютном и процентном соотношении правильных и неправильных ответов);
• статистический анализ ответов на вопросы (выявление наиболее частых ошибок) для конкретной аттестации и среди всех аттестаций в целом;
• анализ времени, затраченного на аттестацию в целом и каждый из вопросов в среднем;
• анализ цепочек одинаковых ответов, данных в течение короткого промежутка времени, и выявление групп участников, участвующих в одной или более цепочках.

Система «Аргус-М» отвечает требованиям, предъявляемым к автоматизированным системам интерактивного контроля знаний, используемым в традиционных учебных заведениях. В Системе «Аргус-М» реализованы автоматизированные средства контроля над временными ограничениями как по моменту начала и завершения аттестации, так и по ее длительности, механизмы онлайн-мониторинга, предоставляющие полную информацию о прохождении аттестации как отдельным участником, так и группой в целом не только после завершения аттестации, но и в любой текущий момент, средства управления ходом аттестации, в том числе:

• аннулирование предыдущих результатов аттестации, которое в данном случае равносильно уменьшению числа использованных попыток на единицу;
• возможность предоставления дополнительных попыток по запросу пользователя.

Среди дополнительных функций, необходимость в наличии которых показала опытная эксплуатация, в Системе «Аргус-М» реализованы:

• промежуточный этап дополнительной идентификации пользователя, когда ему перед непосредственным прохождением аттестации предлагается еще раз подтвердить (без дополнительного ввода имени пользователя и пароля или любой другой информации) корректность его аутентификации системой;
• механизм принудительной активации учетной записи администратором или организатором аттестации (по запросу пользователя).

Проблема «коллективного знания» (обмена вариантами ответов между студентами) решена двумя способами:

• формированием аттестационного задания так, чтобы состав вопросов отличался от участника к участнику;
• формированием аттестационного задания так, чтобы состав вариантов ответов на один и тот же вопрос отличался от участника к участнику.

Защита от различных способов заведомого улучшения результатов аттестации реализована введением интеллектуального механизма разграничения прав на просмотр информации об аттестации и ее результатах.

За время своего существования Система «Аргус-М» использовалась для официальных аттестаций в Институте Государственного Управления, Права и Инновационных технологий (ИГУПИТ) и Московской Финансово-Промышленной Академии. В общей сложности было проведено более 20 аттестаций по дисциплинам «Базы данных», «Проектирование информационных систем», «Высокоуровневые методы программирования», «Открытые системы».

Многолетний опыт применения Системы «Аргус-М» доказал эффективность ее использования в условиях ВУЗа, следствием которого в том числе стало повышение интереса студентов к учебе.

Библиография

1. Веретенников М. В. Автоматизация проверки знаний и навыков студентов в области прикладной математики и информатики // Диссертация кандидата технических наук. 2004. С. 59-61.

Архитектура Системы «Аргус-М»