Методика автоматизированного контроля знаний студентов по дисциплине «Теория вычислительных процессов»

Аннотация

Д.Б. Кузнецов, И.С. Полевщиков, В.Н. Лясин

Дата поступления статьи: 14.12.2013

Статья посвящена организации контроля знаний по дисциплине «Теория вычислительных процессов» в виде автоматизированного тестирования. Описана предложенная методика организации автоматизированного контроля знаний в рамках данной дисциплины. Описаны подходы к созданию структуры комплектов тестовых заданий, к выбору наиболее приемлемых форм тестовых заданий. Обосновано применение тестовых заданий закрытой и открытой форм. Для проведения тестирования была выбрана бесплатная программа MyTestX. Приведены особенности работы данной программы. Приведены примеры тестовых заданий закрытой и открытой форм.

Ключевые слова: теория вычислительных процессов, профессиональное обучение, автоматизированный контроль знаний, тестирование, тестовое задание

05.13.01 - Системный анализ, управление и обработка информации (по отраслям)

13.00.08 - Теория и методика профессионального образования

Одной из дисциплин, изучаемой студентами направления «Программная инженерия», является «Теория вычислительных процессов». Данная дисциплина предполагает главным образом изучение способов построения графовых моделей вычислительных процессов, сетей Петри, схем программ и т.д.
Актуальной является задача, связанная с поиском подходов, обеспечивающих качественный контроль знаний студентов технического вуза в рамках освоения обучаемыми профессиональных компетенций (на примере конкретной дисциплины).
Была поставлена цель организовать контроль знаний по дисциплине «Теория вычислительных процессов» в виде автоматизированного тестирования. Для достижения цели были выдвинуты следующие задачи:
1) Разработать принципы организации тестирования по данной дисциплине в целом.
2) Создать структуру каждого из комплектов тестовых заданий.
3) Выбрать наиболее приемлемые для оценки знаний по данной дисциплине формы тестовых заданий.
4) Разработать комплекты тестовых заданий. 
Как известно, тестирование обладает рядом преимуществ по сравнению с другими формами контроля знаний обучаемых [1, 2, 4], например, объективностью. Данные преимущества наилучшим образом проявляются при автоматизации процесса тестирования.  
На кафедре ИТАС ПНИПУ был издан ряд работ в области автоматизации профессионального обучения [2, 3, 5-9], в т.ч. посвященных автоматизированному контролю знаний в профессиональном обучении. В первую очередь, это работы в области тестирования знаний будущих операторов перегрузочных машин [7, 8]. Также стоит отметить работы в области тестирования знаний студентов вузов [2, 9]. Данный опыт был учтен и при разработке подхода к организации процесса тестирования по дисциплине «Теория вычислительных процессов».
Было принято решение проводить тестирование по дисциплине «Теория вычислительных процессов» три раза в семестр на практических занятиях:
1) 1-й тест по теме «Графовые модели вычислительных процессов. Взаимодействующие последовательные процессы»;
2) 2-й тест по теме «Сети Петри»;
3) 3-й тест по теме «Схемы программ».
Предлагаемая новая методика процесса организации тестирования по данной дисциплине включает в себя следующие шаги:
1) Изначально были созданы 3 комплекта тестовых заданий, соответствующие каждой из перечисленных выше тем. В каждом комплекте все тестовые задания разбиты по подтемам. Каждая подтема включает определенное количество тестовых заданий.
2) В процессе проведения тестирования из комплекта тестовых заданий для каждого студента случайным образом формируется индивидуальный вариант теста, обязательно включающий в себя как минимум одно задание из каждой подтемы, входящей в данный комплект.
3) Обучаемому в ходе выполнения теста задания предоставляются в случайном порядке. Время на выполнение теста ограничено в зависимости от количества заданий.
4) По окончании тестирования выставляется оценка в зависимости от процента правильно решенных заданий () по следующей шкале [1]:
а) оценка «отлично» – ;
б) оценка «хорошо» – ;
в) оценка «удовлетворительно» – ;
г) оценка «неудовлетворительно» – .
Рассмотрим пример структуры комплекта тестовых заданий. Комплект заданий по теме «Графовые модели вычислительных процессов. Взаимодействующие последовательные процессы» включает в себя следующие подтемы:
1) «Алгебра вычислительных процессов (I)»;
2) «Алгебра вычислительных процессов (II)»;
3) «Алгебра вычислительных процессов (III)»;
4) «Классификационный граф. Основные понятия»;
5) «Классификационный граф. Задания по рисункам (I)»;
6) «Классификационный граф. Задания по рисункам (II)»;
7) «Ролевый граф»;
и т.д.
Как видно из примера, некоторые подтемы имеют одинаковые названия, но разную нумерацию римскими цифрами. Это сделано для того, чтобы максимально проверить знания студентов по различным аспектам одного и того же раздела дисциплины (например, раздела «Алгебра вычислительных процессов»). 
Подробнее рассмотрим особенности выбранных форм тестовых заданий для контроля знаний студентов по дисциплине «Теория вычислительных процессов», а также примеры заданий для каждой из форм.
Задания закрытой формы, в которых студенты выбирают правильные ответы из данного набора готовых вариантов ответа к тексту задания. Как правило, необходимо выбрать один правильный ответ из четырех предложенных. Следует отметить, что преимущества заданий закрытой формы связаны с быстротой тестирования, с простотой подсчета итоговых баллов обучаемых. Такая форма тестовых заданий наиболее близка к ежедневно решаемой человеком проблеме выбора [10].
Рассмотрим примеры заданий закрытой формы по дисциплине «Теория вычислительных процессов».
Пример задания закрытой формы №1.
Вопрос:
Имеются процессы  и , алфавиты которых равны.
Пусть ,
.
Тогда
Выберите один из 4 вариантов ответа:
1)
2)
3)
4)
Пример задания закрытой формы №2.
Вопрос:
Цепочкой схемы, изображенной на рис. 1, является …

Рис. 1. - Схема программы

Выберите один из 4 вариантов ответа:
1) (0, 1, 21, 5, 61, 7)
2) (0, 1, 21, 5, 60)
3) (0, 1, 20, 5, 61, 7)
4) (0, 1, 20, 5, 60)
Пример задания закрытой формы №3.
Вопрос:
Если ,  вычислительные процессы, то  также вычислительный процесс, который определяется ...
Выберите один из 4 вариантов ответа:
1) как исполнение только процесса
2) как альтернативное исполнение либо процесса   либо процесса
3) как последовательное исполнение сначала процесса , затем процесса
4) как последовательное исполнение сначала процесса , затем процесса
Задания открытой формы требуют от обучаемого самостоятельно сформулировать ответ. Варианты ответа в таких заданиях не предусмотрены. Недостатком заданий открытой формы является их нетехнологичность, затрудняющая компьютерную обработку. Однако данный недостаток таких заданий преодолевается за счет того, что по дисциплине «Теория вычислительных процессов» используются только задачи, в которых ответом является какое-либо число. Тем самым исключается неоднозначность и облегчается компьютерная обработка.
Рассмотрим примеры заданий открытой формы по дисциплине «Теория вычислительных процессов».
Пример задания открытой формы №1.
Вопрос:
На рис. 2 изображена сеть Петри. Количество маркеров в позиции  равно ...

Рис. 2. - Сеть Петри

Запишите число:
___________________________
Пример задания открытой формы №2.
Вопрос:
Известны две маркировки некоторой строго сохраняющей сети Петри:  и . Количество маркеров в позиции  при маркировке , обозначенное как , равно ...
Запишите число:
___________________________
Для проведения тестирования была выбрана бесплатная программа MyTestX [11]. Данная программа удовлетворяет всем перечисленным выше требованиям по организации тестирования. На рис. 3 продемонстрирован пример выполнения в данной программе студентом некоторого тестового задания.

Рис. 3. - Выполнение обучаемым тестового задания

На рис. 4 показан пример результата выполнения теста некоторым студентом.

Рис. 4. - Результат выполнения теста обучаемым

Таким образом, была достигнута поставленная изначально цель - организован контроль знаний по дисциплине «Теория вычислительных процессов» в виде автоматизированного тестирования.
Решены все выдвинутые задачи (с получением новых научных и практических результатов):
1) Представлена последовательность шагов новой разработанной методики организации тестирования (на примере дисциплины «Теория вычислительных процессов»), причем преимущество данной методики заключается в том, что она может быть использована для повышения эффективности контроля знаний обучаемых по целому ряду технических дисциплин.
2) Создана и обоснована структура каждого из трех комплектов тестовых заданий.
3) Обоснованно выбраны наиболее приемлемые для оценки знаний по данной дисциплине формы тестовых заданий. В качестве форм были выбраны задания закрытого типа, а также задания открытого типа, ответом на которые является какое-либо число.
4) Разработаны комплекты тестовых заданий. 
Дальнейшая работа по данной теме будет посвящена совершенствованию созданных заданий, разработке новых заданий и оформлению комплекта тестовых вопросов в соответствии с требованиями ФГБОУ ВПО «Пермский национальный исследовательский политехнический университет». 

Литература:

1. Профессиональная педагогика: Учебник для студентов, обучающихся по педагогическим специальностям и направлениям. Под ред. С.Я. Батышева, А.М. Новикова. Издание 3-е, переработанное. М.: ЭГВЕС, 2009. – 456 с.
2. Ноткин, А.М. Модель автоматизированной системы тестирования // Вестник ПГТУ. Электротехника, информационные технологии, системы управления. – 2007. – № 9(1). – С. 41-48.
3. R. A. Fayzrakhmanov, I. S. Polevshchikov. Increased of Efficiency in the Automated Training of Fuelling Machine Operators Using Iterative Simulation Learning [Электронный ресурс] // World Applied Sciences Journal 22 (Special Issue on Techniques and Technologies): 70-75, 2013 - Режим доступа: http://www.idosi.org/wasj/wasj22(tt)13/12.pdf (Доступ свободный) - Загл. с экрана. - Яз.англ.
4. Tshibalo, A. E. (2007). The potential impact of computer-aided assessment technology in higher education. South African Journal of Higher Education, 21(6), 684-693.
5. Файзрахманов Р.А., Полевщиков И.С. Оценка качества выполнения упражнений на компьютерном тренажере перегрузочной машины с использованием нечетких множеств [Электронный ресурс] // «Инженерный Вестник Дона», 2012, №4-1. - Режим доступа: http://www.ivdon.ru/magazine/archive/n4t1y2012/1265 (Доступ свободный) - Загл. с экрана. - Яз.рус.
6. Файзрахманов Р.А., Мехоношин А.С., Бакунов Р.Р., Федоров А.Б., Бикметов Р.Р. Особенности разработки и реализации мобильных пультов тренажерного комплекса оператора портального крана [Электронный ресурс] // «Инженерный Вестник Дона», 2012, №4-1. - Режим доступа: http://www.ivdon.ru/magazine/archive/n4t1y2012/1267 (Доступ свободный) - Загл. с экрана. - Яз.рус.
7. Файзрахманов Р.А., Курушин Д.С., Рустамханова Г.И., Слаутин Ю.А., Полевщиков И.С. Разработка требований к составлению тестовых вопросов для курсантов, обучающихся на тренажерном комплексе // Вестник ПГТУ. Электротехника, информационные технологии, системы управления. – 2011. – №5. – С. 161-167.
8. Полевщиков И.С., Файзрахманов Р.А. Контроль знаний при обучении на тренажере ТЗМ // Труды Северо-Кавказского филиала Московского технического университета связи и информатики. - Ростов-на-Дону.: ПЦ «Университет» СКФ МТУСИ, 2012. – С. 289-291.
9. Полевщиков И.С. Особенности составления комплекта тестовых заданий  для автоматизированного контроля знаний по дисциплине «Стандартизация разработки программного обеспечения» // «Технические науки – от теории к практике»: материалы XV международной заочной научно-практической конференции. (12 ноября 2012 г.); [под ред. Я.А. Полонского]. Новосибирск: Изд. «СибАК», 2012. – С. 31-37.
10. Введение в практическое тестирование. Лекция 2: Правила разработки тестового задания и теста. [Электронный ресурс] – Режим доступа: http://www.intuit.ru/studies/courses/1023/300/lecture/4038. (Дата обращения: 28.06.2013).
11. MyTestX - система программ для создания и проведения компьютерного тестирования, сбора и анализа их результатов  [Электронный ресурс] – Режим доступа: http://mytest.klyaksa.net/htm/index.htm. (Дата обращения: 28.06.2013).