Educational Technology & Society 7(4) 2004
ISSN 1436-4522
pp. 265-277

Модели и методы адаптивного контроля знаний

Л.В. Зайцева, Н.О.Прокофьева
Рижский технический университет, Рига, Латвия
Lzaiceva@egle.cs.rtu.lv

АННОТАЦИЯ
Рассмотрена модель адаптивного контроля знаний (КЗ). Предложены классификации методов организации контроля и методов оценивания знаний. Описаны неадаптивные, частично адаптивные и адаптивные методы проведения контроля, а также основные алгоритмы оценки знаний. Показана взаимосвязь методов проведения КЗ и методов выставления оценки.

Ключевые слова
адаптация, методы, модели, контроль знаний.

 

Введение

Начиная с истоков применения компьютеров в учебном процессе, особое внимание уделялось контролю знаний. Технические средства обучения, а затем и компьютеры в первую очередь использовались именно для проверки знаний учащихся. И до настоящего времени, несмотря на бурное развитие обучающих систем и других форм компьютерного обучения, контролирующие (тестирующие) программы составляют половину [Zaiceva, 2000] имеющихся в сети Интернет программ учебного назначения (универсальные и специализированные обучающие системы, электронные энциклопедии, обучающие игры и т.д.) и являются наиболее разработанными [Brusilovsky, 1999]. Проблемы компьютерного контроля знаний (КЗ) обычно рассматриваются в двух аспектах: методическом и техническом [Зайцева, 2000]. К методическим аспектам относятся: планирование и организация проведения контроля; определение типов вопросов и отбор заданий для проверки знаний студентов; формирование набора вопросов и заданий для опроса; определение критериев оценки выполнения каждого задания и контрольной работы в целом и др. К техническим аспектам относятся: автоматическое формирование набора контрольных заданий на основе выбранного подхода; выбор и использование в системе контроля параметров КЗ; выбор алгоритмов для оценки знаний учащихся и др. [Зайцева, 2002]. Поэтому вопросы компьютерного КЗ интересуют многих ученых, как педагогов, так и специалистов в области информационных технологий. За последние тридцать лет были изучены различные виды контроля [Беспалько, 1977; Беспалько, 1989; Лернер, 1996]; определены более десяти типов вопросов, их компоненты и метаданные, используемые, как правило, при формировании набора контрольных заданий [Зайцева, 1989; Зайцева, 2002; Brusilovsky, 1999]; разработаны математические методы оценки знаний учащихся [Свиридов, 1981; Зайцева, 1989а; Зайцева, 1991; Попов, 2000; Моисеев, 2001] и различные методы проведения контроля.
Таким образом, необходимо отметить, что существует ряд интересных разработок, посвященных различным аспектам контроля знаний и основанных на современных достижениях науки и компьютерной техники. В то же время, формирование набора заданий для КЗ осуществляется, обычно, случайным образом [Зайцева, 1989; Carbone, 1997; WBT, 1999; WebCT, 1999]; иногда учитывая параметры заданий [Byrnes, 1995; Rios, 1998; Соловов, 2002]; и лишь в отдельных случаях используется адаптивная выдача контрольных заданий на базе модели студента [Eliot, 1997; Lee, 1997; Rios, 1999].
В настоящей статье делается попытка систематизировать и классифицировать применяемые методы проведения контроля и модели оценивания знаний студентов на основе модели адаптивного КЗ.

Модель адаптивного контроля знаний

Профессором Л.А. Растригиным [Растригин, 1979; Растригин, 1986] было предложено рассматривать процесс обучения как процесс управления сложной системой. Аналогично можно представить и процесс управления адаптивным контролем знаний (рис. 1).


Рис. 1. Модель адаптивного контроля знаний.

Блок “Алгоритм контроля” выполняет следующие функции: База знаний (БЗ) содержит методы и/или модели процесса контроля, а также совокупность знаний предметной области. База данных (БД) включает наборы вопросов и задач, предназначенных для проверки знаний студента и/или данные для формирования заданий. Контрольные задания могут также генерироваться автоматически на основе БЗ. База данных и база знаний совместно с моделью студента образуют репозиторий системы контроля.
Модель студента включает разнообразную информацию о студенте: предыстория обучения; результаты текущей работы (тип выполненных заданий, время выполнения заданий, число обращений за помощью и т.д.); личностные психологические характеристики (тип и направленность личности, репрезентативная система, способность к обучению, уровень беспокойства-тревоги, особенности памяти и др.); общий уровень подготовленности и другие [Зайцева, 2003].
Формировщик вопросов и задач используется для формирования и выдачи студенту очередного задания (вопроса или задачи). Контроль знаний осуществляется следующим образом: студент выполняет предложенное задание, и результат его работы помещается в модель студента. Блок "Алгоритм контроля" на основе анализа ответа студента, целей контроля Z и используемого метода проведения контроля, учитывая внешние ресурсы R1 (например, возможности системы контроля) и внутренние ресурсы студента R2 (например, время контроля), а также состояние среды Dx, определяет параметры задания, которое должно быть предложено студенту. Формировщик вопросов и задач, получив от “Алгоритма контроля” данные о параметрах следующего задания, выбирает из БД и/или БЗ необходимую информацию I, формирует текст задания и выдает его студенту. В простейшем случае работа этого блока сводится к выбору нужного вопроса или задачи из базы данных. При некоторых видах контроля (например, при текущем КЗ или самопроверке) может быть предусмотрена обратная связь К, которая состоит в выдаче комментария на ответ студента.
Таким образом, для управления адаптивным контролем знаний необходимо наличие:

Методы и модели проведения контроля

Процесс контроля знаний состоит из трех этапов: формирование вопросов для КЗ на основе контрольных заданий, хранящихся в БД; выдача их студенту и получение его ответа, возможно, с обратной связью; выставление оценки за контроль. Первые два этапа относятся к организации процесса компьютерного контроля и при адаптивном КЗ обычно объединяются.
Методы организации контроля знаний можно разделить на три класса (рис. 2):

К неадаптивным методам контроля относятся:

Рис. 2. Методы организации контроля знаний.

Общим для всех неадаптивных методов является то, что вариант контрольной работы для каждого студента формируется до контроля (заранее или непосредственно перед КЗ), т.е. на первом этапе КЗ, что, с одной стороны, повышает скорость контроля (не требуется поиск задания в БД и его загрузка), с другой – позволяет выдавать задания двумя способами: по одному или списком. В последнем случае студент сам может выбрать последовательность выполнения заданий.
Частично адаптивные методы контроля предполагают использование информации из модели студента (МС) или учебного материала (УМ) при формировании набора контрольных вопросов. К этому классу моделей относятся: Методы данной группы, так или иначе, связаны со структурой учебного материала, а также учитывают уровень подготовленности студентов, т.е. налицо признаки адаптации.
Адаптивные методы максимально используют информацию из моделей студента и/или учебного материала. К ним относятся: Таким образом, существует большое количество методов организации компьютерного контроля знаний, часть из которых в той или иной мере можно считать адаптивными. В таблице 1 приведены основные характеристики методов проведения контроля.



Таблица 1. Методы проведения контроля и используемые модели.

 

Метод проведения контроля

Тип метода

Время формирования заданий

Используемые модели и параметры

1

Строгая последовательность

Неадаптивный

До контроля

нет

2

Случайная выборка

Неадаптивный

Непосредственно перед контролем

нет

 

3

Комбинированный метод

Неадаптивный

Непосредственно перед контролем

нет

4

Случайная выборка с учетом отдельных параметров модели студента

Частично адаптивный

Непосредственно перед контролем

Модель студента: уровень подготовленности

5

Контроль на основе ответов студента

Частично адаптивный

До контроля (и в процессе контроля)

Модель студента: текущие ответы

6

Контроль на основе модели учебного материала

Частично адаптивный

В процессе контроля

Модели УМ, МС:

уровень подготовленности

7

Модульно-рейтинговый метод

Частично адаптивный

В процессе контроля

Модель студента: рейтинг студента

8

Контроль по модели студента

Адаптивный

В процессе контроля

Модель студента

9

Контроль по моделям студента и учебного материала

Адаптивный

В процессе контроля

Модель студента, модель УМ

Модели и методы оценки знаний

Определение и оценка знаний представляет собой задачу распознавания, основанную на обучении. Решение проблемы оценивания состоит из трех этапов (рис. 4):



Рис. 4. Модель оценивания знаний при контроле.

На первом этапе по результатам контрольного эксперимента определяются метаданные заданий (трудность, значимость и т.д.) и устанавливаются параметры КЗ (число вопросов, время на ответ и др.). Метаданные и параметры помещаются в репозиторий системы и используются на последующих этапах. На втором этапе при выполнении студентом контрольных заданий осуществляется сбор, анализ и, возможно, предварительная обработка полученных данных. На последнем этапе выставляется общая оценка за работу. В большинстве методов оценивания предусматривается вычисление некоторой величины, которая затем сравнивается с предварительно заданными граничными значениями. То есть оценка определяется по формуле:
(1)
где I – оценка за контрольную работу; {c1, c2, …, cм} – вектор граничных значений; M – максимальная возможная оценка (например, при пятибалльной шкале M = 5).
Методы оценивания в основном используются на втором и третьем этапе, хотя существует ряд методов, которые применяются для выставления оценки только на последнем этапе.
Методы оценки знаний можно разделить на два основных класса (рис. 5): К математическим моделям оценки знаний относятся:
Основная идея классификационных моделей заключается в отнесении студента к одному из устойчивых классов с учетом совокупности признаков, определяющих данного студента. При этом используется специальная процедура вычисления степени похожести (оценки) распознаваемой строки (совокупности признаков обучаемого) на строки, принадлежность которых к классам заранее известна.
Алгоритм, основанный на вычислении оценок (АВО) был впервые предложен Ю.И. Журавлевым [Журавлев, 1978] и позднее использовался для классификации обучаемых по уровням полготовленности [Зайцева, 1989] и для оценки знаний в качестве дополнительного метода в обучающих системах РТУ [Зайцева, 1989а[. Данная модель предусматривает построение таблицы обучения Тоnm, в которой каждая строка представляет собой набор признаков обучаемого характеризующих работу студента в процессе КЗ: количество предложенных заданий (n), средний балл (A), количество попыток выполнения заданий (kn), количество обращений к справочной информации (kc), ранг (r). При выставлении оценки вычисляется степень похожести совокупности признаков конкретного студента I(S) = {1, 2, …, m} на строки, входящие в таблицу обучения Тоnm, на основании чего осуществляется отнесение его к определенному классу Kj. Для этого вычисляется число строк каждого класса Kj, близких по выбранному критерию классифицируемому объекту S. Строка таблицы обучения Тоnm I(Sji) = {a ji1, …, ajim} и распознаваемая строка I (S) = {1, 2, …, m} считаются похожими, если выполняются неравенства |ajikk| , где (k =1, …, m) - точность сравнения. Студент относится к классу Kj, имеющему максимальную оценку max Гj (S, Kj), j = 1, …, m. Данная модель в настоящее время применяется в системе [КИОС, 1992] с единственным отличием: вместо одной таблицы обучения, содержащей данные для различных классов, в КИОС используются четыре таблицы обучения для классов “отлично”, “хорошо”, “удовлетворительно” и “неудовлетворительно”, названные эталонными таблицами оценивания.
Таким образом, для оценивания знаний студентов применяются разные модели и алгоритмы, начиная с самых простых, учитывающих лишь процент правильно выполненых заданий при двухбалльной системе оценки отдельного вопроса, и заканчивая сложными составными, в которых используются всевозможные параметры контроля и многобалльная система оценки как отдельных заданий, так и работы в целом [Прокофьева, 2001; Прокофьева, 2002]. В таблице 2 приведены рассмотренные выше модели и методы оценки знаний и используемые параметры. Все методы оценивания предусматривают в процессе КЗ сбор данных о ходе контроля (в таблице 2 эти параметры подчеркнуты, остальные определяются на этапе обучения и могут быть изменены преподавателем перед началом КЗ). Метод линейно - кусочной аппроксимации и модели на основе вероятностных критериев предполагают также вычисление некоторых функций, которые обычно используются для определения дальнейшего хода контроля.

Заключение

Методы проведения контроля и методы оценивания тесно взаимосвязаны. В общем случае любая модель выставления оценки может быть использована при любом методе проведения КЗ, за исключением моделей на основе вероятностных критериев, которые предназначены лишь для частично адаптивных и адаптивных методов организации контроля. С другой стороны, простейшую модель выставления оценки и модель, учитывающую время ответов, целесообразно применять только совместно с неадаптивными методами КЗ. Таким образом, при адаптивном контроле знаний рекомендуется использовать модели на основе вероятностных критериев, АВО или уровней усвоения, а также метод линейно - кусочной аппроксимации. По нашему мнению, в современные адаптивные системы обучения и контроля знаний следует включать несколько различных методов и моделей, чтобы преподаватель имел возможность выбрать метод проведения контроля и модель выставления оценки, отвечающие целям контроля и наиболее подходящие для отдельного или группы студентов.

Таблица 2. Модели оценивания и используемые параметры.

 

Модели оценки знаний 

Используемые данные

Параметры задания

Параметры КЗ

1

Простейшая модель

Число заданий; число правильных ответов

2

Модель, учитывающая время ответов

Число заданий; число правильно выполненных заданий без превышения отведенного времени

3

Модель на основе уровней усвоения

Уровень усвоения УМ;
трудность и сложность УМ

Число правильно выполненных существенных операций; общее число существенных операций в заданиях

4

Метод линейно - кусочной аппроксимации

Значимость, трудность, спецификация

Число заданий; число попыток выполнения заданий; число обращений к справке; число заданий, выполненных с превышением отведенного времени; граничные значения

5

Модели на основе вероятностных критериев

Сложность

Число заданий; время ответа; априорная вероятность получения оценки; граничные значения; риски недооценки и переоценки

6

Модели на основе АВО

-

Число заданий; число попыток; число обращений к справке; точность сравнения

Литература

[Аванесов, 1998] Аванесов B.C. Композиция тестовых заданий. - М.: Адепт, 1998. – 217 с.
[Алексеенко, 1978] Алексеенко Е. А., Довгялло А. М., Косая И. Х. СПОК – система программирования и поддержания обслуживающих и обучающих курсов // Управляющие системы и машины. – 1978. – №2. – с. 127 – 128.
[Андреев, 2002] Андреев А.Б., Акимов А.В., Усачев Ю.Е. Экспертная система анализа знаний ”Эксперт-ТС” // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, – p. 97 - 101.
[Артемов, 1999] Артемов А., Павлова Н., Сидорова Т. Модульно-рейтинговая система // Высшее образование в России. – 1999. –№4. –с. 121 – 125.
[Беспалько, 1977] Беспалько В.П. Основы теории педагогических систем. Проблемы и методы психолого-педагогического обеспечения технических обучающих систем. – Воронеж : Воронежск. ун-т, 1977. – 304 с.
[Беспалько, 1989] Беспалько В. П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 192 с.
[Волков, 1984] Волков С.З. Алгоритм управления контролем знаний // Кибернетика и исследование операций в управлении учебным процессом: Тез. докл. – Рига: РПИ, 1984, – с. 67 – 70.
[Гладковский, 1997] Гладковский В.И., Гладыщук А.А., Панасюк И.М. Воспитательные функции рейтинговой системы оценки знаний (РСОЗ) // Высшая школа: состояние и перспективы. – Минск: РИВШ БГУ, 1997. – 107 с.
[Журавлев, 1978] Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. – 1978. – Вып. 33. – с. 5 –68.
[Зайцева, 1982] Автоматизированная обучающая система КОНТАКТ/ОС / Л.В. Зайцева, Л.В. Ницецкий, Л.П. Новицкий и др. – М.: Моск. науч.– учеб. центр СНПО “Алгоритм”, 1982. – 108 с.
[Зайцева, 1989] Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. – Под ред. Л.В.Ницецкого. – Рига : “Зинатне”, 1989. – 174 с.
[Зайцева, 1989а] Зайцева Л.В., Новицкий Л.П., Прокофьева Н.О. Контроль знаний обучаемых с помощью методов линейно-кусочной аппроксимации и вычисления оценок // Методы и средства кибирнетики в упр. учеб. проц. высш. шк. – Рига: Рижск. политехн. ин-т, 1989, – с. 39 – 48.
[Зайцева, 1991] Зайцева Л.В. Методы контроля знаний при автоматизированном обучении. - Автоматика и вычислительная техника, 1991, Nr 4, с. 88 – 92.
[Зайцева, 2000] Зайцева Л.В. Некоторые аспекты контроля знаний в дистанционном обучении // Сборник научных трудов 4-й международной конференции ”Образование и виртуальность – 2000” – Харьков – Севастополь : УАДО, 2000, - с. 126 – 131.
[Зайцева, 2002] Зайцева Л.В., Прокофьева Н.О. Проблемы компьютерного контроля знаний // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, – p. 102 - 106.
[Зайцева, 2003] Зайцева Л.В. Модели и методы адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. - Nr. 6(3), 2003. – с.204 – 212.
[Касимов, 1994] Касимов Р.Я.,Зинченко В.Я., Грантберг И.И. Рейтинговый контроль // Высшее образование в России. - 1994. - № 2 - с. 83–92.
[КИОС, 1992] Компьютерная интегрированная обучающая система (КИОС): Тамбов, ТГТУ/ Интернет. -http://mdcorpsoft.chat.ru/pss/pss27.html
[Лернер, 1996] Лернер И.Я. Развивающее обучение с дидактических позиций // Педагогика. - 1996. - № 2. - с. 7 – 11.
[Моисеев, 2001] Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы // Открытое образование. – 2001. - №1 / Интернет. –http://www.mesi.ru/joe/N1_01/mo.html
[Пасхин, 1985] Пасхин Е.Н., Митин А.И. Автоматизированная система обучения ЭКСТЕРН. – М.: Изд-во Моск. ун -та, 1985. – 144 с.
[Попов, 2000] Попов Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений // Дистанционное образование. – 2000. – №6 / Интернет. –http://www.mesi.ru/joe/N6_00/popov.html
[Прокофьева, 2001] Прокофьева Н.О. Алгоритмы оценки знаний при дистанционном обучении // Образование и виртуальность - 2001. Сборник научных трудов 5-й Международной конференции. - Харьков - Ялта: УАДО, 2001, – с. 82 - 88.
[Прокофьева, 2002] Прокофьева Н.О. Сравнительный анализ алгоритмов оценки знаний // Интернет - Образование - Наука - 2002. Сборник научных трудов 3-й Международной научно-практической конференции. – Винница: ВГТУ, 2002. – с. 85 - 87.
[Растригин, 1979] Растригин Л.А. Обучение с моделью // Вопросы кибернетики. Человеко-машинные обучающие системы. - М.: АН СССР, 1979, – c. 40 - 49.
[Растригин, 1986] Растригин Л.А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. - Рига : Зинатне, 1986. – 160 c.
[Свиридов, 1981] Свиридов А.П. Основы статистической теории обучения и контроля знаний. - М.: Высшая школа, 1981. – 262 с.
[Сельманова, 2001] Сельманова Н.Н., Максудова Л.Г., Абросимов В.В., Абросимов Д.В. Обучающе-аттестующая система по естественнонаучным дисциплинам // Труды международной научно-методич. конференции Телематика 2001. 18-21 июня 2001 г. – С-Петербург, 2001, - с. 85.
[Соловов, 1995] Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995,- с.138.
[Соловов, 2002] Соловов А.В. Дидактика и технология электронного обучения в системе КАДИС // "Индустрия образования", №6.- М.: МГИУ, 2002, - с.54-64.
[Brusilovsky, 1999] Brusilovsky P., Miller P. Web-based testing for distance education // WebNet'99. ngs of AACE World Conference of the WWW and Internet.–Honolulu, HI, 1999, – p. 149 – 154.
[Byrnes, 1995] Byrnes R., Debreceny R., Gilmour P. The development of Multi-Choice and True-False Testing Environment on the Web // Ausweb95: The First Australian World Wide Web Conference. Southern Cross Univ. Press / Internet. – http://elmo.scu.edu.au/sponsored/ausweb/ausweb95/papers/education3/byrnes/
[Carbone, 1997] Carbone A., Schendzielorz P. Developing and integrating a Web-based quiz generator into the curriculum // WebNet’97. World Conference of the WWW, Internet and Intranet. AACE, 1997, – p. 90 - 95.
[Eliot, 1997] Eliot C., Neiman D., Lamar M. Medtec: A Web-based intelligent tutor for basic anatomy // Proceedings of AACE World Conference of the WWW, Internet and Intranet. WebNet’97, 1997, – p. 161 - 165.
[Galeev, 2002] Galeev I., Sosnovsky S., Chepegin V. MONAP-II: the analysis of quality of the learning process model // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, – p. 116 - 120.
[Lee, 1997] Lee S.H., Wang C.J. Intelligent hypermedia learning system on the distributed environment // ED-MEDIA/ED-TELECOM’97. World Conference on Educational Multimedia / Hypermedia and World Conference on Educational Telecommunications. - AACE, 1997, – p. 625 - 630.
[Lord, 1980] Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N - J. Lawrence Erlbaum Ass., Publ. 1980, - 266 pp.
[Pesin, 2003] Pesin L. Knowledge Testing and Evaluation in the Integrated Web-Based Authoring and Learning Environment // Proceedings of the 3rd IEEE International Conference on Advanced Learning Technologies. ICALT 2003. – Athens, Greece, 2003. – P. 268 - 269.
[Rasch, 1977] Rasch, G. On Specific Objectivity: An Attempt ofFormalizing the Request for Generality and Validity of Scientific Statements / Danish Yearbook of Philosophy. 1977, v. 14, p. 58 - 94, Munksgaard, Copenhagen. - 216p.
[Rios, 1998] Rios A., Perez de la Cruz J.L., Coneo R. SIETTE: Intelligent evaluation system uzsing tests for TeleEducation // Workshop “WWW-Based Tutoring” at 4th International Conference on Intelligent Tutoring Systems (ITS’98) / Internet. –http://www-aml.cs.umass.edu/~stern/webits/itsworkshop/rios.html
[Rios, 1999] Rios A., Millan E., Trella M., J.L. P., Conejo R. Internet based evaluation system // Artificial Intelligence in Education : Open Learning Environments. – Amsterdam: IOS Press, 1999, - p. 387 – 394.
[WBT , 1999] WBT Systems (1999). TopClass 3.0, WBT Systems, Dublin, Ireland. http:www.wbtsystems.com/ (Accessed 5 July, 1999).
[WebCT, 1999] WebCT. World Wide Web Cource Tools 1.3.1. WebCT Educational technologies. – Vancouver, Canada / Internet. - http://www.wbtsystems.com
[Zaiсeva, 2000] Zaiсeva L., Kuplis U., Prokofjeva N. Обучение в среде Интернет // Scientific Proceedings of Riga Technical University. Computer Science. Applied Computer Systems. – Vol. 3. – Riga : RTU, 2000, – р. 33 - 45. (на латышском языке)
[Zaitseva, 2003] Zaitseva L., Boule C. Student models in Computer-based Education // Proceedings of the 3rd IEEE International Conference on Advanced Learning Technologies. ICALT 2003. – Athens, Greece, 2003, – p. 451.