Стратегии и методы проведения контроля знаний в компьютерном обучении

Н.О.Прокофьева

доцент професорской группы Технологии разработки программного обеспечения

Рижский технический университет, Рига, Латвия

 (+371)29729846, natalija.prokofjeva@rtu.lv

 

Аннотация

В данной статье рассматриваются стратегии контроля знаний компьютерной СКЗ: стратегии контроля, не зависящие от результатов выполнения студентом отдельных заданий, и стратегии, формируемые в процессе контроля и зависящие от действий студента. Показаны полученные результаты эксперимента и предложены рекомендации по применению методов проведения контроля и моделей оценивания знаний студентов.

The paper considers strategies of the control of knowledge computer: the strategies of the control which don't depend on results of performance by the student of separate tasks and the strategies that are being formed during a control and depending on actions of the student. The received results of experiment are shown and recommendations on application of methods of control monitoring procedure and models of estimation of knowledge of students are offered

Ключевые слова

стратегии контроля знаний (КЗ), методы и модели КЗ, эксперимент, рекомендации

strategy of the knowledge control (KC), methods and models of KC, experiment, recommendations

Введение

Вопросы компьютерного контроля знаний интересуют многих ученых, как педагогов, так и специалистов в области информационных технологий (ИТ).

За последние тридцать лет были изучены различные формы и виды контроля [1-3], определены более десяти типов вопросов, их компоненты и метаданные, используемые, как правило, при формировании набора контрольных заданий [4 -7], разработаны математические методы оценки знаний учащихся [8 - 13] и предложены различные методы (стратегии) проведения контроля [14].

При разработке компьютерной системы контроля знаний (СКЗ) важно организовать всестороннюю оценку знаний, умений и навыков студента, то есть проверить с чем ознакомлен, что знает и что умеет студент. Поэтому основными требованиями к СКЗ являются следующие [14 - 16]:

-          учет цели проводимого контроля и задание критерия достижения этой цели;

-          поддержка различных типов, форм и видов контрольных заданий и вопросов и др.

-          обеспечение обратной связи с обучаемым;

-          возможность определения предварительного уровня подготовки студента и соответствующей настройки системы на требуемый уровень;

-          возможность применения различных стратегий контроля и разнообразных параметров КЗ;

-          использование данных из модели студента и модели учебного материала;

-          адаптация системы к обучаемому и др.

Реализация перечисленных требований связана, в первую очередь, с решением вопросов организации контроля знаний с учетом методических и технических аспектов данной проблемы [17].

Таким образом, при разработке системы компьютерного КЗ необходимо:

1)       определить вид планируемого контроля (исходный, текущий, рубежный, итоговый);

2)       сформулировать цели контроля (например, контроль знаний по отдельной теме или разделу, контроль остаточных знаний после изучения всего курса и т.д.) и на их основе определить содержание контроля;

3)       с учетом поставленной цели, подготовить контрольный материал, то есть разработать банк контрольных заданий (вопросов) разного типа и трудности для проверки знаний, умений и навыков студентов, предусмотрев различные комментарии на ответы студентов и др.;

4)       выработать стратегию контроля знаний.

В данной статье рассматриваются различные стратегии контроля знаний компьютерной СКЗ, а также основываясь на полученных результатах эксперимента, предложены рекомендации по применению методов проведения контроля и моделей оценивания знаний студентов.

Стратегии контроля знаний

Стратегия КЗ определяет механизм предъявления контрольных заданий и критерии, связанные с оцениванием уровня знаний студента по результатам выполнения им набора контрольных заданий.

В целом, стратегии контроля знаний можно разделить на два вида:

·         стратегии контроля, не зависящие от результатов выполнения студентом отдельных заданий;

·         стратегии, формируемые в процессе контроля и зависящие от действий студента.

В первом случае, контроль знаний проводится посредством заранее определенного числа заданий, при этом множество контрольных вопросов формируется в виде фиксированного набора или генерируется случайно. Процесс контроля в данном случае может быть представлен в виде следующей схемы (рис. 1).


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


На первом этапе устанавливаются параметры КЗ, связанные с контрольным сеансом. Это может быть количество заданий, предусмотренных для контроля, предельное время контроля, допустимое количество попыток ответа на вопрос и др. Затем из множества вопросов, находящихся в базе данных (БД), формируется набор контрольных заданий (выборка), которые будут заданы студенту во время сеанса. При использовании стратегий контроля, не зависящих от результатов работы студента в системе компьютерного КЗ, набор вопросов для контроля подготавливается либо заранее, либо формируется непосредственно перед контролем на основе заданий, хранящихся в БД, при этом число проверочных вопросов в контрольном сеансе является постоянным для всех студентов, не зависимо от их уровня подготовленности.

На последующих третьем и четвертом этапах (рис. 1) происходит, соответственно, выбор и предъявление студенту контрольного задания, получение ответа и анализ выполнения задания. Контроль продолжается, если не достигнуто условие (или условия) завершения контроля. В противном случае, если условие выполнено (например, если студенту были предъявлены все предусмотренные в данном сеансе контрольные задания или был исчерпан лимит времени, отведенного на решение набора контрольных вопросов), определяются и фиксируются результаты проведенного контроля знаний.

Стратегии, зависящие от хода контроля, выстраивают последовательность заданий (вопросов) непосредственно в процессе контроля: либо в зависимости от правильности ответов студента, либо на основе специально разработанных сценариев проведения контроля знаний. При реализации данных стратегий КЗ, последовательность и число контрольных заданий в контрольном сеансе различны для сильных, средних и слабых студентов, так как количество проверочных вопросов зависит от уровня их подготовленности. На рис. 2 представлена схема такой стратегии КЗ. В данном случае контроль может быть реализован с помощью адаптивных и/или частично адаптивных методов проведения КЗ, которые позволяют организовать проверку знаний индивидуально для каждого студента, поддерживая оптимальный для студента уровень трудности выдаваемых контрольных заданий и формируя индивидуальные стратегии контроля по отдельной теме, разделу или курсу в целом.


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


Стратегия КЗ определяет также критерии, по которым оценивается степень усвоения студентом материала компьютерного курса. Так, система оценивания результатов выполнения заданий в компьютерном курсе может предусматривать вычисление оценки в виде суммы баллов, рейтинга, отметки в принятой шкале измерения и др. При этом, рассчитываемая оценка может зависеть от типа, структуры и/или метаданных, применяемых для контроля заданий, от числа правильных (неправильных) ответов, степени правильности ответов, ограничений на время контроля и др. Применение той или иной стратегии оценки знаний зависит от разных факторов. Так, выбор модели оценивания может быть обусловлен тем, насколько полно собирается информация об обучаемом в процессе контроля знаний (например, учитываются ли данные из модели студента). То есть, чем больше данных о студенте и/или о его работе учитывается в системе КЗ, тем более развитая модель выставления оценки может быть использована.

   Таким образом, различные стратегии организации компьютерного контроля знаний могут быть реализованы с помощью разнообразных метода(ов) проведения КЗ и моделей оценивания результатов контроля [18].

Методы проведения контроля знаний

В зависимости от степени адаптивности методы проведения контроля знаний можно разделить на три класса [18]:

·         неадаптивные методы:

1)       строгая последовательность, набор контрольных заданий * представляет собой множество    где i-ое задание из подготовленного набора; i – порядковый номер задания в наборе; n – число заданий (константа).

2)       случайная выборка, набор заданий *, выдаваемый студенту, формируется непосредственно перед контролем на основе заданий, хранящихся в БД:  где  i-ое задание, выбранное для контроля; f – функция случайного выбора очередного задания; В – множество (банк) контрольных заданий, хранимых в базе данных; n – число заданий.

3)       комбинированный метод, в основе которого – Случайная выборка”, дополненная ”Строгой последовательностью”. В этом случае преподаватель (разработчик контрольной работы) задает один или несколько вопросов, которые непременно должны быть включены в каждый вариант контрольной работы, а остальные задания генерируются случайным образом, как во втором методе. Набор контрольных заданий представляет собой множество , где m вопросов из набора * - это конкретные заранее определенные задания, а n-m – случайно выбранные из БД задания.

·         частично адаптивные методы:

4)       случайная выборка с учетом отдельных параметров модели студента,  набор заданий  формируется непосредственно перед контролем, но при генерации используются отдельные параметры модели студента: где i-ое задание, выбранное из БД; f – функция случайного выбора очередного задания;   j - ый параметр модели студента; k – число параметров модели студента, учитываемых при контроле; n – число заданий, задаваемое заранее.

5)       контроль на основе ответов студента, в этом методе набор заданий  формируется по заранее составленному сценарию, где как параметр проведения КЗ, используются ответы студента:  где i-ое задание, выбранное из БД;   ответ студента на  i-1 задание; f – функция выбора очередного задания в зависимости от ответа студента ; m – минимальное число заданий, необходимое для контроля; l  число заданий, предлагаемых студенту; n – общее число заданий (задается заранее).

6)       контроль на основе модели учебного материала, формирование набора заданий  для КЗ происходит с учетом структуры учебного материала: где    i -ое задание, выбранное из БД; f – функция выбора очередного задания; модель учебного материала (УМ), включающая множество учебных объектов (темы, разделы курса и др.) и связи между ними; n – общее число заданий (задается заранее).

7)       модульно-рейтинговый метод, В данном методе набор заданий  формируется следующим образом:       где   i -ое задание, выбранное из БД; f – функция выбора очередного задания;   модель учебного материала в виде набора модулей, которые могут включать в себя один или более учебных объектов данного курса; p – число модулей, определяемое преподавателем; m – минимальное число заданий, необходимое для осуществления контроля по всем модулям УМ; l – общее число заданий, на которые студент ответил (может иметь переменное значение); n – общее число заданий.

·         полностью адаптивные методы:

8)       контроль по модели студента, в данном методе формирование набора заданий  для КЗ происходит на основе модели студента: где    i-ое задание, выбранное из БД; f  функция выбора очередного задания; модель студента;   j - ый параметр из модели студента; k  число параметров модели студента; m – минимальное число заданий, необходимое для осуществления достоверного контроля знаний; l – число заданий, предлагаемых студенту (переменное значение); n – общее число заданий.

9)       контроль по модели студента и модели учебного материала. Метод является развитием предыдущего, т.е. при формировании контрольных заданий используются приведенные ранее параметры модели студента, но процесс КЗ строится на базе модели учебного материала, учитывая взаимосвязи между проверяемыми понятиями: где i-ое задание, выбранное из БД; f  функция выбора очередного задания;  модель студента;  модель учебного материала; m – минимальное число заданий, необходимое для осуществления достоверного контроля знаний; l– число заданий, предлагаемых студенту (переменное значение); n – общее число заданий.

Перечисленные методы проведения контроля знаний, умений и навыков студентов могут быть скомбинированы друг с другом. Выбор подхода к формированию набора заданий для контроля зависит от цели контроля, возраста и уровня подготовки обучаемых, и многих других факторов. Далее представлены результаты исследования целесообразности применения рассмотренных методов проведения контроля при различных видах КЗ (исходном, текущем, рубежном, итоговом).

Методы и модели оценки знаний

Оценка знаний представляет собой задачу распознавания, основанную на обучении [19]. Решение проблемы оценивания состоит из трех основных этапов (рис. 3):

I.        Определение параметров контроля (обучение), выполняемое до начала КЗ;

II.      Сбор, анализ и/или преобразование данных, получаемых в процессе контроля (распознавание);

III.   Выставление оценки за контрольную работу по завершении контроля (распознавание).

 

 

 

 

 

 

 

 

 

 

 

 


На первом этапе по результатам контрольного эксперимента определяются метаданные заданий (трудность, значимость и т.д.) и устанавливаются параметры КЗ (число вопросов, время на ответ и др.). Метаданные и параметры помещаются в репозиторий системы и используются на последующих этапах. На втором этапе при выполнении студентом контрольных заданий осуществляется сбор, анализ и, возможно, предварительная обработка полученных данных. На последнем этапе выставляется оценка за работу.

В большинстве методов оценивания предусматривается вычисление некоторой величины, которая затем сравнивается с предварительно заданными граничными значениями. То есть оценка I  определяется по формуле (1):

                                                                                                                (1)                         где   Q набранная сумма баллов; {c1, c2,  …, cM} вектор граничных значений; M максимальная возможная оценка (например, M =10).

Методы оценивания в основном используются на втором и третьем этапе, хотя существует ряд методов, которые применяются для выставления оценки только на последнем этапе.

Методы выставления оценки можно классифицировать (рис. 4.):

·         по цели проводимой проверки;

·         по времени формирования оценки;

·         по способу вычисления оценки.

В зависимости от цели проводимой проверки различают следующие методы оценивания: предварительное выявление уровня знаний обучаемых; текущая проверка в процессе усвоения каждой изучаемой темы (или раздела); периодическая проверка знаний и умений обучаемых по целому разделу или значительной теме курса; итоговая проверка уровня знаний обучаемых, приобретенных ими на всех этапах дидактического процесса.

В зависимости от времени формирования оценки различают методы, которые применяются для выставления оценки только по завершению контроля, то есть на последнем этапе процесса оценивания и методы, используемые параллельно с контролем знаний. В последних оценка может быть выставлена за выполнение отдельного задания, контрольной работы или по дисциплине в целом. При этом полученная оценка обязательно учитывается в используемом алгоритме проведения КЗ.

По способу вычисления оценки различают методы, в которых оценка формируется на базе: числовых значений, собранных в процессе контроля; рассчитываемых вероятностей; заранее подготовленных классификационных таблиц. И в зависимости от того, какие критерии используются при оценивании, методы оценки знаний можно разделить на три основных класса, каждый из которых включает ряд моделей:

·         модели на основе количественных критериев:

o    простейшая модель

o    модели, учитывающие характеристики заданий

o    модели, учитывающие метаданные заданий и параметры КЗ

·         модели на основе вероятностных критериев:

o    модели, учитывающие вероятность правильного ответа

o    модели, учитывающие неопределенность ответа

·         модели на основе классификационных таблиц:

o    модели на основе алгоритма вычисления оценок

o    модели на основе эталонных таблиц оценивания

В моделях на основе количественных критериев в качестве измерения обычно выступает числовое множество, то есть количественная шкала, предназначенная для представления оценки числом. Модели этого класса предусматривают вычисление некоторой величины, которая затем, как правило, сравнивается с предварительно заданными граничными значениями, определяющими интервалы оценивания в принятой шкале измерения. Рассчитываемая величина может представлять собой, например, сумму баллов, полученных студентом за правильные ответы на контрольные задания. При этом начисление баллов может происходить как с учетом структуры предлагаемых студенту контрольных заданий, их дидактических характеристик (метаданных), так и с учетом параметров КЗ (время выполнения контрольного задания, число правильно выполненных заданий, число попыток выполнить задание и др.), используемых при формировании оценки. Главным в моделях второго класса (на основе вероятностных критериев) являются утверждения о зависимости вероятности правильного ответа студента от уровня его подготовленности и от параметров задания. Модели на основе классификационных таблиц используют специальную процедуру вычисления степени похожести (оценки) распознаваемой строки (совокупности признаков обучаемого) на строки, принадлежность которых к классам заранее известна.

В общем случае, при любом методе проведения КЗ может быть использована олна из приведенных моделей выставления оценки. Однако, целесообразность применения той или иной модели оценивания зависит от того, насколько полную информацию о студенте и его работе предполагается использовать в компьютерной системе контроля знаний и от планируемого вида КЗ. Иначе говоря, выбор модели оценки знаний может быть обусловлен тем, какой метод проведения КЗ используется для формирования и выдачи контрольных заданий в системе КЗ, какие параметры контроля предусмотрены в данной модели оценивания, а также учитываются ли при выставлении оценки тип и/или дидактические характеристики контрольных заданий, выдаваемых при проверке знаний, умений и навыков студентов.

Проведение эксперимента

Для определения целесообразности применения методов проведения компьютерного контроля знаний при различных видах КЗ (исходном, текущем, рубежном, итоговом) был проведен опрос мнений специалистов.

Формирование экспертной группы происходило путем анализа литературы по прогнозируемой проблеме (то есть выбирались специалисты, имеющие несколько публикаций в данной области), а также путем непосредственного общения автора со специалистами по исследуемому вопросу на международных семинарах и конференциях, посвященных проблемам компьютерного контроля знаний.

Таким образом, была сформирована группа экспертов из 35 специалистов по компьютерному обучению и контролю знаний, педагогов высших учебных заведений и учителей информатики Латвии, России, Украины (табл. 1).

 

 

 

 

 

Таблица 1.

Состав группы экспертов

Страна

Группы экспертов, чел.

 

Итого

ИТ специалисты

Преподаватели ВУЗов

Учителя информатики

Латвия

2

5

7

14

Украина

3

9

-

12

Россия

2

7

-

9

Итого

35

 

В разработанной для опроса анкете экспертам было предложено оценить наиболее и наименее подходящие методы проведения КЗ для организации исходного, текущего, рубежного и итогового компьютерного контроля знаний студентов. При обработке результатов экспертного опроса было необходимо, во-первых, выявить согласованность мнений экспертов по исследуемому вопросу во-вторых, выделить методы КЗ, которые, по мнению экспертов, наиболее (или наименее) подходят для организации исходного, текущего, рубежного и итогового контроля знаний.

Важным аспектом при проведении статистического анализа результатов экспертного опроса является получение оценки согласованности мнений экспертов, в том числе и статистической проверки гипотезы о возможном отсутствии какой-либо их согласованности. Поэтому, на первом этапе исследований стояла задача определения степени согласованности мнений экспертов. Для этого использовался коэффициент конкордации, предложенный Кендаллом [20] (табл. 2).

 Таблица 2

Сводная таблица обработки результатов эксперимента

Вид контроля знаний

Методы КЗ, Sj

1

2

3

4

5

6

7

8

9

Исходный

95,5

98,5

121

174,5

95

257

239,5

233,5

260,5

0,63

Текущий

250,5

183,5

141,5

83

46

264

165,5

214

227

0,65

Рубежный

260,5

287,5

255,5

184,5

207,5

78,5

121

110,5

69,5

0,79

Итоговый

215

264,5

269

208,5

215,5

57

66,5

163,5

115,5

0,73

 

Коэффициент конкордации W является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распреде­ление частот для различных значений числа экспертов m и количества признаков n. Для боль­ших значений m и n можно использовать известные ста­тистики [21]. Так, при числе объектов n>7 оценка значимости коэффициента конкордации может быть произведена по критерию . Значение – статистики вычисляется по формуле (2):

                                                                         (2)

где             m – число экспертов;

(n-1) – число степеней свободы;

W – коэффициент конкордации.

 Таким образом, при наличии связанных рангов  распределение с v=n—1 степенями свободы имеет величина  (3):

                                                           (3)

Значимость коэффициента конкордации W оценивается путем сравнения  фактического (экспериментального) значение критерия  с его табличным значением . При выполнении условия >  принимается гипотеза о значимости полученного коэффициента конкордации, то есть подтверждается гипотеза о согласованности мнений экспертов.

Для определения значимости оценки коэффициента конкордации, с учетом формулы 2, были рассчитаны экспериментальные значения критерия  для каждого вида КЗ. Полученные данные представлены в таблице 3.

Таблица 3

Результаты статистической обработки экспериментальных

данных по критерию

Вид контроля знаний

Исходный

0,63

176,71

15,507

20,090

Текущий

0,65

181,53

15,507

20,090

Рубежный

0,79

220,23

15,507

20,090

Итоговый

0,73

203,94

15,507

20,090

 

Как видно из таблицы 3, значениядля каждого вида контроля знаний значительно превышают критическое значение критерияпри уровне статистической значимости  и  и числе степеней свободы v = n-1,  то есть гипотеза о согласованности мнений экспертов принимается и, следовательно, рассчитанные для каждого эксперимента коэффициенты конкордации (0,63; 0,65; 0,78; 0,73) позволяют сделать вывод о достаточно высокой согласованности мнений экспертов.

На следующем этапе обработки результатов экспертного опроса стояла задача определения тех методов КЗ, которые наиболее или наименее подходят для организации исходного, текущего, рубежного или итогового контроля знаний соответственно. То есть, необходимо было установить, какие методы КЗ, по результатам опроса экспертов, получили наибольшее (наименьшее) количество баллов, а также оценить достоверность различий между оценками экспертов по каждому методу проведения КЗ.

Выявление достоверности различий между оценками экспертов было проведено в два этапа. На первом этапе был организован первичный визуальный анализ данных для определения наибольших и наименьших оценок, выставленных экспертами по каждому методу проведения контроля знаний с точки зрения целесообразности их применения для исходного, текущего, рубежного и итогового КЗ. Для этого, на основе рассчитанных средних, ошибки среднего и отклонения, с помощью программы STATISTIKA 5.0 for WINDOWS, были построены графики, которые позволили провести визуальный (графический) анализ экспертных оценок методов КЗ.

На втором этапе для оценки статистической значимости различий мнений одних экспертов от других был использован парный критерий Вилкоксона [22], который позволяет оценить направленность и выраженность различий между двумя сравниваемыми рядами оценок. Иначе говоря, достоверность различий оценок экспертов для каждого метода проведения КЗ были определены с помощью Т – критерия для парных выборок. Значения критерия Т и соответствующие этим значениям уровни значимости p для каждого вида КЗ были рассчитаны с помощью программы STATISTIKA 5.0 for WINDOWS.

Таким образом, выбор метода проведения КЗ для организации компьютерного контроля знаний может быть обусловлен на основе данных, полученных в результате проведенного опроса специалистов по компьютерному обучению и контролю знаний.

Рекомендации по примениению методов КЗ при компьютерном обучении

Учитывая мнение экспертов по данному вопросу, были выработаны рекомендации по возможному использованию рассмотренных методов КЗ при исходном, текущем, рубежном и итоговым контроле, которые отражает таблица 4.

   Таблица 4

Виды контроля знаний и методы проведения КЗ 

Вид КЗ

Метод проведения КЗ

Рекомендуется использовать

Не рекомендуется использовать

Исходный

- Строгая последовательность;

- Случайная выборка;

- Контроль на основе ответов студента

- Контроль по модели студента и модели учебного материала;

- Контроль на основе модели учебного материала

Текущий

- Контроль на основе ответов студента

- Контроль на основе модели учебного материала;

- Строгая последовательность

Рубежный

- Контроль на основе модели учебного материала;

- Контроль по модели студента и модели учебного материала

- Случайная выборка

Итоговый

- Контроль на основе модели учебного материала;

- Модульно-рейтинговый метод

- Случайная выборка;

- Комбинированный метод

 

При исходном КЗ проверку знаний рекомендуется проводить либо по заранее составленному сценарию («Контроль на основе ответов студента»), либо по заранее подготовленному преподавателем набору контрольных заданий («Строгая последовательность»), либо методом «Случайная выборка». При организации текущего КЗ наиболее подходит метод «Контроль на основе ответов студента», то есть целесообразно проводить контроль по заранее составленному сценарию. Методы «Контроль по модели студента и модели учебного материала» и «Контроль на основе модели учебного материала» рекомендуется использовать при организации рубежного КЗ. Для итогового КЗ могут быть применены методы, в которых формирование набора заданий для контроля происходит на основе модели (структуры) учебного материала (курса, темы, раздела темы), т.е. последовательность выдачи заданий аналогична последовательности изучения учебного материала («Контроль на основе модели учебного материала», «Модульно-рейтинговый метод»).

Заключение

В процессе проектирования и создания СКЗ важно определить стратегию КЗ и, соответственно, выбрать такие методы проведения КЗ и модели оценивания, с помощью которых будет возможно организовать планируемый контроль при комьютерном обучении. В результате эксперимента были определены наиболее и наименее подходящие методы проведения КЗ для проверки знаний студентов для различнык видов контроля и разработаны рекомендации по их применению.

По мнению автора, в современные компьютерные системы обучения и контроля знаний следует включать несколько различных методов и моделей, чтобы преподаватель имел возможность выбрать метод проведения контроля и модель выставления оценки, отвечающие целям контроля и наиболее подходящие для отдельного или группы студентов.

В дальнейшем планируется дальше развивать разработанные в РТУ компьютерные СКЗ, реализуя в них адаптивные методы КЗ (учитываяющие информацию о студенте и его работе в системе), а также увеличивая количество типов контрольных заданий, предлагаемых студентам во время контроля.

 Литература

1.       Кудаев М.Р. Корректирующий контроль в учебном процессе. Проблемы и методы построения и реализации его системы. – Майкоп: Качество, 1997. – 195 с.

2.       Лернер И.Я. Процесс обучения и его закономерности. – М.: Знание, 1980. – 96 с

3.       Талызина Н. Ф. Теоретические проблемы программированного обучения. М.: Знание, 1968. - 120 c.

4.       Brusilovsky P., Miller P. Web-based testing for distance education // WebNet'99. ngs of  AACE World Conference of the WWW and Internet.–Honolulu, HI, 1999, – p. 149 – 154.

5.       Аванесов В.С., Гетманенко Г.Е. Методические принципы композиции тестовых заданий: Учеб. пособие для преподавателей гуманитарных дисциплин. – М., 1996. – 52 с.

6.       Зайцева Л.В., Прокофьева Н.О. Проблемы компьютерного контроля знаний // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, – p. 102 - 106.

7.       Синица Е.М., Бурцев М.С. Описание учебных ресурсов: метаданные, стандарты, профили // Образовательные технологии и общество. – 2006. - том 9 - №1. – с. 365 – 396.

8.       Ахламов А.Г., Белоус Н.В. и др. Математические методы современной теории тестирования // Образование и виртуальность - 2002. Сборник научных трудов 5-й Международной конференции. - Харьков - Ялта: УАДО, 2002. – с.331.-336.

9.       Жарков В.А. Исследование вопросов автоматизированного управления процессом контроля знаний.: Автореф. Дис. ... канд. техн. наук. – Рига, 1979. – 16 с.

10.    Зайцева Л.В. Методы контроля знаний при автоматизированном обучении. - Автоматика и вычислительная техника, 1991, Nr 4, с. 88 – 92. 

11.    Зайцева Л.В., Новицкий Л.П., Прокофьева Н.О. Контроль знаний обучаемых с помощью методов линейно-кусочной аппроксимации и вычисления оценок // Методы и средства кибернетики в упр. учеб. проц. высш. шк. – Рига: Рижск. политехн. ин-т, 1989. – с. 39 – 48.

12.    Леонтьев Л.П., Гохман О.Г. Проблемы управления учебным процессом: Математические модели. – Рига, 1984.

13.    Свиридов А.П. Основы статистической теории обучения и контроля знаний. - М.: Высшая школа, 1981. – 262 с.

14.    Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. - М.: Информационно-издательский дом "Филинъ", 2003. - 616 с.

15.    Климов В.Г. Методика контроля знаний обучаемых с использованием электронных тестирующих систем // Материалы XVI Международной конференции “Применение новых технологий в образовании”. – Троицк: изд. “Тровант”, 2005. – с.268 – 269.

16.    Кречетников К.Г. Проектирование средств информационных технологий обучения // Educational Technology & Society. - Nr. 5(1), 2002 ISSN 1436-4522 (Международный электронный журнал) / Интернет. - http://ifets.ieee.org/russian/depository/v5_i1/html/2.html   

17.    Прокофьева Н.О. Вопросы организации компьютерного контроля знаний // Educational Technology & Society. - Nr.9(1), 2006 ISSN 1436-4522 (Международный электронный журнал) / Интернет. - http://ifets.ieee.org/russian/depository/v9_i1/html/6.html  

18.    Prokofjeva N. Models and methods of computer-based knowledge control. Doctoral thesis summary. R.: RTU, 2007. – 26 p.

19.    Зайцева Л.В. Автоматизированное управление на базе иерархического комплекса моделей в человеко-машинных обучающих системах: Автореф. дис. ... канд. техн. наук. – Рига, 1981. – 20 с.  

20.    Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980. - 263 с.

21.    Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978.- 133 с.

22.    Сидоренко Е.В. Методы математической обработки в психологии. – СПб.: ООО «Речь», 2002. – 350 с.