Интеллектуальная система оценивания знаний: модель студента и методика экспериментальной проверки алгоритма адаптации

Алла Викторовна Анохина-Наумец

д-р инж. наук, преподаватель кафедры теории и проектирования систем,

Рижский технический университет,

ул. Калькю, 1, г. Рига, Латвия, LV-1658, (371)67089595

alla.anohina-naumeca@rtu.lv

Роман Сергеевич Лукашенко

аспирант кафедры теории и проектирования систем,

Рижский технический университет,

ул. Калькю, 1, г. Рига, Латвия, LV-1658, (371)67089529

lrexpress@inbox.lv

 

Аннотация

Сегодня в учебном процессе широко используются различные электронные системы обучения, спектр и количество которых увеличивается из года в год. Однако их конкурентоспособность и используемость на практике зависит уже не столько от функциональных возможностей системы, как это было на начальном этапе интеграции таких систем в учебный процесс, а от гибкости системы в терминах её соответствия характеристикам и потребностям отдельных обучаемых. Для достижения упомянутой гибкости, как правило, используется модель студента, которая хранит информацию о ходе учебного процесса, состоянии знаний и навыков обучаемого, его/её когнитивных, эмоциональных и психологических характеристиках. Данная статья рассматривает модель студента, которая осенью 2010 года была реализована в интеллектуальной системе оценивания знаний, позволяющей оценить структуру знаний обучаемого на основе решения задач, в которых применяются карты понятий. В статье описано применение модели для выбора такой степени трудности задачи, которая лучше всего соответствует уровню знаний и стилю обучения студента, а также методика экспериментальной проверки алгоритма адаптации, использующего данные о студенте.

Today various e-learning systems which spectrum and number is growing from year to year are widely used in the learning process. However, their competitiveness and use in practice depends not so much on system functional capabilities, as it was at the initial stage of integration of such systems into the learning process, but on system flexibility in terms of its suitability to characteristics and needs of particular learners. In order to achieve the mentioned flexibility, as a rule, the student model is used. It stores information concerning progress of the learning process, state of knowledge and skills of the learner, his/her cognitive, emotional and psychological characteristics. The paper is devoted to the student model which in the autumn of 2010 was implemented in the intelligent knowledge assessment system allowing the evaluation of learner's knowledge structure on the basis of concept map based tasks. The paper describes the application of the model to the selection of such degree of task difficulty which is the most suitable for learner's knowledge level and study style, as well as considers the technique for the experimental evaluation of adaptation mechanism which uses data about a student.

Ключевые слова

Модель студента, карты понятий, интеллектуальная система, оценивание знаний

Student model, concept maps, intelligent system, knowledge assessment.

Введение

В настоящее время множество факторов определяют изменения, происходящие в образовательных учреждениях в общем и в учебном процессе в частности: информационно-коммуникационные технологии стали неотъемлемой частью профессиональной, социальной и частной жизни, появилось новое поколение учащихся, которые с раннего детства пользуются компьютером и интернетом, во многих странах мира взят курс в направлении развития так называемого общества знаний, выросла необходимость в непрерывном обучении на протяжении всей жизни. Вследствие этого и в соответствии с тенденциями развития технологического прогресса в целом, в учебном процессе стали широко использоваться современные информационно-коммуникационные технологии с целью повышения эффективности превращения информации в знания.

Исследователи кафедры теории и проектирования систем факультета компьютерных наук и информационной технологии Рижского технического университета уже более 5 лет работают над созданием интеллектуальной системы оценивания знаний, основанной на картах понятий [1, 2, 3]. Упомянутая система является хорошим примером интеграции современных информационно-коммуникационных технологий и прогрессивного дидактического метода. Система позволяет оценить структуру знаний обучаемого на основе решения задач, в которых применяются карты понятий. Более того, система предлагает учителю информацию, которая в дальнейшем может быть использована для улучшения методов преподавания предмета. В данный момент главным объектом исследований является интеграция модели студента в упомянутую систему. Модель студента сделает систему более эластичной и подходящей для различных учащихся и позволит точнее определить уровень знаний отдельного обучаемого.

Данная статья рассматривает модель студента, которая осенью 2010 года была реализована в интеллектуальной системе оценивания знаний и используется в ней с целью выполнения задач адаптации, в частности для выбора такой степени трудности задачи, которая является наиболее подходящей для уровня знаний и стиля обучения отдельного обучаемого. Начальные главы статьи рассматривают общие вопросы моделирования студента и применения карт понятий, а также дают краткий обзор интеллектуальной системы оценивания знаний. Далее описывается реализованная модель студента и алгоритм по выбору степени трудности задачи. Последние главы посвящены методике экспериментальной проверки упомянутого алгоритма, заключениям и направлениям дальнейшей работы.

Модель студента

В настоящее время разработчики программного обеспечения, которые заинтересованы в создании конкурентоспособных и используемых на практике систем электронного обучения, как правило, интегрируют в систему модель студента. Такая модель обеспечивает гибкость системы с точки зрения реализации учебного процесса, который наилучшим образом соответствует возможностям и потребностям отдельного обучаемого. Таким образом, система во время своей работы собирает данные об обучаемом, его/её когнитивном состоянии и психологических характеристиках и сохраняет их в модели студента, создаваемой отдельно для каждого обучаемого.

Проблема моделирования студента может быть представлена как проблема сравнения информации о взаимодействии обучаемого с системой со знаниями, хранящимися в самой системе. Результаты такого сравнения далее используются для получения заключений касательно соответствия знаний обучаемого знаниям предметной области, которые хранятся в системе. Цель получения заключений, в свою очередь, состоит в том, чтобы адаптировать учебный процесс, обеспечить объяснение или подсказку, подходящую обучаемому, и т.д. [4, 5, 6, 7, 8].

Таким образом, модель студента представляет собой множество данных об обучаемом. Это множество служит набором входных параметров для принятия педагогических решений системы и адаптации среды обучения. В частности, оно позволяет создать индивидуальную последовательность учебных материалов, обеспечить индивидуальную помощь (в виде объяснений, подсказок и других форм поддержки) обучаемому во время решения практических задач, выбрать форму представления материалов и реализовать интеллектуальный анализ решений обучаемого.

Содержание модели студента в каждом конкретном случае зависит от целей и задач обучения, для достижения которых система создана, а также от характеристик знаний предметной области [4]. На основе анализа различных работ в области моделирования студента можно выделить пять главных категорий информации, которая может храниться в модели студента [9-13]:

общая информация об обучаемом. Она позволяет системе идентифицировать обучаемого, который начинает сеанс обучения. Это достигается путём создания и последующего управления учётной записью пользователя. Общая информация, как правило, включает регистрационное имя и пароль пользователя. Дополнительно в системе может храниться и использоваться идентификационный номер студента и его/её персональные данные (имя, адрес электронной почты и т.д.);

информация о ходе учебного процесса и состоянии знаний и навыков студента, в том числе:

-  уровень обучения (новичок, эксперт и т.д.);

-  оценки, полученные при решении контрольных задач, тестов, вопросов и проблем;

-  правильные и неправильные ответы на задачи/вопросы и их количество, и/или точная последовательность выполненных шагов во время решения задачи/проблемы;

-  информация о задачах/проблемах, которые были решены обучаемым в прошлом, и задачах/проблемах, решаемых в настоящий момент;

-  информация о разделах теоретического материала, которые обучаемый освоил в прошлом, и разделах, которые он/она осваивает в данный момент;

-  информация о том, сколько раз обучаемый пытался решить задачу/проблему или ответить на вопрос;

-  время, затраченное обучаемым на решение задачи/проблемы и чтение разделов теоретического материала;

-  ошибки и неправильные представления обучаемого;

-  частота, типы и количество запрошенных подсказок, объяснений и других видов помощи;

информация о существенных когнитивных, эмоциональных и психологических характеристиках обучаемого, таких как характеристики мыслительных процессов, уровень концентрации, эмоциональное состояние, предпочтения обучаемого в учебном процессе (типы примеров, стиль обучения), и т.д.;

информация, связанная с опытом обучаемого, его/её интересами и знаниями, полученными в прошлом;

информация, касающаяся использования обучаемым возможностей, предоставляемых системой.

Принимая во внимание способ получения значений различных характеристик обучаемого, содержание модели студента может быть классифицировано следующим образом [14-16]:

непосредственно доступная информация, которая может быть получена из ответов обучаемого на вопросы анкет, предлагаемых системой, или посредством ввода данных через диалоговые окна;

выводимая информация, которая может быть получена при помощи тестовой диагностики, связанной с определением состояния обучаемого на основе его/её реакции на тест, или функциональной диагностики, при которой наблюдают и фиксируют параметры различных воздействий среды на обучаемого и его/её соответствующие реакции, или комбинации обоих упомянутых типов диагностики.

Как правило, сбор и обработка информации об обучаемом выполняется в соответствии со следующим сценарием. Модель студента создаётся в момент первичного доступа обучаемого в систему. Во время сеанса обучения система сохраняет в модели студента информацию обо всех событиях, которые могут быть существенны для педагогических решений системы. В начале нового сеанса информация о последнем учебном эпизоде считывается из модели студента, чтобы определить, в каком месте обучаемый прервал обучение в последний раз, и продолжить учебный процесс.

Таким образом, процесс диагностики обучаемого изначально выводит характеристики обучаемого из наблюдений за взаимодействием обучаемого с системой и сохраняет их в модели студента, а затем потребности обучаемого, касающиеся обучения, выводятся из модели студента и взаимодействия с системой. Как правило, процесс адаптации учебного процесса на основе использования модели студента может быть описан тремя фазами [17]:

1.     получение информации об обучаемом;

2.     обработка полученной информации с целью инициализации и обновления модели студента;

3.     использование модели студента с целью обеспечения адаптации учебного процесса.

Существуют различные методы отображения информации об обучаемом, в том числе оверлейная модель [18], в которой знания обучаемого представляются как подмножество знаний эксперта предметной области, модель на основе ошибок [19], отображающая как корректные знания обучаемого, так и ошибочные, сети Байеса [18], позволяющие отобразить вероятность того, что обучаемый знает то или иное понятие, и др.

Исследования в области моделирования студента ведутся со времён создания первой интеллектуальной обучающей системы. Если ранее большое внимание уделялось общим вопросам, таким как методы диагностики неправильных представлений обучаемых, отображение ошибочных суждений, выявление параметров обучаемого, наиболее важных для педагогических решений системы, то в последнее десятилетие произошло смещение к моделированию эмоционального состояния обучаемых, повышению их мотивации и использованию открытых моделей студента. Открытое моделирование студента делает модель студента видимой и интерактивной частью среды обучения. Открытая модель является источником обучения для обучаемых, позволяя им размышлять над состоянием своих знаний, а также активно участвовать в процессе диагностики [20].

Карты понятий

Карта понятий является полуформальным инструментом организации и отображения знаний. Она представляет собой граф, состоящий из конечного непустого множества вершин, соответствующих понятиям предметной области, и конечного непустого множества дуг (направленных или ненаправленных), отображающих связи между парами понятий. Если все дуги графа имеют одинаковый вес, граф называется однородным. Если дуги графа имеют различный вес, например, означающий, что некоторые связи между парами понятий, по мнению учителя (эксперта), являются более важными, чем другие [21], тогда граф является неоднородным. Название вида связи может использоваться для пояснения связи между понятиями. Основной семантической единицей карт понятий является суждение или, другими словами, тройной кортеж «понятие-связь-понятие». Суждение представляет собой смысловое утверждение касательно некоего объекта или события в предметной области [22].

Карты понятий позволяют предоставить обучаемым задачи различной степени трудности. Однако двумя основными группами задач являются:

·  задачи заполнения структуры карты понятий, в которых изначальная структура карты дана, и обучаемый должен заполнить её, используя предоставленный список понятий и/или названий видов связей;

·  задачи создания карты понятий, в которых обучаемый самостоятельно должен выбрать структуру карты и её содержание.

Использование карт понятий в виде средства оценивания знаний обеспечивает следующие преимущества:

·  карты понятий могут применяться для оценивания знаний в любой стадии учебного процесса, а именно перед началом учебного предмета для выявления, какими знаниями учащиеся уже обладают, во время учебного предмета для оценивания изменений в знаниях студентов и в конце учебного предмета для определения уровня знаний, полученных в процессе обучения;

·  регулярное использование карт понятий в рамках учебного предмета предоставляет как учащемуся, так и учителю ценную информацию: учащийся может убедиться, что учебный материал и отношения между рассмотренными понятиями освоены, и во время обнаружить проблемные места, а учитель может следить за тем, насколько учащиеся понимают учебный материал и какие неправильные представления у них создаются;

·  карты понятий позволяют оценить высшие уровни когнитивного развития по таксономии Блума [23], особенно в случае, когда учащимся необходимо указать самые подходящие виды отношений или самые важные поперечные связи [24];

·  карты понятий позволяют проверить понимание обучаемым взаимосвязи понятий, освоенных в рамках учебного предмета, а не степень запоминания отдельных фактов;

·  карты понятий достаточно универсальны и независимы от учебного предмета, потому что то или иное множество понятий и отношений между ними являются неотъемлемой частью практически всех учебных предметов;

·  карты понятий позволяют создавать компьютерные системы оценивания знаний, которые основываются на работе с графическими объектами (вершинами и дугами) и не требуют обработки естественного языка, таким образом обеспечивая более простую структуру и функциональные механизмы системы и её независимость от естественного языка.

·  пошаговое создание карты понятий и последовательность карт понятий, созданных обучаемым, могут иллюстрировать процесс развития понимания темы отдельным индивидом [25].

Краткий обзор интеллектуальной системы оценивания знаний

Упомянутая во введении интеллектуальная система оценивания знаний реализована как веб-приложение и имеет две цели [26] в контексте интеграции технологии в традиционный учебный процесс: способствовать самооцениванию знаний обучаемых и предоставить учителю возможность улучшения предметов на основе систематического оценивания и анализа знаний студентов. Карты понятий используются в качестве метода оценивания знаний обучаемых в системе.

Как правило, разработанная система оценивания знаний используется следующим образом [26]. Учитель определяет стадии оценивания знаний. Под стадией понимается любая законченная часть предмета, например, раздел или тема. Учитель создаёт карты понятий для каждой стадии оценивания таким образом, что карта понятий любой следующей стадии является расширением карты понятий предыдущей стадии. Карта понятий последней стадии включает в себя все понятия, важные в данном предмете, и связи между ними. Во время оценивания знаний обучаемый решает задачу, основанную на карте понятий и соответствующую текущей стадии оценивания знаний. Выбор степени трудности задачи производится на основе модели студента. После получения решения студента система сравнивает карту понятий обучаемого с картой понятий учителя, которая хранится в системе, производит подсчёт количества пунктов, набранных обучаемым, и генерирует обратную связь.

Система может использоваться в одном из двух режимов [27]. Режим самооценивания знаний введён с целью позволить обучаемому самому оценить его/её знания и пополнить их по конкретной теме, в случае, если знания являются неполными. Режим контроля знаний предназначен для оценивания знаний обучаемых учителем.

В настоящее время в системе реализован набор из шести задач (таблица 1), между которыми определены десять переходов, позволяющие обучаемому найти задачу, наиболее подходящую его/её уровню знаний [28]. Пять переходов повышают степень трудности задачи. Они выполняются системой автоматически, после того как обучаемый завершил процесс решения текущей задачи. Во внимание принимается, набрал ли обучаемый установленное учителем минимальное количество пунктов, не снижая степени трудности текущей задачи. Другие пять переходов позволяют снизить степень трудности задачи. Они могут быть выполнены на основе решения, принятого самим студентом во время работы над задачей.

Карты понятий, используемые в системе, имеют направленные дуги. Более того, в них могут применяться два типа связей:

·  важные связи указывают, что отношение между двумя понятиями рассматривается как важная единица знаний в данном предмете;

·  менее важные связи указывают на желательные, но необязательные единицы знаний.

 


Таблица 1

Задачи, реализованные в интеллектуальной системе оценивания знаний

 

Степень трудности

Тип задачи

Структура карты понятий

Понятия

Названия видов связей

1– самая низкая

Заполнение структуры карты понятий

Дана

Часть вставлена в структуру, часть дана в виде списка и она

должна быть вставлена в структуру обучаемым   

Вставлены в структуру

2

Даны в виде списка и должны быть вставлены в структуру обучаемым

3

Не используются

4

Даны в виде списка и должны быть вставлены в структуру обучаемым

5

Создание карты понятий

Должна быть создана студентом

Даны в виде списка и должны быть связанны обучаемым

Не используются

6 – самая высокая

Даны в виде списка и должны быть вставлены в структуру обучаемым

 

Карта понятий учителя служит стандартом, с которым сопоставляются карты понятий обучаемых. Для сравнения карт понятий используется специально разработанный алгоритм [29], который принимает во внимание расположение и связанность понятий в структуре карты понятий, а именно наличие определённой связи в карте понятий обучаемого, расположение понятий, правильность названия вида связи, тип и направление связи. Алгоритм позволяет системе распознать более 36 образцов правильных и частично правильных суждений в картах понятий обучаемых. Правильно созданные важные связи оцениваются в системе 5 пунктами, менее важные - 2 пунктами. Дополнительно к ранее указанным типам связей, система способна обрабатывать так называемые скрытые связи [30]. Скрытые связи являются производными связей, явно представленных в карте понятий учителя. Скрытые связи определяются на основе использования стандартных названий видов связи, таких как «это есть» (англ. is a), «являться примером» (англ. is an example of), «часть» (англ. part of), «иметь свойство» (англ. property), «иметь значение» (англ. value).  Скрытые связи оцениваются 0 пунктами, если студент создал все явно представленные связи, а также скрытую связь, и 1 пунктом, если какая-то из явно представленных связей отсутствует (рис.1).

 

 

Рис. 1. Пример скрытой связи

В настоящий момент система предоставляет обучаемому несколько видов обратной связи и помощи [31]. Сразу после завершения решения задачи обучаемому выводится его/её карта понятий с отмеченными на ней ошибками и неточностями по отношению к карте понятий учителя. Обучаемый имеет возможность получить детальную информацию о каждой связи в отдельности, а именно, почему она является неправильной в той или иной степени. Более того, обучаемому предлагается окно, содержащее количественные и качественные показатели. Количественные показатели информируют обучаемого о его/её деятельности и степени успеха в решении задачи. Они включают в себя такие параметры как порядковый номер стадии оценки, степень трудности задачи, количество пунктов, набранное обучаемым, максимальное количество пунктов за решение данной задачи, время, потраченное на решение задачи, время, отведённое учителем на решение задачи, детальное описание процесса расчёта количества пунктов обучаемого, среднее количество пунктов, полученное другими студентами при выполнении задачи той же стадии оценивания знаний, но при других степенях трудности. Качественные показатели включают в себя индивидуальный план обучения, указывающий, на освоение каких понятий обучаемый должен обратить особое внимание.

Во время решения задач обучаемый может запросить объяснение определённого понятия, вставить выбранное понятие в отведённую для него вершину структуры карты понятий или проверить суждение. В качестве объяснения понятия обучаемому в зависимости от модели студента может быть предоставлено определение, описание или пример использования понятия. Проверка суждения предусматривает выбор обучаемым любого из созданных им/ею суждений и получение информации о том,  является ли оно правильным или нет. В случае, если суждение неправильное, система выводит объяснения обоих понятий, составляющих суждение.

Разработанная система способствует самооцениванию знаний студентами, так как проводит анализ и оценивание карт понятий, созданных обучаемыми, а также обеспечивает обратную связь, позволяющую задуматься над допущенными ошибками. Систематическое оценивание знаний достигается возможностью расширения изначально созданной карты понятий для последующих стадий оценки. Более того, система собирает статистическую информацию касательно неправильных суждений студентов, тем самым позволяя учителю улучшать методы преподавания и карты понятий предметов.

Модель студента в интеллектуальной системе оценивания знаний

Как было упомянуто ранее, моделирование студента играет важную роль в адаптации электронных систем обучения.  В интеллектуальной системе оценивания знаний используется открытая модель студента, позволяющая индивидуализировать содержание и представление учебного материала. Содержание модели было выбрано на основе анализа возможных категорий информации в таких моделях (см. раздел «Модель студента») и отбора информативных единиц в соответствии со спецификой разработанной системы.  Последняя версия этой модели включает в себя четыре основные информационные категории:

· общая информация об обучаемом. Информация, хранящаяся в данной категории, используется для авторизации входа обучаемого в систему и для выборки карт понятий для данного обучаемого. Она включает в себя персональную информацию об обучаемом, такую как имя, фамилия и идентификационный номер студента, а также информацию об обучаемом как о пользователе системы, а именно роль в системе, регистрационное имя и адрес электронной почты (рис.2).

 

 

Рис. 2. Содержание категории „Общая информация”

Общую информацию об обучаемом изначально вводит администратор в процессе регистрации обучаемого в системе. Впоследствии при необходимости обучаемый может сам обновлять свои личные данные в разделе системы „Данные о студенте”;

информация о состоянии знаний обучаемого. Данная категория содержит начальный уровень знаний обучаемого для каждого отдельного предмета, карты понятий, заполненные/сконструированные обучаемым, количество набранных пунктов за отдельные карты понятий, неправильные связи между понятиями, степень освоения каждого понятия, а также автоматически сгенерированный индивидуальный план дальнейшего обучения в рамках каждого предмета. Единственный параметр, который может быть задан самим обучаемым в данной категории, это начальный уровень знаний предмета (рис.3). Для каждого предмета обучаемый имеет возможность установить один из трёх уровней знания: низкий уровень (англ. Low) означает, что обучаемый знает не более четверти всего учебного материала предмета, средний уровень (англ. Medium) указывает, что обучаемый знает около половины всего учебного материала предмета, и высокий уровень (англ. High) означает, что обучаемый знает весь (или почти весь) учебный материал. Начальный уровень знаний, указанный обучаемым, используется впоследствии системой для определения степени трудности, которая будет установлена для задачи первой стадии оценивания в предмете (подробнее алгоритм определения степени трудности задачи описан в следующей главе);   

 

 

Рис. 3. Окно установки уровня знаний обучаемого

информация о психологических характеристиках обучаемого. В данной категории хранится информация о выраженности различных стилей обучения в обучаемом в соответствии с моделью стилей обучения Фелдера-Сильвермана [32, 33]. Задача модели стилей обучения состоит в выявлении доминирования психологических характеристик обучаемого, принимая во внимание следующие аспекты (рис.4): визуальный/вербальный – отражает, через какие каналы обучаемый лучше всего воспринимает информацию (визуальный – картинки, диаграммы, графики; вербальный – звуки, письменный/устный текст); сенсорный/интуитивный – показывает, какую информацию обучаемый воспринимает лучше всего (сенсорный – знаки, звуки, физическое восприятие; интуитивный – воспоминания, идеи, озарения); последовательный/глобальный – отражает, как обучаемый приходит к пониманию темы (последовательный – логическая последовательность из маленьких шагов; глобальный – большие перескоки с одного предмета на другой предмет); активный/рефлексивный – показывает, как обучаемый обрабатывает информацию (активный – посредством вовлечения в физическую активность или дискуссии; рефлексивный – посредством интроспекции) [33-35]. Выявление стилей обучения  производится с помощью теста, представленного в [36], который был адаптирован под нужды интеллектуальной системы оценивания знаний. Стили обучения студента используются системой для определения степени трудности, которая будет установлена для задачи первой стадии оценивания в предмете (подробнее алгоритм определения степени трудности задачи описан в следующей главе);  

 

 

Рис. 4. Окно, отражающее выраженность стилей обучения

информация о предпочтениях обучаемого. В данной категории хранятся предпочтения обучаемого в отношении индивидуализации представления информации на экране. Они включают в себя приоритеты по отношению к получению различных типов объяснений понятий, язык и цветовое оформление пользовательского интерфейса (рис.5). Обучаемый может в любое время изменять свои предпочтения. 

 

 

Рис. 5. Содержание категории „Предпочтения обучаемого” 

Адаптация задач в интеллектуальной системе оценивания знаний

Модель студента, описанная в предыдущей главе, используется с целью выполнения задач адаптации в интеллектуальной системе оценивания знаний. Одним из примеров адаптации является выбор такой степени трудности задачи, которая лучше всего соответствует уровню знаний и стилю обучения студента. Алгоритм определения степени трудности задачи отображён на рис. 6. 

В соответствие с алгоритмом система сначала проверяет, указал ли обучаемый начальный уровень знаний (низкий, средний или высокий) для данного предмета. Если начальный уровень знаний был указан, то система выбирает степень трудности задачи на основе следующих правил „Уровень знаний (УЗ) – Степень трудности (СТ)”:

Правило УЗ-СТ 1: Если УЗ = Низкий, то СТ = 2;  

Правило УЗ-СТ 2: Если УЗ = Средний, то СТ = 4;

Правило УЗ-СТ 3: Если УЗ = Высокий, то СТ = 6.

В основе этих правил лежит простая логика: чем выше уровень знаний обучаемого, тем более трудная задача ему/ей предлагается.

В случае, если обучаемый не указал уровень знаний, то система проверяет, заполнил ли обучаемый тест по стилям обучения. Если тест был выполнен, то система выбирает степень трудности задачи, основываясь на правилах „Стиль обучения (СО) – Степень трудности (СТ)”:

Правило СО-СТ 1: Если СО = Последовательный, то СТ = 3; 

Правило СО-СТ 2: Если СО = Глобальный, то СТ = 5.

Рис. 6. Алгоритм выбора степени трудности задачи

 

Проведённое авторами исследование стилей обучения показало, что аспект „последовательный/глобальный” является единственным фактором модели стилей обучения, который может быть использован для выбора степени трудности задачи. Обучаемый с последовательным стилем обучения предпочитает изучать предмет маленькими связанными порциями, логически продвигаясь к освоению предмета в целом. Исходя из этого, обучаемому с последовательным стилем обучения система предлагает задачу, соответствующую третьей степени трудности (таблица 1), в которой даётся структура карты понятий, что позволяет обучаемому логически продвигаться в её заполнении (т.е. к уже помещённым понятиям добавлять новые связанные понятия). Обучаемый с глобальным стилем обучения предпочитает изучать предмет, постоянно перескакивая с одной темы на другую, в конце создавая представление о предмете в целом. Исходя из этого, обучаемому с глобальным стилем обучения система предлагает задачу, соответствующую пятой степени трудности (таблица 1), в которой структура карты понятий не дана, что позволяет обучаемому конструировать и заполнять отдельные части карты, а потом соединять эти части вместе, чтобы получить одну общую картину предмета.        

В случае, если обучаемый не указал уровень знаний и не выполнил тест по стилям обучения, система выбирает такую степень трудности задачи, которая была установлена учителем по умолчанию для данного предмета.

Методика экспериментальной проверки механизма адаптации

Алгоритм выбора степени трудности задачи, описанный в предыдущей главе, был реализован осенью 2010 года в последней версии интеллектуальной системы оценивания знаний. Далее описывается методика, которая будет применена для его экспериментальной проверки в весеннем семестре 2011 года в рамках предмета «Основы искусственного интеллекта», преподаваемого в Рижском техническом университете на факультете компьютерных наук и информационной технологии для студентов программы бакалавра третьего года обучения.

Чтобы определить эффективность работы алгоритма по выбору степени трудности задачи, планируется разделить всех студентов, которые будут участвовать в экспериментальной проверке системы, на три группы (Таблица 2).

 

 

Таблица 2

Разделение студентов на группы для проверки механизма адаптации

 

Действие перед оцениванием знаний при помощи системы

Первая группа

Вторая группа

Третья группа

Установка начального уровня знаний для предмета

ü

Прохождение теста по стилям обучения

ü

 

Студенты первой группы должны будут непосредственно перед оцениванием знаний указать начальный уровень знаний для предмета. Для студентов этой группы будет применён выбор степени трудности задачи на основе правил „Уровень знаний – Степень трудности” (см. предыдущую главу).

Студенты второй группы должны будут перед оцениванием знаний выполнить тест по стилям обучения. Для студентов второй группы будет применён выбор степени трудности задачи на основе правил „Стиль обучения – Степень трудности” (см. предыдущую главу).  

Студенты третьей группы должны будут сразу приступить к оцениванию знаний без предварительного указания начального уровня знаний для предмета и без выполнения теста по стилям обучения. Для студентов третьей группы будет установлена степень трудности задачи, указанная учителем по умолчанию для данного предмета.

После того как студенты всех трёх групп выполнят задачи, предложенные в рамках оценивания знаний (т.е. заполнят/сконструируют карты понятий), будет произведено сравнение результатов студентов, а именно планируется сопоставить среднее количество набранных пунктов в каждой из ранее упомянутых групп. Исходя из предположения о том, что студенты всех трёх групп одинаковы (т.е. студенты не отличаются по своему уровню знаний и интеллектуальным способностям), можно заявить, что количество набранных пунктов является объективным показателем эффективности работы алгоритма по выбору наиболее подходящей для обучаемого степени трудности задачи. Сравнение среднего количества набранных пунктов в каждой группе позволит сделать следующие выводы:

·  если среднее количество набранных пунктов первой группы больше среднего количества набранных пунктов третьей группы, то выбор степени трудности задачи на основании правил „Уровень знаний – Степень трудности” работает успешно (если меньше, то неуспешно);

·  если среднее количество набранных пунктов второй группы больше среднего количества набранных пунктов третьей группы, то выбор степени трудности задачи на основании правил „Стиль обучения – Степень трудности” работает успешно (если меньше, то неуспешно);

·  если среднее количество набранных пунктов первой группы больше среднего количества набранных пунктов второй группы, то выбор степени трудности задачи по правилам „Уровень обучения – Степень трудности” более эффективен, чем выбор степени трудности задачи на основании правил „Стиль обучения – Степень трудности” (справедливо и обратное).

Другим важным показателем, отражающим успешность работы алгоритма выбора степени трудности задачи, является среднее количество запросов студентов в каждой группе на снижение степени трудности задачи во время работы над задачей. Факт запроса на снижение степени трудности задачи свидетельствует о неправильно выбранной (слишком высокой) степени трудности задачи, что, в свою очередь, говорит о неуспешной работе алгоритма по выбору степени трудности задачи. Логика анализа среднего количества запросов на снижение степени трудности задачи проста: чем больше это количество в определённой группе, тем более неэффективным является выбор степени трудности задачи для данной группы. 

Субъективным показателем эффективности работы алгоритма выбора степени трудности задачи являются ответы студентов на вопросы анкеты о работе интеллектуальной системы оценивания знаний в целом. В данной анкете имеется вопрос „Была ли приемлемой для Вас начальная степень трудности задачи, предложенная системой?” с тремя вариантами ответов:

1. „Да, установленная степень трудности задачи отвечала моим потребностям”;

2. „Нет, установленная степень трудности задачи была слишком высока (задача была слишком трудной)”;

3. „Нет, установленная степень трудности задачи была слишком низкой (задача была слишком лёгкой)”.

Анализ ответов студентов каждой группы может также указать на то, успешно ли работает алгоритм выбора степени трудности задачи.

В заключениe необходимо отметить, что решение относительно эффективности работы алгоритма будет принято только на основании объективных числовых показателей. Субъективные мнения студентов будут только подтверждать результаты анализа числовых показателей, если мнения студентов совпадут с тем, на что указывают числовые показатели. В противном случае, мнения студентов будут просто проигнорированы, если они разойдутся с объективными числовыми показателями работы алгоритма.

Заключение

Модель студента, реализованная в интеллектуальной системе оценивания знаний, содержит четыре основные информационные категории: общая информация об обучаемом, информация о состоянии знаний обучаемого, информация о психологических характеристиках обучаемого и информация о предпочтениях обучаемого. Данная информация используется для адаптации интеллектуальной системы оценивания знаний. Одним из наиболее важных примеров адаптации является выбор начальной степени трудности задачи, которая наилучшим образом соответствует характеристикам студента. На сегодняшний момент алгоритм выбора степени трудности задачи полностью реализован в последней версии системы. В дополнение к этому разработана методика, которая будет применена для экспериментальной проверки эффективности работы алгоритма в будущем.

Дальнейшая работа включает в себя проведение экспериментальной проверки алгоритма адаптации степени трудности задачи, анализ её результатов и внесение необходимых изменений в систему. Более того, планируется исследовать возможности обеспечения других видов адаптации.

Литература

1.       Anohina A., Grundspenkis J. Prototype of Multiagent Knowledge Assessment System for Support of Process Oriented Learning // Proceedings of the 7th International Baltic Conference on Databases and Information Systems (Vilnius, Lithuania, July 3-6 2006). – 2006. – pp. 211-219.

2.       Vilkelis M., Anohina A., Lukashenko R. Architecture and Working Principles of the Concept Map Based Knowledge Assessment System // Proc. of the 3rd International Conference on Virtual Learning (Constanta, Romania, October 31-November 2 2008). – 2008. - pp. 81-90.

3.       Grundspenkis J. Concept Maps as Knowledge Assessment Tool: Results of Practical Use of Intelligent Knowledge Assessment System // Proceedings of the IADIS International Conference on Cognition and Exploratory Learning in Digital Age (Rome, Italy, November 20-22 2009). – 2009. - pp.258-266.

4.       Ragnemalm E. L. Student Modelling in Practice; Bridging a Gap / Интернетhttp://www.info2.uqam.ca/~nkambou/DIC9340/student-modelling-in-practice.pdf (дата обращения: 11.11.2010)

5.       Сташ Н., De Bra P., Cristea A. Адаптация к Стилям Обучения в Системе Общего Назначения AHA! (Adaptive Hypermedia Architecture!) // Educational Technology & Society. -2008. -№ 11(1). -c. 331–345.

6.       Шубин И., Святки Я., Белоус И. Методы интеграции учебных материалов для дистанционного обучения // Online Intenational Book Series "INFORMATION SCIENCE AND COMPUTING", BOOK 7 „Artificial Intelligence and Decision Making”. – 2008. – pp. 65-71

7.       Зайцева Л.В. Методы и модели адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. – 2003.- № 6(3). – с. 204 – 212.

8.       Martins A., Faria L., Carvalho C., Carrapatoso E. User Modeling in Adaptive Hypermedia Educational Systems // Educational Technology & Society. – 2008. – No.11 (1). - pp.194-207.

9.       Anohina A. The Problem-Solving Modes and a Two-Layer Model of Hints in the Intelligent Tutoring System for Minimax Algorithm // Proceedings of the 1st International Conference on Virtual Learning (Bucharest, Romania, October 27-29 2006). – 2006. - pp. 105-112.

10.    Буль Е.Е. Обзор моделей студента для компьютерных систем обучения // Educational Technology & Society. – 2003. - №  6(4).- c. 245-250.

11.    Данилова О. В. Особенности проектирования системы поддержки самостоятельного обучения // Educational Technology & Society. -2005. -№ 8(3). - c. 361–366.

12.    Brusilovsky P. The Construction and Application of Student Models in Intelligent Tutoring Systems // Journal of computer and systems sciences international.- 1994. No. 32 (1). - pp. 70-89.

13.    Зайцева Л.В., Буль Е.Е. Адаптация в компьютерных системах на базе структуризации объектов обучения // Образовательные технологии и общество. – 2006. - № 9(1). – с. 422 – 427.

14.    Conlan O. Novel Components for Supporting Adaptivity in Education Systems -Model-Based Integration Approach // Proceedings of the 8th ACM International Conference on Multimedia (Marina del Rey, California, United States, October 30 – November 3 2000). – 2000. - pp.519-520.

15.    Prentzas J., Hatzilygeroudis I., Garofalakis J. A Web-based Intelligent Tutoring System Using Hybrid Rules as its Representational Basis // Proceedings of the 6th International Conference ITS-2002 (Biarritz, France and San Sebastian, Spain, June 2-7 2002). – 2002. -pp.119-128.

16.    Савельев А.Я., Новиков В.А., Лобанов Ю.И. Подготовка информации для автоматизированных обучающих систем. - М.: Высшая школа, 1986. – 143 c.

17.    González C., Burguillo J.C., Llamas M. A Qualitative Comparison of Techniques for Student Modeling in Intelligent Tutoring Systems // Proceedings of the 36th ASEE/IEEE Frontiers in Education Conference (San Diego, CA, October 28 – 31 2006). – 2006. - pp.13-18.

18.    Beck J., Stern M., Haugsjaa E. Applications of AI in education // ACM Crossroads. – 1996. - Iss.3.1. - pp.11-15.

19.    Smith A.S.G. Intelligent tutoring systems: personal notes / Интернет http://www.eis.mdx.ac.uk/staffpages/serengul/Tutorial/table.of.contents.htm (дата обращения: 11.11.2010)

20.    Brna P., Van Labeke N., Morales R., Gibson I. Open Student Model. The LeActiveMath Consortium / Интернет – http://www.leactivemath.org/deliverables/LM_D29.pdf (дата обращения: 11.11.2010)

21.    Ahlberg M. Varieties of Concept Mapping // Proceedings of the First International Conference on Concept Mapping (Pamplona, Spain, September 14-17 2004). – 2004.

22.    Cañas A.J. A Summary of Literature Pertaining to the Use of Concept Mapping Techniques and Technologies for Education and Performance Support // Technical Report. -Pensacola, Florida, 2003.

23.    Bloom B.S. Taxonomy of educational objectives. Handbook I: The cognitive domain. -New York: David McKay Co Inc., 1956. -p.207.

24.    Novak J.D., Cañas A.J. The Theory Underlying Concept Maps and How to Construct and Use Them. // Technical Report. -Pensacola, Florida, 2008.

25.    da Rocha F.E.L., Favero E.L. CMTool: a Supporting Tool for Conceptual Map Analysis // Proceedings of  the World Congress on Engineering and Technology Education (Santos, Brazil, March 14-17 2004). – 2004.

26.    Felder R., Silverman L. Learning and Teaching Styles in Engineering Education // Engineering Education. - 1988. -Vol. 78, no. 7. - pp. 674–681.

27.    Lukashenko R., Anohina-Naumeca A., Vilkelis M., Grundspenkis J. Feedback in the Concept Map Based Intelligent Knowledge Asessment System // Proceedings of the 50th International Conference at Riga Technical University (Riga, Latvia,  October 14 2009). – 2010. – pp.17-26.

28.    Anohina-Naumeca A., Strautmane M., Grundspenkis J. Development of the Scoring Mechanism for the Concept Map Based Intelligent Knowledge Assessment System // Proceedings of the 11th International Conference on Computer Systems and Technologies (Sofia, Bulgaria, June 17-18 2010). – 2010. – pp. 376-381.

29.    Lukashenko R., Anohina-Naumeca A. Development of the Adaptation Mechanism for the Intelligent Knowledge Assessment System Based on the Student Model // Proceedings of  the EDULEARN’10 Conference (Barcelona, Spain, July 5-7 2010). – 2010. – pp.005140-005149.

30.    Anohina A., Vilkelis M., Lukashenko R. Incremental Improvement of the Evaluation Algorithm in the Concept Map Based Knowledge Assessment System // International Journal of Computers, Communication and Control. – 2009. – Vol. 4, No. 1. - pp. 6-16.

31.    Grundspenkis J., Strautmane M. Usage of Graph Patterns for Knowledge Assessment Based on Concept Maps // Proceedings of the 49th International Conference at Riga Technical University (Riga, Latvia,  October 15 2008). – 2008. – pp.60-70.

32.    Anohina A., Grundspenkis J. Learner's Support in the Concept Map Based Knowledge Assessment System // Proceedings of the 7th European Conference on e-Learning (Agia Napa, Cyprus, November 6-7 2008). – 2008. – pp.38-45.

33.    Lukasenko R., Grundspenkis J. Adaptation of Intelligent Knowledge Assessment System Based on Learner’s Model // Proceedings of the 16th International Conference on Information and Software Technologies IT 2010 (Kaunas, Lithuania, April 21-23 2010). – 2010. - pp.332-339.

34.    Пашкин М.П. Многоагентная интеллектуальная система дистанционного обучения // Тр. СПИИРАН. - 2006. - 3:1. - c. 126–137.

35.    Learning Styles. Embedding Learning Technologies / Интернетhttp://www2.plymouth.ac.uk/ed/ELT%20documents/umistlearningstyles.pdf (дата обращения: 14.05.2010)

36.    Soloman B., Felder R. Index of Learning Styles Questionnaire. NC State University. / Интернет –  http://www.engr.ncsu.edu/learningstyles/ilsweb.html (дата обращения: 14.05.2010)