Компьютерная система принятия решений по результатам экспертного оценивания в задачах оценки качества образования

Берестнева О.Г., Марухина О.В.
Томский политехнический университет
olgmik@exoft.ru

АННОТАЦИЯ
В настоящее время в различных областях человеческой деятельности в целях повышения качества планирования и управления разрабатываются и всемерно внедряются методы экспертизы. Экспертиза представляет собой мощное средство переработки слабо формализованных данных, которое позволяет выделить наиболее обоснованные утверждения специалистов-экспертов и использовать их, в конечном счете, для подготовки различных решений. Использование аппарата экспертного оценивания для оценки качества образовательного процесса помогает значительно упростить решение этой трудно формализуемой задачи. Разработанный авторами и описанный в статье универсальный программный продукт позволяет наиболее оптимально решать задачу оценки качества образовательного процесса по результатам экспертного оценивания.

Ключевые слова
экспертные оценки, принятие решений, нечеткие множества, функции принадлежности, интервальные оценки, степень принадлежности, база данных.

Введение

Необходимость подготовки учебными заведениями грамотных высокообразованных специалистов не вызывает сомнения. При этом, бесспорно, актуальными являются проблемы, связанные с качеством предоставления образовательных услуг.
Одним из перспективных направлений в указанной проблематике является создание и применение методов оценки и контроля качества образовательного процесса. В рамках данного направления ведутся интенсивные разработки практически в каждом вузе, как нашей страны, так и за рубежом.
Разработанные к настоящему времени системы (в том числе и автоматизированные) ориентированы, как правило, на решение задачи оценки и контроля качества в данном конкретном вузе. Анализ работ в данном направлении показывает, что применяемые методы и алгоритмы контроля и оценки качества образовательной деятельности направлены на решение узкоспециализированных задач [Смирнова Н.В., 2001; Востриков А.С., 2001; Приходько В.М. и др., 1998; Мануйлов В.Ф., и др.]
Таким образом, несмотря на результаты, достигнутые в этой области весьма важными являются работы как по созданию новых, так и по развитию существующих систем оценки и контроля качества образовательной деятельности, позволяющих решать более сложные задачи на базе современной вычислительной техники [Берестнева О.Г., Марухина О.В., 2001; Марухина О.В., Берестнева О.Г., 2002а; Марухина О.В., Берестнева О.Г., 2002б].
Применение экспертного оценивания позволяет получить наиболее полную информацию о состоянии образовательного процесса и особенно тех его составляющих, для оценки которых невозможно использовать количественные показатели.
Авторами данной статьи предложен вариант компьютерной системы оценки и контроля качества образовательной деятельности. Решение поставленной задачи основано на применении методов теории экспертного оценивания, использовании методов и алгоритмов теории нечетких множеств.

1. Экспертное оценивание

Экспертиза представляет собой мощное средство переработки слабо формализованных данных, которое позволяет выделить наиболее обоснованные утверждения специалистов-экспертов и использовать их, в конечном счете, для подготовки различных решений [Сидельников Ю.В., 2000].
Экспертная деятельность в области образования – система действий, выполняемых с привлечением экспертов, для анализа и оценки качества образовательного процесса с целью повышения обоснованности принимаемых решений в условиях частичной неопределенности, противоречий или конфликтов. В качестве экспертов могут выступать студенты, выпускники вуза, потенциальные работодатели и преподаватели.
Одним из существенных условий повышения надежности экспертных оценок социальных объектов является научно обоснованный отбор и формирование экспертной группы. Так, было выявлено, что точность групповой оценки экспертов зависит от численности экспертной группы: уменьшение числа экспертов ведет к снижению точности оценок, т. к. оценка каждого эксперта приобретает больший вес, увеличивается роль субъективного фактора. Однако при большом количестве участников экспертизы усложняется обработка их суждений, становится сложным выявить согласованность их мнений.
Экспертные оценки можно подразделить на несколько групп.
К первой группе относятся точечные экспертные оценки или, как их еще называют, «оценки типа времени осуществления события» выражаются в виде одного числа (одноточечные или просто точечные оценки), двух чисел (двухточечные или интервальные оценки), трех и более чисел (квартильные, квантильные и «вероятностные») оценки.
Квартильными называются точечные экспертные оценки, которые соответствуют той или иной степени уверенности эксперта в том, что оцениваемая величина не превзойдет соответствующего значения. Степень уверенности эксперта при этом выражается в процентах. Оценка, соответствующая 25% уверенности, называется первым квартилем; 50% -вторым квартилем или медианой; 75% - третьим квартилем.
Для получения многоточечных (квантильных) оценок, скорее всего, эксперт наметит наиболее ранний и наиболее поздний сроки осуществления события, а остальные оценки проставит, используя линейную интерполяцию или какой-либо другой прием. Поэтому для получения квантильных оценок применяют другой способ [Венецкий И.Г., Венецкая В.И., 1974]. Период прогнозирования делят на интервалы и предлагают экспертам указать вероятность осуществления события в каждый из этих временных интервалов. Квантильные оценки t₀, t₁₀, t₂₀ и т.д. получают не непосредственно, а в результате статистической обработки вероятностных оценок экспертов.
Исторически сложилось так, что точечные экспертные оценки нашли наиболее широкое применение в задачах прогнозирования. Однако в настоящее время они столь же широко применяются при решении других задач групповой экспертизы.
Ко второй группе экспертных оценок относят ранговые экспертные оценки. Ранговыми экспертными оценками называют оценки признаков объектов, полученные на основе устанавливаемого экспертом предпочтения одного объекта перед другим с точки зрения меры изучаемого качества и выражающиеся в виде чисел натурального ряда (рангов), присвоенных отдельным объектам. Однако ранги, присвоенные объектам, не являются числовой мерой изучаемого качества. Ранги есть лишь символы, указывающие положение каждого объекта в построенном ряду предпочтения по отношению к другим объектам. Поэтому расчетные операции, выполнимые с ранговыми оценками, отличаются от операций, которые могут быть выполнены на множестве чисел натурального ряда [Берестнева О.Г., и др., 2001, Бешенев С. Д., Гурвич Ф.Г., 1980].
К третьей группе относятся качественные экспертные оценки. Качественными называются экспертные оценки, не содержащие чисел и не являющиеся экспертными кривыми. Качественные экспертные оценки можно подразделить на две подгруппы: оценки, производимые по заранее составленным шкалам (оценки качественных признаков), и оценки, шкалы для которых заранее не могут быть составлены [Гладких Б. А., 1979]. Далее будут рассматриваться методы оценки экспертной информации, представленной в виде ранговых экспертных оценок.
Основными задачами статистической обработки индивидуальных ранжировок, как и экспертных оценок других видов, являются выявление среди группы экспертов «еретиков» и «школ», определение показателя обобщенного мнения и характеристика согласованности оценок, на основе которых определено обобщенное мнение.
Для определения обобщенной оценки каждого объекта необходимо применить какое-либо среднее, но невозможно доказать, что применение арифметического усреднения дает оценку лучшую, чем медиана или мода, хотя любое из этих средних характеризует центральную тенденцию группы экспертов [Венецкий И.Г., Венецкая В.И., 1974, Гласс Дж., Стенли Дж., 1976].
Оценка отдельным экспертом относительной важности каждого из некоторой совокупности качеств осуществляется путем назначения экспертами либо рангов этим качествам, либо некоторой количественной оценки, например, по 10-балльной системе. В последнем случае количественные оценки можно при обработке проранжировать по убыванию и получить оценки в рангах. Применение в данном случае методов ранговой корреляции целесообразно в связи с тем, что они представляют собой весьма удобный и эффективный аппарат определения показателя обобщенного мнения и вместе с тем степени согласованности мнений экспертов.
Согласованное мнение группы экспертов о распределении качеств с точки зрения их значимости может быть определено путем суммирования оценок в рангах, полученных каждым качеством в отдельности. Распределение сумм рангов, полученных каждым качеством, и представляет собой согласованное мнение экспертов о распределении значимых качеств по их относительной важности [Бешенев С.Д., Гурвич Ф.Г., 1980].
Показатель обобщенного мнения экспертов по каждому качеству может быть определен в виде частоты максимально возможных оценок, полученных некоторым качеством [Бешенев С.Д., Гурвич Ф.Г., 1980].
Таким образом, основными характеристиками при групповом экспертном оценивании являются следующие:

• обобщенное мнение группы экспертов,
• степень согласованности мнений экспертов,
• компетентность экспертов.

1.1. Показатели обобщенного мнения экспертов

В качестве показателя обобщенного мнения экспертов в случае, если каждое из свойств (качеств) оценивается отдельно, чаще всего используют одну из мер центральной тенденции.
Различные меры центральной тенденции совокупности данных предполагают разные определения «центрального положения». Существуют три такие меры: мода, медиана и среднее.
Каждая из мер центральной тенденции обладает характеристиками, которые делают ее ценной в определенных условиях.
Мода наиболее просто вычисляется – ее можно определить на глаз. Кроме того для очень больших групп данных это достаточно стабильная мера центра распределения. Во многих распределениях значительного числа измерений, используемых в педагогике и психологии, мода близка к двум другим мерам – медиане и среднему.
Медиана занимает промежуточное положение между модой и средним с точки зрения, если последнее осуществляется вручную. Эта мера получается почти прямым счетом и особенно легко в случае ранжированных данных. В больших массивах данные можно сначала сгруппировать (что значительно проще ранжирования), а затем можно легко найти медиану.
Среднее множества данных предполагает, в основном арифметические операции. На величину среднего влияют значения всех результатов. На величину среднего особенно влияют результаты, которые можно назвать «выбросами», т. е. данные находящиеся далеко от центра группы оценок. Преимущество это или нет – зависит от конкретных вопросов, которые необходимо решить. В случае, если экспертные оценки представлены в номинальной шкале, то в качестве меры центральной тенденции может быть использована только мода.
Оценки важности выражены в баллах и могут принимать значения от 0 до 10. Введем следующие обозначения исходных данных:
m - количество экспертов, i = 1,2,…,m;
n - количество качеств, предложенных для оценки, j = 1,2,.,n;
m_j- количество экспертов, оценивших j-ое качество;
m_j^|- количество максимально возможных оценок, полученных j-ым качеством;
C_ij - оценка относительной важности (в баллах) i-ым экспертом j-го качества.
М_j -среднее арифметическое значение величины оценки определенного направления исследования (в баллах).

(1)

Среднее арифметическое значение М_j определяется для каждого из качества и может принимать значения в пределах от 0 до 10 баллов. Нижний предел соответствует случаю, когда все эксперты дали минимально возможную оценку важности, а верхний предел – случаю, когда все эксперты дали максимально возможную оценку важности данному качеству
Одним из показателей обобщенного мнения экспертов является частота К_j^| максимально возможных оценок (10 баллов), полученных j-ым качеством [Бешенев С. Д., Гурвич Ф.Г., 1980] Гурвич Ф.Г., 1980]

(2)

Частота К_j^| максимально возможных оценок определяется для каждого из j качеств и может принимать значения в пределах от 0 до 1. Нижний предел соответствует случаю, когда среди оценок, полученных j-ым качеством, отсутствуют максимально возможные оценки, а верхний - случаю, когда все оценки, полученные j-ым качеством, являются максимально возможными. Важность развития j-ого качества возрастает при изменении К_j^| от 0 до 1. Показатель К_j^| следует рассматривать как дополнительный к показателю важности М_j. К_j^| характеризует важность j-го качества с точки зрения количества присужденных ему «первых мест».

1.2. Коэффициент компетентности экспертов

Компетентность эксперта определяется структурой аргументов, послуживших ему основанием для ответа, а также степенью его знакомства с рассматриваемым вопросом
Структура аргументов, послуживших ему основанием для произведенной им оценки, учитывается коэффициентом аргументированности К_а. Этот коэффициент определяется путем оценки источников аргументации и учета степени влияния источника и суммирования соответствующих численных значений. Значениям:
К_а = 1 соответствует высокая степень влияния источника на мнение эксперта,
К_а = 0,8 - средняя степень влияния,
К_а = 0,5 - низкая степень влияния.
Степень знакомства эксперта с обсуждаемой проблемой учитывается коэффициентом знакомства К_з, который определяется путем нормирования значения соответствующей оценки, проставленной экспертом, т.е. умножением ее на 0,1. Эксперт отмечает степень своего знакомства на шкале, имеющий вид, приведенный в табл 1.

(3)

1.3. Показатели степени согласованности мнений экспертов

1.3.1. Коэффициент вариации

Коэффициент вариации V_j оценок, полученных j-м качеством, определяется следующим образом:

• вычисляется дисперсия D_j, оценок, данных j-му качеству

(4)

• определяется среднеквадратическое отклонение оценок, полученных j-м качеством

(5)

• определяется коэффициент вариации оценок, полученных j-м качеством:

(6)

• Коэффициент вариации определяется для каждого качества и характеризует степень согласованности мнении экспертов об относительной важности j-го качества. Чем меньше значение V_j, тем выше степень согласованности мнений экспертов об относительной важности j-го качества [Бешенев С. Д., Гурвич Ф.Г., 1980].

1.3.2. Коэффициент ранговой корреляции Спирмена

Для характеристики степени согласованности двух любых ранжировок, назначенных двумя индивидуумами определенному количеству объектов по степени выраженности некоторого качества, в математической статистике используется ранговый коэффициент корреляции. Этот показатель целесообразно применить и для определения степени согласованности мнений экспертов.
Чаще всего используют коэффициент корреляции рангов, предложенный К. Спирменом (1904) [Берестнева О.Г., и др., 2001]:

(7)

1.3.3. Коэффициент конкордации

Для характеристики согласованности группы индивидуальных ранжировок наиболее часто применяют коэффициент конкордации

(8)

где - сумма рангов, полученных данным объектом во всех ранжировках;
- средняя сумма рангов, полученная одним объектом;
m - число экспертов;
п - число ранжируемых объектов.
Коэффициент конкордации меняется в пределах от 0 (полная несогласованность) до 1 (полная согласованность). Согласованность группы считают высокой при W ≥ 0,8. Но чаще W применяется для поиска экспертов, предложивших ранжировки, наиболее отличающиеся от групповых «еретиков».
При этом W вычисляют для всей группы экспертов в целом, а затем -для группы, из которой один эксперт исключен. Если при этом W повышается, то это означает, что исключенная ранжировка «разрыхляла» группу. Исключая поочередно каждого эксперта, находим эксперта, ранжировка которого наиболее сильно разрыхляла группу и, следовательно, в наибольшей степени отличалась от групповых оценок [Бешенев С. Д., Гурвич Ф.Г., 1980].

2. Принятие решений по результатам экспертного оценивания

2.1. Критерии принятия решений

Следующим этапом после обработки результатов экспертного оценивания (т.е. вычисления всех приведенных выше показателей) является этап принятия решения. Рассмотрим более подробно возможные подходы к решению данной задачи.
Принятие решения представляет собой выбор одного из некоторого множества рассматриваемых вариантов: . Условимся, прежде всего, что каждым вариантом однозначно определяется некоторый результат . Эти результаты должны допускать количественную оценку, и эти оценки для простоты будут отождествляться с соответствующими результатами, обозначая их одним и тем же символом .
Целью данного выбора является выбор варианта с наибольшим значением результата . При этом считается, что оценки характеризуют такие величины, как, например, выигрыш, полезность или надежность. Противоположная ситуация с оценкой затрат или потерь можно исследовать точно также путем минимизации оценки или, как это делается чаще, с помощью рассмотрения отрицательных величин полезности.
Таким образом, выбор оптимального варианта производится с помощью критерия [Мушик Э., Мюллер П., 1990]:

(9)

Это правило выбора обозначает следующее: множество оптимальных вариантов состоит из тех вариантов , которые принадлежат множеству всех вариантов и оценка которых максимальна среди всех оценок . (Логический знак читается как «и» и требует, чтобы оба связываемых им утверждения были истинны.)
Максимальный результат может достигаться в множестве всех результатов многократно, поэтому выбор оптимального варианта в соответствии с критерием (9) не является, вообще говоря, однозначным, поскольку Необходимость выбирать одно из нескольких одинаково хороших решений на практике обычно не создает дополнительных трудностей [Мушик Э., Мюллер П., 1990].
Случай принятия решений, при котором каждому варианту решения соответствует единственное внешнее состояние с точки зрения его практических применений является простейшим и весьма частым. В более сложных структурах каждому допустимому варианту решения вследствие различных внешних условий могут соответствовать различные внешние условия (состояния) и результаты решений. Здесь понимают как полезности решения оценку соответствующую, варианту и условиям .
Семейство решений описывается некоторой матрицей решений :

(10)

При увеличении объема семейства по сравнению с рассмотренной выше ситуацией детерминированных решений связано как с недостатком информации, так и с многообразием решений.
В таком случае необходимо выбирать решение с наилучшим результатом, но так как не известно, с какими условиями можно столкнуться, то приходится принимать во внимание все оценки , соответствующие варианту Первоначальная задача максимизации согласно критерию (9) должна быть заменена другой, походящим образом учитывающей все последствия любого из вариантов решения [Загоруйко Н. Г., 1991].
Существует множество критериев принятия решений: минимаксный критерий; критерий Байеса-Лапласа; расширенный минимаксный критерий; критерий Гурвица; критерий Сэвиджа и другие [Плаус Скотт, 1998]. Ниже изложено краткое описание некоторых из них.

2.2. Минимаксный критерий

Минимаксный критерий (ММ) использует оценочную функцию, соответствующую позиции крайней осторожности. При

(11)

и

(12)

справедливо соотношение

(13)

где - оценочная функция ММ-критерия.
Правило выбора решения в соответствии с ММ-критерием можно интерпретировать следующим образом:
Матрица решений дополняется еще одним столбцом из наименьших результатов каждой строки. Выбрать надлежит те варианты , в строках которых стоят наибольшие значения этого столбца.
Выбранные таким образом варианты полностью исключают риск. Это означает, что принимающий решение не может столкнуться с худшим результатом, чем тот, на который он ориентируется. Какие бы условия ни встречались, соответствующий результат не может оказаться ниже . Это свойство заставляет считать минимаксный критерий одним из фундаментальных и, поэтому в задачах принятия решений он применяется чаще всего, как сознательно, так и неосознанно [Загоруйко Н. Г., 1991].

2.3. Критерий Байеса – Лапласа

При построении оценочной функции (согласно ММ-критерию) каждый представлен лишь одним из своих результатов . Критерий Байеса – Лапласа (BL), напротив, учитывает каждое из возможных следствий.
Пусть - вероятность появления внешнего состояния , тогда для BL-критерия

	(14)
	(15)
	(16)

Соответствующее правило выбора можно интерпретировать следующим образом:
Матрица решений дополняется еще одним столбцом, содержащим математическое ожидание значений каждой из строк. Выбираются те варианты , в строках которых наибольшее значение этого столбца.
При достаточно большом количестве реализаций среднее значение постепенно стабилизируется. Поэтому при полной (бесконечной) реализации какой-либо риск практически исключен.
Исходная позиция применяющего BL-критерия оптимистичнее, чем в случае ММ-критерия, однако она предполагает более высокий уровень информативности и достаточно длительные реализации [Загоруйко Н. Г., 1991].

2.4. Метод анализа альтернатив (принятие решений в условиях неопределенности)

Наиболее перспективными методами принятия решений в слабоструктурированных проблемных областях являются, на наш взгляд, методы, основанные на теории нечетких множеств. Одним из таких методов является метод анализа альтернатив (принятие решений в условиях неопределенности), предложенный Борисовым и Крумбергом [Борисов А.Н. и др., 1990]. Метод имеет место в случае, когда оценки задаются, как степени соответствия альтернатив понятиям, определяемым критериями. Используется свертка на основе операции пересечения нечетких множеств.
Пусть имеется множество из m альтернатив А = {a₁,a₂,…,a_m}, тогда для критерия С может быть рассмотрено нечеткое множество

(17)

где m _C (a_i) [0, 1] – оценка альтернативы a_i по критерию С и характеризует степень соответствия альтернативы понятию, определяемому понятием С.
Если имеется n критериев: С₁, С₂, С₃,то лучшей считается альтернатива, удовлетворяющая и критерию С₁, и С₂, и …, и С_n. Тогда правило для выбора наилучшей альтернативы может быть записано в виде пересечения соответствующих нечетких множеств

(18)

Операции пересечения нечетких множеств соответствует операция минимума, выполняемая над их функциями принадлежности

(19)

В качестве лучшей выбирается альтернатива а^*, имеющая наибольшее значение функции принадлежности [Борисов А.Н. и др., 1990]

(20)

Алгоритм принятия решений в условиях неопределенности предполагает существование функций принадлежности. Возможно два варианта задания числовых значений функции принадлежности:

1. непосредственное задание экспертом mС в интервале [0;1];
2. переход от количественной шкалы к значениям mС при помощи метода построения функции принадлежности на основе интервальных оценок [Борисов А.Н. и др., 1990].

(21)

3. Программное обеспечение

Авторами статьи разработано универсальное программное обеспечение для системы оценки качества образования. Основная цель разработки - анализ и обработка результатов экспертного оценивания (в качестве экспертов выступают студенты, выпускники вуза, преподаватели, работодатели).
Структурная схема программного обеспечения, предназначенная для решения поставленной задачи, приведена на рис. 1.

Рис. 1. Структурная схема программы.

• блок настройки параметров;
• база данных;
• блок обработки.

1. Блок настройки параметров. Здесь происходит задание сведений, критериев и интервалов оценивания, при их отсутствии, а также, их изменение при корректировке исходных данных, либо при вводе новых данных.
2. База данных. Здесь происходит хранение исходных данных, которые в дальнейшем, поступают в следующий блок для их обработки.
3. Блок обработки, в этом блоке происходит обработка данных при помощи критериев принятия решений, методов оценки экспертной информации, а также, методов теории нечетких множеств.

1. процессор – Intel Celeron-333Mhz/128Kb MMX (PPGA / socket 370);
2. память – DIMM 64Mb (100MHz, SDRAM, 168pin, 10ns);
3. операционная система Windows 98;

4. Интерпретация и анализ результатов

В настоящее время система запущена в опытную эксплуатацию на факультете автоматики и вычислительной техники Томского политехнического университета.
Среди задач оценки качества образования, которые были решены на базе данной компьютерной системы, наиболее интересными представляются следующие:

1. Оценка качества преподавания.
2. Оценка профессионально-значимых качеств студентов последнего года обучения (выпускников).

4.1. Оценка качества преподавания

Контроль качества работы преподавателя является одной из сложных и важных задач в общей проблеме управления качеством обучения.
Деятельность преподавателя многогранна. По официальной отчетности, она включает такие виды деятельности как учебную, учебно-методическую, научно-исследовательскую, организационно-методическую, воспитательную работу, всесторонне оцениваемые в ходе аттестации. Однако, без учета мнения студентов оценка деятельности преподавателя является неполной. Мнение студентов о преподавателе выявляется при помощи анкетирования.
За время обучения студенты довольно хорошо овладевают умением разбираться в людях, с которыми видятся почти каждый день, и от которых в их жизни зависит многое - в преподавателях. Для оценки преподавательской деятельности использовалась анкета «Преподаватель - глазами студента» [Зеленцов. Б., 1999]. Вопросы этой анкеты и являлись критериями оценки качества преподавания [Марухина О.В., Берестнева О.Г., 2002б].
Ниже продемонстрирована работа программы на примере решения задачи оценки качества деятельности преподавателей (рис. 2-5).
На рис.2 представлена форма, которая содержит таблицу со списком критериев, по которой осуществляется экспертное оценивание. Здесь пользователь может создавать новый список критериев на основе старого.
Далее необходимо перейти к форме, изображенной на рис. 3, на которой расположены кнопка (создать новую таблицу), окно для выбора объекта оценивания и таблица, в которой автоматически отображаются данные об экспертных оценках выбранного объекта. При нажатии на кнопку Создать новую таблицу будет создана новая таблица для экспертного оценивания, содержащая список критериев, заданный ранее и чистые поля для занесения в них экспертных оценок. В данном случае создано 9 полей экспертных оценок, для 9-ти экспертов.

Рис. 2. Вид формы для создания списка критериев для оценки качества деятельности преподавателей.

Рис. 3. Вид формы «Экспертное оценивание».

Рис. 4. Вид формы «Степень согласованности экспертов».

Рис.5. Вид выходной формы для оцениваемого Б^*.

4.2. Оценка профессионально-значимых качеств студентов последнего года обучения (выпускников)

Для решения задачи оценки профессионально значимых качеств специалистов на основе анализа мнений экспертов исходными данными являются результаты экспертных оценок студентов-выпускников факультета АВТФ ТПУ по критериям, разработанным группой экспертов с учетом требований Государственного стандарта [Берестнева О.Г., Марухина О.В. 2002] для специальности Прикладная математика (табл. 2) и требований работодателей [Марухина О.В., Берестнева О.Г., 2002а].

Рис.6. Вид выходной формы оценки профпригодности группы студентов пятого курса.

Заключение

Для решения задачи оценки качества образовательной деятельности были использованы стандартные методы обработки и анализа результатов экспертного оценивания, а также методы теории нечетких множеств.
На основе выбранных методов, был сформулированы алгоритмы решения задачи, разработана структура компьютерной системы и осуществлена программная реализация алгоритмов. Программа была реализована в среде программирования Delphi 5.0, эта среда программирования была выбрана в связи с широкими возможностями и, в частности, с возможностью разработать удобный пользовательский интерфейс.
Анализ результатов показал, что разработанная компьютерная система реализует необходимый на данном этапе перечень задач.

Литература

[Берестнева О.Г., и др., 2001] Берестнева О.Г., Уразаев А.М., Муратова Е.А., Кубарев Е.Н., Воробьева Н.Г. Математические методы в психологии. Учебное пособие / Под ред. О. Г. Берестневой, А. М. Уразаева. – Томск: Изд-во Томского государственного педагогического университета, 2001. – 304 с., ил.
[Берестнева О.Г., Марухина О.В., 2001] Берестнева О.Г., Марухина О.В. Применение компьютерных технологий и сети Интернет для оценки качества образовательных услуг в системе высшей школы. Качество образования. Достижения. Проблемы. Материалы IV Международной научно-практической конференции. Под общей ред. А.С. Вострикова. – Новосибирск. Идз-во НГТУ, 2001. – С. 189
[Берестнева О.Г., Марухина О.В., 2002] Берестнева О.Г., Марухина О.В. Государственный образовательный стандарт как критерий качества образовательного процесса: Труды V международной научно-практической конференции «Проблемы и практика инженерного образования», Томск, 24-26 мая 2002. – Томск: Изд. ТПУ, 2002 с. 86-87.
[Бешенев С.Д., Гурвич Ф.Г., 1980] Бешенев С. Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. -М.: Статистика, 1980.
[Бобровский С., 2000] Бобровский С. Delphi 5: учебный курс – СПб: Издательство «Питер», 2000. – 640 с.
[Борисов А.Н. и др., 1990] Борисов А.Н., Крумберг О.А., Федоров И.П.Принятие решений на основе нечетких моделей: Примеры использования. – Рига: Зинатне, 1990. – 184 с.
[Венецкий И.Г., Венецкая В.И., 1974] Венецкий И.Г., Венецкая В.И. Основные математико-статистические понятия и формулы в экономическом анализе. - М.: Статистика.-1974.
[Востриков А.С., 2001] Качество образования. Достижения. Проблемы. Материалы IV Международной научно-методической конференции. Под общ. ред. А.С.Вострикова. – Новосибирск. Изд-во НГТУ, 2001. – 443 с. [Гладких Б. А., 1979] Гладких Б. А. Лекции по исследованию операций. Принятие решений при неопределенности / Под ред. А. Ф. Терпугов. – Томск: Изд-во Томского университета, 1979. – 120 с., ил.
[Гласс Дж., Стенли. Дж., 1976] Гласс Дж., Стенли. Дж. Статистические методы в педагогике и психологии. – М.: Прогресс, 1976. – 495 с.
[Загоруйко Н. Г., 1991] Загоруйко Н. Г. Вычислительные системы. Сборник научных трудов. Экспертные системы и анализ данных / Под ред. Н. Г. Загоруйко. - Новосибирск, 1991. - 177 с.
[Зеленцов. Б., 1999] Зеленцов. Б. Студенты о преподавателе: методика опроса// Высшее образование в России № 6, 1999, с. 44-47
[Мануйлов В.Ф., и др., 2001] Мануйлов В.Ф., Дмитренко В.П., Федотова А.В., Шишков Г.М., Галетова Н.Л. Образовательные услуги и управление качеством. Под редакцией Петрова А.П. – М.: «ЛАТМЕС», 2001. – 196 с.
[Марухина О.В., Берестнева О.Г., 2002а] Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования //Стандарты и качество, № 4, 2002, с. 35-36
[Марухина О.В., Берестнева О.Г., 2002б] Марухина О.В., Берестнева О.Г. Системный подход к оценке качества высшего образования //Открытое образование, № 3, 2002. с. 38-42
[Мушик Э., Мюллер П., 1990] Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с нем. – М.: Мир, 1990. – 208 с., ил.
[Плаус Скотт, 1998] Плаус Скотт Психология оценки и принятия решений: пер. с англ. - М.: Филин, 1998. – 368 с.
[Приходько В.М. и др., 1998] Приходько В.М., Мануйлов В.Ф., Луканин В.Н., Смирнов С.А., Шленов Ю.В., Федоров И.В., Вражнова М.Н. Высшее техническое образование: мировые тенденции развития, образовательные программы, качество подготовки специалистов, инженерная педагогика. – Под редакцией Жураковского В.М. – М., 1998. – 304 с.
[Сидельников Ю.В., 2000] Сидельников Ю.В. Моделирование поведения и интеллекта: экспертология – новая научная дисциплина//Автоматика и телемеханика. – 2000.-вып.2 с. 107.
[Смирнова Н.В., 2001] Смирнова Н.В. Структурно-функциональные характеристики образовательного процесса. /Теоретический журнал CREDO/, № 25 2001.