Educational Technology & Society 9(1) 2006
ISSN 1436-4522
pp. 441-449

Квалиметрия образовательных услуг (Измерения в системе менеджмента качества вуза)

Г.Утехин, Б.Мишнев
кафедра менеджмента и кафедра программного обеспечения компьютерных систем
Институт транспорта и связи, Рига, Латвия
utehin@btv.lv
bfm@tsi.lv

АННОТАЦИЯ
Статья посвящена результатам исследований, проведенных в Институте транспорта и связи (TSI) по разработке и внедрению системы управления качеством образовательных услуг на основании требований международного стандрата качества ISO 9001:2000. При разработке и последующей эксплуатации системы управления качеством образовательных услуг была определена методика для измерения качества объектов, связанных с предоставляемыми в ВУЗе услугами. Рассмотрена постановка проблемы с точки зрения «башни качества». Рассмотрены варианты описания жизненного цикла образовательной услуги.
The paper deals with the results of the research in development and implementation of Quality Management System (QMS) for Education Service that was designed in the Transport and Telecommunication Institute (TTI) regarding international standard ISO 9001:2000. During the system development and maintenance of the QMS a methodology for quality measurement of higher school educational objects was defined. The problem was analyzed from the “Quality Tower” point of view. Some examples of the educational service life cycle descriptions were reviewed.

Ключевые слова
измерения, система управления качеством, образовательные услуги, стандарт качества ISO 9001.

 

Введение

По мнению Д.И.Менделеева, наука начинается тогда, когда начинают измерять. Менеджмент вообще и менеджмент качества, в частности, претендует на статус науки. Обоснованность этого его притязания подтверждается существованием квалиметрии – науки об измерении характеристик качества. Эта наука разрабатывает и исследует методы оценки потребительских свойств таких объектов, как продукт, услуга, процесс, проект. В отличие от метрологии, решающей задачи объективной оценки размеров физических величин, квалиметрия занимается оцениванием физических и нефизических объектов с позиции их потребителей. Как гласит один из принципов Всеобщего менеджмента качества (TQM), «стандарт качества задает потребитель».
Квалиметрические методы применяются в товарном производстве с незапамятных времен, и следы их применения можно отыскать в любой организации, где даже представления не имеют о квалиметрии. В настоящей работе описываются результаты исследования, проведенного в Институте транспорта и связи (TSI), по разработке и внедрению системы управления качеством образовательных услуг на основании требований международного стандрата качества ISO 9001:2000.

Методология исследования

Существует градация систем менеджмента качества организаций по наличию и применению в них методов измерений и контроля качества. Эта градация изображается Башней Качества (рис. 1).


Рис. 1. Башня качества
Этажи Башни Качества представляют собой этапы развития системы управления качеством, которые должна пройти каждая организация, снизу вверх, не перескакивая через ступени. Стандарт ISO 9001:2000 (Системы менеджмента качества. Требования) предъявляет к организациям требования, относящиеся к нижним четырем ступеням: Менеджмент окружающей среды, пятый уровень развития методологии менеджмента в организации, регламентируется в настоящее время стандартами серий ISO 14000 и OHSAS 18000. Этот уровень в данной статье не рассматривается.
Выполнение этого требования на промышленном предприятии, выпускающем материальную продукцию, не вызывает методических проблем. Могут возникать только технические и финансовые трудности. Там и параметры продукции стандартизованы, и технологии регламентированы, т.е и объект контроля, и требования определены. Иное дело – в организациях, предоставляющих услуги, в страховых компаниях, в лечебных учреждениях, в учебных заведениях. Там не вполне ясно не только, что есть качество, не только какой продукт производится, но даже кто является его потребителем. Другая особенность этих организаций в том, что большинство технологических процессов относятся к категории так называемых специальных, т.е. таких, качество выполнения которых не может быть проверено последующим контролем. Для таких процессов упомянутый стандарт предусматривает процедуру аттестации (или валидации – см. п. 7.5.2 стандарта). Третья типичная особенность большинства организаций, предоставляющих услуги потребителям, - широкое применение экспертных методов оценки качества.
Авторы статьи на собственном опыте и в полной мере ощущают методологические сложности в измерении характеристик качества образовательных услуг. Своим опытом (как положительным, так и отрицательным) авторы намерены поделиться с читателями, предполагающими внедрять стандарт ISO 9001:2000 в учебных заведениях.
Работы по созданию системы управления качеством в Институте транспорта и связи (TTI) были начаты в конце 90-х годов (Kabashkin, I., 1998). В это время был опубликован ряд документов, посвященных интерпретации стандрта ISO 9001 для высших учебных заведений, в основном в Великобритании (например, (NACB, 1994) и (Karapetrovic S., 1998)). В связи с созданием единого европейского образовательного пространства вопрос об использовании стандартов качества для управления качеством подготовки в высших учебных заведениях приобрел новую актуальность. В последее время был выдвинут общеевропейских ряд инициатив в этой области (QA in BHI, 2003). Настоящая работа посвящена одному из аспектов внедрения систем управления качества – измерению качества продуктов и процессов в высшем учебном заведении.

Объекты оценки качества

Этажи Башни Качества различаются не только методами оценки, но и объектами, к которым эта оценка применяется.

Управление качеством и, соответственно, решение задач оценивания, осуществляется на всех этапах жизненного цикла продукции (услуги). На рис. 2 приведены основные этапы создания и предоставления образовательных услуг. Здесь выходная продукция каждого предыдущего этапа служит входом для процессов следующего этапа.

Рис. 2. Жизненный цикл образовательной услуги
Такова теория. На практике, при построении системы менеджмента качества образовательных услуг объекты оценки не так очевидны. Ниже предлагается попытка идентификации объектов оценки в системе менеджмента качества образовательных услуг института в части реализации бакалаврских и магистерских программ обучения. Сводные данные об объектах и методах оценивания качества, актуальных для вуза приведены в таблице 1.
Таблица 1. Сводные данные об объектах и методах оценивания качества, актуальных для вуза

Задачи оценивания

Объекты оценивания

Нормируемые требования к объектам

Методы оценивания

Контроль и отбраковка продукции

 

 

 

 

 

 

 

 

Учебные программы и планы

Соответствие заданиям, полученным от ректората, квалификационным требованиям, аналогам и нормам законодательства

Самоаккредитация, экспертиза учебных документов

Методическая литература

Соответствие учебным программам. Актуальность содержания. Грамотность и логичность изложения

Рецензирование, редактирование, нормоконтроль

Расписание занятий

Соответствие нормативам. Соответствие учебным программам. Соответствие договорным обязательствам института

Проверка соответствия по запланированным часам. Согласование с заинтересованными сторонами

Учебное оборудование

Соответствие учебным программам. Техническая исправность. Безопасность

Инспектирование техническими службами. Анкетирование студентов и преподавателей

Знания рефлектантов

Соответствие установленным для учебной программы требованиям

Централизованные вступительные экзамены

Текущая успеваемость

Выполнение графика индивидуальной работы обучающегося

Зачеты по лабораторным, домашним и пр. работам. Рассмотрение на заседаниях кафедр

Знания по учебной дисциплине

Усвоение теоретического минимума. Наличие предусмотренных программой практических навыков

Экзамены, зачеты, защита отчетов по практикам

Готовность выпускной работы к защите

Решение задач, сформулированных в задании на выпускную работу. Соблюдение графика работы. Качество оформления

Нормоконтроль, предзащита

Квалификация выпускников

Соответствие квалификационным требованиям. Решение задач, сформулированных в задании на выпускную работу

Защита выпускной работы и выпускной экзамен

Управление процессами и ресурсами

 

 

 

 

 

 

Квалификация преподавателей

Соответствие квалификационным требованиям

Выборы на должность, ежегодная аттестация, открытые занятия

Готовность аудиторий и лабораторий к проведению занятий

Техническое состояние. Безопасность. Соответствие нормативам

Приемка специалистами технической службы

Выполнение учебных планов

Соответствие годовому рабочему учебному плану и методическому плану

Проверка по записям в журналах занятий. Сравнение ведомостей с учебным планом

Соблюдение расписания занятий

Соответствие правилам внутреннего распорядка

Выборочные проверки, учет срывов и переносов занятий

Посещаемость обучающихся

Выполнение графика самостоятельной работы

Ведение журналов посещаемости

Методика преподавания

Правила проведения аудиторных занятий

Открытые занятия с обсуждением на заседании кафедры

Соблюдение учебных планов

Соответствие аккредитованным учебным программам и условиям аккредитации

Самоаккредитация

Обеспечение эффективности системы управления

 

 

 

Организационная структура и правила функционирования

Соблюдение норм законодательства и условий аккредитации

Экспертиза проектов руководящих документов

Процессы управления и взаимодействия между уровнями управления

Выполнение внутренних руководящих документов

Внутренний аудит качества

Повседневная работа персонала и подразделений

Выполнение организационных планов (от плана работы института до индивидуальных планов преподавателей).

Выполнение распоряжений руководителей

Ежегодная аттестация персонала. Ежегодные отчеты кафедр, факультетов, ректората

Эффективность системы менеджмента качества

Соответствие требованиям стандарта ISO 9001

Внутренний аудит качества

Определение целей развития и улучшения качества

 

 

 

 

 

 

Потребности рынка и запросы потенциальных потребителей (абитуриентов)

Соответствие предложений вуза актуальному спросу и перспективным потребностям рынка

Анкетирование учащихся выпускных классов в школах и абитуриентов

Содержание образовательных услуг конкурентов и ведущих учебных заведений

Соответствие учебных программ и уровня качества услуг вуза передовым образцам

Сравнение программ обучения в процессе самоаккредитации

Удовлетворенность обучающихся

Повышение удовлетворенности качеством услуг. Своевременное выявление проблем

Анкетирование обучающихся

Удовлетворенность выпускников и их работодателей

Конкурентоспособность и востребованность выпускников. Признаваемость дипломов вуза

Анкетирование выпускников и работодателей

Достижение целей института

Выполнение поставленных целей. Своевременное выявление препятствий

Экспертная оценка достижений и анализ на уровне правления АО

Достижение целей подразделений

Выполнение поставленных целей. Своевременное выявление препятствий

Экспертная оценка достижений и анализ со стороны ректората

Эффективность корректирующих действий

Выполнение запланированных мероприятий. Устранение причин несоответствий

Экспертная оценка достижений и анализ со стороны ректората

Примечания:
    1. Продукция, подлежащая контролю и отбраковке (первый этаж Башни качества) – это результаты деятельности персонала и подразделений института на различных этапах жизненного цикла предоставления услуг (см. рис. 2).
    2. Учебные пособия и лабораторное оборудование предоставляются в распоряжение обучающихся и, таким образом, входят в состав предоставляемой потребителям продукции. (Но можно отнести эти объекты контроля и к ресурсам).
    3. Управление процессами предоставления образовательных услуг предусматривает контроль условий проведения занятий, состояния ресурсов (человеческих, материальных, информационных), контроль соблюдения программ, планов, расписания занятий. Управление процессами должно предотвращать создание некачественной продукции. 4. На уровне обеспечения качества решается задача управляемости института с целью поддержания достигнутого уровня качества. Для этого контролю подлежат процессы управления и система управления в целом.
    5. На уровне развития и улучшения качества оцениваются характеристики среды, в которой функционирует институт. На основе этих оценок принимаются решения об улучшении продукции (образовательных услуг) и процессов управления.
Большинство методов оценивания являются экспертными. Причем, 80% из них осуществляется профессиональными экспертами (экзаменаторами, членами аттестационных комиссий, нормоконтролерами, аудиторами, менеджерами). Остальные 20% методов осуществляются респондентами в ходе анкетирования.
Достоверность и точность результатов экспертной оценки зависит от ряда факторов методического и личного характера. Для выяснения, какие из этих факторов наиболее существенны, необходимо провести исследование (аттестацию) применяемых экспертных методов. Это особенно актуально для методов оценивания знаний, умений и навыков обучающихся на зачетах и экзаменах. Здесь вопросы вызывает и независимость эксперта (экзаменатора), и его профессиональное умение организовать экзамен, и формализация критериев выставления оценок, как на десятибалльной шкале, так и на бинарной шкале (зачет-незачет).
Например, сравнивая успеваемость на двух факультетах, мы обнаруживаем, что на протяжении ряда лет средний балл выставляемых на экзаменах оценок на одном факультете на 3 балла выше (по 10-балльной шкале), чем на другом факультете. На это может влиять много факторов. Но есть основание для предположения, что экзаменаторы на этих факультетах имеют несогласованное представление о критериях выставления оценок по 10-балльной шкале.
Другая выявленная проблема – наличие в составе образовательных услуг таких процессов, качество которых не поддается последующему контролю. То, как прочитана лекция, как проведен семинар, выяснится только на экзамене или еще позже. В стандартах по менеджменту (ISO 9000) такие процессы называются специальными и предлагается проводить их аттестацию и валидацию (утверждение). Т.е. для создания уверенности в том, что работа будет производиться качественно, предлагается нормировать правила ее проведения, требования к оборудованию, к инструментам, к производственной среде, к квалификации исполнителя, а потом предложить исполнителю произвести эту работу под контролем комиссии. При положительном результате на процесс выдается аттестат. Такая процедура может распространяться на всех преподавателей, на различные виды аудиторных занятий и производиться периодически, например, раз в пять лет. Кстати, процессы проведения экзаменов и зачетов, о чем речь была выше, тоже целесообразно аттестовать. Такая аттестация определенных процессов в составе образовательных услуг может быть включена также в систему повышения квалификации и аттестации педагогического персонала.
Еще один метод оценки качества, необходимый любой организации – аудиты качества. Они позволяют оценивать эффективность системы управления в целом и отдельных процессов в ее составе. Для этого в организации должны быть подготовленные специалисты, владеющие методами аудита (опросы, наблюдения, изучение документов, выявление и идентификация несоответствий требованиям стандартов, инструкций, планов). Эти внутренние аудиторы выполняют плановые проверки или разовые задания руководства по оценке подразделений. Эта методика сравнительно нова и поэтому недостаточно применяется руководителями.
Важнейший аспект контроля качества – это использование его результатов. Контроль предполагает, в принципе, выявление несоответствий. Действия контролера в таких случаях должны быть документально регламентированы. Однако, не все методы оценивания включают указания по действиям при обнаружении несоответствий. Особенно это актуально для методов оценивания на третьем уровне – при оценке эффективности процессов управления. Как регистрировать несоответствия в выполнении планов, программ, распоряжений, инструкций, что делать для устранения причин таких несоответствий – это, обычно, не определено.
Анкетирование и другие методы изучения спроса и удовлетворенности потребителей применяются широко в сфере предпринимательства. Никакой особой специфики в этом вопросе у высшего образования нет. Поэтому стоит применять в вузе апробированные методы анкетирования и не увлекаться самодеятельностью.
Все перечисленные виды контроля, оценивания, анкетирования должны осуществляться на плановой основе. Результаты их должны анализироваться, чтобы наблюдать тенденции и выявлять типичные проблемы. С этой целью надо определить формы регистрации этих результатов. Такую работу лучше всего организовать в рамках системы менеджмента качества вуза, построенной в соответствии с требованиями стандарта ISO 9001.

Заключение

В данной статье авторы предложили обзор проблем и задач управления качеством образовательных услуг института. Для управления каким-либо объектом необходимо отслеживать его состояние. Состояние качества образовательных услуг контролируется с помощью разнообразных методов. Их классификация предложена в данной статье. Не все методические задачи измерения качества в вузе решены. И в статье указан ряд проблем, требующих решения.
Для комплексного решения этих проблем, а также для того, чтобы контроль не оказался оторванным от других процессов, вузу необходима система менеджмента качества, построенная по стандарту ISO 9001:2000 «Системы менеджмента качества. Требования». В указанном стандарте все упомянутые выше задачи сведены в систему. Определены минимально необходимые требования к содержанию и организации процессов измерений, контроля, аудита. Авторы убеждены, что семейство стандартов ISO 9000 в полной мере применимо в области образовательных услуг вуза.

Литература

[Kabashkin, I., 1998] Kabashkin, I., Michnev, B., Utehin, G. Using TQM and ISO 9000 Principles in Assuring Education Service Quality. - Journal of Air Transportation World Wide, 1998, vol. 3, N 2, pp. 70-77
[Karapetrovic S., 1998] S. Karapetrovic, d. Rajamani and W. Willborn. ISO 9001 Quality System: An Interpretation for the University, Int. J. Engng Ed. Vol. 14, No. 2, p. 105-118, 1998 TEMPUS Publications.
[Lewis R, 1994] R. G. Lewis and D. H. Smith, Total Quality in Higher Education, St. Lucie Press, Delray Beach, Florida (1994). [NACB, 1994] National Accreditation of Certification Bodies, Guidelines on the Application of the ISO 9000 Series to Further Education and Training, NACCB, London, UK (1994).
[QA in BHI, 2003] Quality Assurance in Borderless Higher Education: six initiatives. The Observatory on Borderless Higher Education. 2003. No.11, May 2003, p.1-8.