Как оценивать эффективность вузов? Метод DEA
Отечественные университеты менее эффективны, чем канадские и английские, сопоставимы с австралийскими и превосходят немецкие. Технические вузы России обладают более высоким научно-образовательным потенциалом, чем классические. Таковы некоторые выводы статьи «Оценка результативности университетов с помощью оболочечного анализа данных», опубликованной в «Вопросах образования» (№2, 2013). Среди ее авторов — заведующая отделом Центра финансовых исследований ИСИЭЗ Вероника Белоусова.
Абанкина И. В., Алескеров Ф. Т., Белоусова В. Ю., Зиньковский К. В., Петрущенко В. В. Оценка результативности университетов с помощью оболочечного анализа данных // Вопросы образования. 2013. № 2. С. 15—48.
Рейтинги вузов
Непростую задачу оценки эффективности вузов частично помогают решить рейтинги. Вузы анализируются на основе ряда критериев, по каждому из которых получают определенный балл. Затем оценки суммируются с поправкой на их относительную значимость или «вес». Величина последнего, как правило, определяется субъективно. Например, Times Higher Education World University Rankings анализирует пять сфер работы вузов: образовательную деятельность, ведение исследований, значимость научных трудов, инновационную активность и вовлеченность в международную среду. Каждая из первых трех областей имеет «вес» в 30% в итоговой оценке, последние две — 2,5 и 7,5% соответственно.
Другие общепризнанные рейтинги (QS World University Rankings, Academic Ranking of World Universities) имеют сходную методологию, отличаясь критериями оценки и величиной приписываемых им «весов». Могут учитываться мнения работодателей о студентах или же численность выпускников вуза — обладателей Нобелевской премии. Аналогичные методики применяются и в России. Здесь можно упомянуть в качестве примера рейтинг журнала «Эксперт».
Таким образом, ключевым недостатком этой методологии является субъективность. Действительно, объяснить, почему мы предпочитаем тот или иной критерий другому, сложно. Это же относится и к их относительной значимости. Должна ли образовательная деятельность иметь вес в 30% или 40% в итоговой оценке? Кроме того, рейтинги не учитывают затраченные вузами ресурсы.
Метод DEA
Метод Data Envelopment Analysis (DEA) помогает преодолеть указанные ограничения. Изначально он предназначался для оценки результативности некоммерческих организаций, не ставящих своей задачей получение прибыли. Впервые метод был использован в США для анализа деятельности учреждений образования, здравоохранения и военной службы. Его основополагающие принципы были описаны в статье "Measuring the Efficiency of Decision Making Units", совместно подготовленной А. Чарнзом (A. Charnes), В. Купером (W. W. Cooper) и Э. Роудсом (E. Rhodes) в 1978 году.
Основная идея модели DEA заключается в том, что эффективность любой организации можно представить в виде отношения результатов к затраченным ресурсам. Применительно к вузам в качестве ресурсов могут выступать расходы на научную деятельность, фонд оплаты труда или совокупные издержки. В качестве результатов — численность выпускников, обладателей ученых степеней, защитившихся в данном университете, число публикаций и патентов. Как и при построении рейтингов, предполагается, что каждый критерий имеет свой «вес», при этом специально назначать его не требуется — эти «веса» определяются внутри модели путем решения оптимизационной задачи.
На основе решения этой задачи дробно-линейного программирования балл эффективности каждой организации рассчитывается относительно других в выборке, которые определяют границу эффективности. Для удобства итоговый показатель нормируется, с тем чтобы он лежал в пределах от нуля до единицы. Таким образом, можно говорить, например, об эффективности в 70 или 90% по сравнению с лучшей из анализируемых организаций.
Западный опыт
В мировой практике оценивания результативности вузов модель DEA нашла широкое применение. Западные исследователи используют разные ее спецификации, отличающиеся входными и выходными переменными. Часто авторы стараются учитывать структурные различия между университетами, разделяя вузы, нацеленные на научную либо на образовательную деятельность.
Например, Джил Джонс (Jill Johnes) проанализировала эффективность 109 английских университетов за 2000/2001 учебный год, стремясь выявить структурные различия между тремя категориями вузов: имевшими статус университета до 1992 г., получившими его после 1992 г. и колледжами, никогда такого статуса не имевшими. Исследователь не нашла значимых различий между категориями вузов, при этом достаточно высоко оценила результативность британской системы вузовского образования. Во всех категориях средняя эффективность составила примерно 90%, эффективными оказались около половины от общего числа анализируемых организаций.
Антреас Атанассопулос (Antreas D. Athanassopoulos) и Эстель Шейл (Estelle Shale) (1997) произвели оценку 45 английских университетов на основании данных за 1992 год. Авторы использовали два подхода: в рамках первого оценивалась эффективность распределения имевшегося объема финансирования, в рамках второго — качество использования доступных ресурсов. Под последними подразумевалась численность студентов, аспирантов и преподавателей, уровень подготовки абитуриентов, а также бюджетные расходы на научные проекты, библиотечный фонд и компьютерное оснащение. В обеих моделях результат работы вуза определялся по таким показателям, как численность выпускников, обладателей ученых степеней данного университета и его позиции в рейтингах научной и публикационной активности.
По схожему пути шли исследователи и в других странах. Так, Сьюзан Уорнинг (Susanne Warning), оценивая работу немецких университетов, предприняла попытку выделить стратегические группы вузов в системе высшего образования, отдельно измерив результативность подготовки специалистов в сфере социальных и естественных наук. Незми Авкиран (Necmi K. Avkiran) анализировал общую эффективность, качество преподавания и результативность привлечения платежеспособных студентов к обучению в австралийских университетах. Последней аспект заинтересовал ученого в связи с сокращением объема государственного финансирования вузов.
Притом что метод DEA активно применялся западными учеными для оценки эффективности системы высшего образования в самых разных аспектах, в России до выхода рассматриваемой публикации была известна лишь одна подобная работа. В ней на примере выборки из 30 вузов было показано, что более точные и согласованные с международной практикой оценки результативности получаются с учетом механизмов финансирования университетов.
Российские реалии
Авторы статьи «Оценка результативности университетов с помощью оболочечного анализа данных» анализируют выборку из 200 российских вузов. Наиболее значительные группы составили вузы технического (78 вузов) и классического (59 вузов) профиля. Был проведен сравнительный анализ данных категорий, специфицированы две модели DEA для характеристики образовательного потенциала и качества научно-учебной деятельности высших учебных заведений. Вторая модель отличалась от первой тем, что учитывала в результатах работы вуза публикационную активность и долю научных работников в общей численности ППС.
В целом, результативность образовательной деятельности технических и классических вузов в РФ оказалась примерно одинаковой: в каждой подгруппе эффективность более половины вузов превысила или оказалась равна 80%. Научно-образовательный потенциал технических вузов эксперты оценили в среднем более высоко — у 46,2% организаций он был на уровне 70-90%, тогда как у классических — 50-60% от максимально возможного. Тем не менее, и классические, и технические вузы обладают в среднем более высоким потенциалом в области образовательной деятельности, чем в научно-учебной. Кроме того, исследователи подчеркивают, что на попадание вуза в ту или иную категорию может оказывать влияние размер выборки. При анализе важно добиться сопоставимости учебных заведений по профилю и базовым характеристикам.
Авторы также соотнесли результативность российских вузов с показателями зарубежных. Согласно результатам исследования, отечественные университеты уступают канадским и английским. Минимальный уровень эффективности последних с учетом их научного профиля составляет 66,86%, тогда как для отечественных среднее значение данного индикатора находится чуть ниже. В то же время российские университеты по результативности сравнимы с австралийскими и превосходят немецкие.
Расчеты по обеим моделям позволяют классифицировать вузы, разделив их на группы с низкой (до 0,6), средней (от 0,6 до 0,9) и высокой (от 0,9 до 1) эффективностью. Проведение подобных границ имеет практическое значение для управления: для разных категорий вузов целесообразны различные административные решения. У вузов средней результативности есть потенциал развития с опорой на собственные ресурсы, тогда как вузы низкой результативности чаще всего отличаются низкими показателями как в образовательной, так и в научной деятельности. Существенным фактором, влияющим на попадание вуза в ту или иную группу эффективности, является публикационная активность — барьеры на данном пути обязательно должны приниматься в расчет топ-менеджерами российского высшего образования.
В заключение следует отметить, что работа авторов является важным шагом на пути к созданию надежной системы оценки результативности российских вузов. В дальнейшем в рамках данного исследования может быть сформирована система входных и выходных показателей, с опорой на которую можно будет оценивать степень реализации миссии или достижение стратегических ориентиров, обозначенных в программе развития университета.
Материал подготовил Никита Крыльников