12 мая состоялся семинар профессора Ива Жангра “Use of Bibliometric Methods for Research Evaluation"
12 мая 2011 года состоялся семинар профессора Ива Жангра “Use of Bibliometric Methods for Research Evaluation", организованный Лабораторией исследований науки и технологий Института статистических исследований и экономики знаний НИУ ВШЭ.
Ив Жангра - профессор Департамента истории Университета Квебека в Монреале; экс-директор Межуниверситетского центра исследований науки и технологий (CIRST); научный руководитель Обсерватории науки и технологий (OST) и кафедры исследований истории и социологии науки Канады.
В своем выступлении И. Жангра рассмотрел различные подходы к оценке научной деятельности, подробно остановившись на возможностях и ограничениях использования библиометрических методов. В частности, для оценки индивидуальных исследователей и небольших коллективов применяется методика peer-review, в то время как на агрегированном уровне для анализа деятельности университетов, научных институтов, городов, стран больше подходят количественные методы.
Докладчик рассказал об основных способах количественной оценки науки и технологий, в основе которых лежат показатели input, output и impact. Было подчеркнуто, что при выборе метода оценки научной деятельности важно использовать дифференцированный подход в зависимости от области знания и задач оценочной процедуры. Следует принимать в расчет все многообразие аспектов воздействия научных разработок (impact), среди которых научный, технологический, экономический, социальный, политический, символический и другие.
Профессор отметил опасную тенденцию последнего времени, состоящую в сведении этих многочисленных аспектов к одному единственному измерению, и, соответственно, в поиске универсального показателя. В качестве такого показателя зачастую выступают экономическая эффективность или библиометрические индикаторы, основанные на данных о числе публикаций и цитирований. Подобный односторонний подход влечет за собой негативные последствия для систем научного производства и образования.
И. Жангра дал краткий обзор истории библиометрии, рассказал о возможностях и основных сферах применения этого
аналитического инструмента, а также базовых библиометрических индикаторах. В настоящее время библиометрические методы широко используются для оценки деятельности стран, университетов, бенчмаркинга, составления рейтингов стран и научных организаций, исследования отдельных секторов науки, ее картографирования, идентификации актуальных и вновь возникающих научных областей и т.д.
В заключение выступавший представил подробный анализ «хороших» и «плохих» индикаторов. Свойствами «хорошего» индикатора являются адекватность объекту оценивания, однородность измерения, изменение значений во временном промежутке, соответствующем инерции его объекта (например, за 2-3 года университет не может резко подняться или опуститься в рейтинге).
Известные рейтинги университетов, такие как Шанхайский, рейтинг журнала Times, а также h-index строятся на комбинированных индикаторах, которые не соответствуют вышеуказанным параметрам. Активное использование этих показателей в действительности дают искаженное представление о “качестве” образования в том или ином вузе, работе отдельных исследователей или научных организаций.
Проведенный анализ позволил сделать следующие выводы:
- библиометрия является ценным инструментом анализа структуры и динамики научного знания, которые не всегда очевидны для локальных акторов;
- индикаторы должны принимать в расчет специфику каждой отдельной дисциплины;
- библиометрия может быть полезной при принятии решений, но не может использоваться как замена принятию решений.
Материалы презентации: