Методологія рейтингу THES. Надійно, транспарентно, комплексно. (Переклад статті Філа Баті)

Posted: Червень 12, 2011 in Новини, Різні думки, Студентам

У світі вже склалася традиція щорічного укладання рейтингів ВНЗ. Найбільше визнання отримали THES і ARWU. Тож представляю переклад статті Філа Баті, присвяченої методології рейтингу THES:  “Методологія рейтингу THES. Надійно, транспарентно, комплексно.” 

В статті Філ Баті пояснює яким чином у поглиблених дискусіях зі світовим науковим співтовариством було створено на сьогодні найбільш точний і адекватний світовий рейтинг. Звичайно, досить грубим є відповідність університетів до числа (напевно мається на увазі номер у рейтингу). Зрозуміло, що вищі навчальні заклади є надзвичайно складними організаціями. У них відбувається багато чудових, здатних змінити життя і зруйнувати парадигми, радикальних речей, які просто не можна виміряні. Дані про деякі з найбільш цінних зусиль ВНЗ просто не існують або не можуть бути адекватно співставлені в глобальному масштабі; багато можливостей зазвичай використовуються на рівні гірше ніж задовільному. Варто зауважити, що останній рейтинг  THES було складено з цими досить значними обмеженнями.

Методологія таблиці була визначена лише після 10 місяців детальних консультацій з провідними фахівцями з глобальної вищої освіти: понад 50 старших посадових осіб на всіх континентах дали відгуки на наші плани (об’єм відгуків перевищів 250 сторінок коментарів). Широке університетське співтовариство також змогло сказати своє слово через більш ніж 300 повідомлень на нашому сайті.

Таким чином, незважаючи на властиві обмеження, ці таблиці представляють найбільш повні і складні вправи, зроблені з метою забезпечення прозорих, строгих і по-справжньому значущих порівнянь глобальної продуктивності для використання університетами, стратегічними лідерами, політиками і майбутніми студентами. Протягом останніх 10 місяців нашою метою було створення справді корисного для глобального співтовариства вищої освіти та для інших кіл інструменту, а не лише опублікувати щорічний заголовок, який привертає увагу.

Тож який результат можливо найбільшої  коли-небудь зробленої для отримання рейтингу університетів світу консультації-вправи? У таблицях використовуються 13 окремих показників (у порівнянні з усього лише шістьма при нашій старій системі), призначених для охоплення широкого спектру діяльностей, від навчання і наукових досліджень до перетворення знань. Ці показники об’єднані у п’ять категорій:

  1. Навчання – навчальне середовище (30 відсотків рейтинг-балів)
  2. Дослідження – обсяг, впровадження і репутація (30 відсотків)
  3. Цитування – впливовість досліджень (32,5 відсотка)
  4. Промислове впровадження – інновації (2,5 відсотка)
  5. Міжнародний обмін – співробітники і студенти (5 відсотків)

Вага п’яти категорій, і 13 показників у них, значно відрізняється. Висока вага надавалась тим показникам, до яких безпомилково виявлявся  при консультації  ентузіазм і де ми мали впевненість в наявних даних. Низька вага використовувалась там, де довіра до даних або показник корисності були менш вираженими.

Майбутнє

Це перший рік досить амбіційної нової системи рейтингу. У всіх таких системах потрібно приймати певні компромісні рішення, показники мають бути корисними для застосовування, тому до збору даних виникатимуть питання. Проте, ми впевнені, що, створюючи нашу методологію у відкритих і докладних консультаціях протягом останніх 10 місяців, ми виробили надійний і заснований на фактичних даних рейтинг, який малює реальну картину всесвітнього масштабу. Але таблиці — тільки початок глобальної розмови. Будь ласка, приєднуйтесь до обговорення.

Рейтинг: методологія

Для розрахунку загальної рейтингової оцінки були створені “Z-оцінки” для всіх наборів даних. Це уніфікує різні типи даних по загальній шкалі і дозволяє справедливо порівнянювати різні типами даних, що має важливе значення при об’єднанні різноманітної інформації в одному рейтингу. Кожна точка даних дає оцінку засновану на її відстані від середнього значення всього наборі даних, де мірило — стандартне відхилення набору даних. Z-оцінка перетворюється тоді на “кумулятивну оцінку ймовірності”, яка дає остаточні підсумки.

Симон Пратт, менеджер проекту для інституціональних досліджень Thomson Reuters, який аналізував дані THES, говорить: “кумулятивна оцінка ймовірності для будь-якої дійсної величини є ймовірністю того, що будь-яка нормально розподілена випадкова величина впаде нижче точки даних. ” Наприклад, якщо університет X має бал 98, то випадкові установи з того ж розподілу даних будуть нижче цього університету у 98 відсотках випадків.

Винятки 

 З таблиці рейтингу були виключені університети, якщо вони не вчать студентів, якщо  кількість результатів їх досліджень складає менше 50 статей на рік або якщо вони вчать тільки одній вузькій темі.

Встановлення даних

Кожна установа, яка розміщена у цих рейтингах провела вправи і перевірила свої інституційні дані. Де установи не надають дані в певній галузі (що відбулося тільки в деяких дуже низько зважених областях), у відповідній колонці була залишена порожня клітинка.

Дуже важливим принципом нової версії рейтингу в першому році нової системи є те, що всі університети, які ми перераховуємо активно співпрацювали з системою і підписали свої дані. Рейтинги визнані корисним і строгим інструментом для глобального співтовариства вищої освіти, і ми раді, що переважна більшість університетів по всьому світу сприйняли цю вправу і брали активну участь. На жаль, після неодноразових електронних і телефонних запрошень до участі в Global Institutional Profiles Project і в рейтингу університетів світу, деякі установи так і не відповіли Thomson Reuters, і тому не можуть бути включені в THES . Деякі з них також відмовилися від участі.

Репутаціне обстеження

Всесвітнє опитування академічної репутації було проведено навесні 2010 року. Деякі з 13388 відповідей були зібрані у всіх географічних регіонах та в усіх галузях знань. Результати складають в цілому 34,5 відсотка від загального рейтингу (15 відсотків для навчання і 19,5 відсотка для дослідження).

Схема зважування для ранжування

Промислове впровадження — інновації

Ця категорія призначена для врахування перетворення знань, які виникають в установі. Вона визначається тільки одним показником: простий показник доходів досліджень установи від промисловості, що масштабується на число наукових співробітників.

Ми плануємо доповнити цю категорію додатковими показниками в найближчі роки, але на даний момент ми вважаємо, що це найкращий параметр для оцінки перетворення знань. Він показує в якій мірі користувачі готові платити за дослідження, а  університети у свою чергу спроможні залучати фінансування в комерційному ринку, що є значним показником якості.

Проте, оскільки дані, представлені установами за цим показником були неоднорідними, ми дали категорії в таблиці  за 2010-11 роки відносно низьку вагу: лише 2,5 відсотка від загального рейтингу балів.

Викладання – навчальне середовище

Ця широка категорія використовує п’ять окремих показників призначених для забезпечення чіткого уявлення про викладання і навчання кожної установи, як з точки зору студентів та академічної точки зору.

Провідний показник для цієї категорії використовує результати репутаційного обстеження навчального процесу.

Thomson Reuters навесні 2010 року здійснив своє обстеження академічної репутації — опитування досвідчених науковців у всьому світі. Було розглянуто сприйняття престижності установ у провадженні наукових досліджень і навчання. Було зібрано 13388 відповідей, що статистично представляли географічно і предметно всю глобальну вищу освіту. Результати обстеження складають 50 відсотків від рахунку в широкій категорії середовища навчання, і 15 відсотків від загального балу рейтингу.
Ця широка категорія також вимірює число студентів прийнятих установою по відношенню до числа наукових співробітників.

Фактично параметр відношення кількості персоналу до кількості студентів використовувався як показник якості викладання – припускаючи, що де є низьке співвідношення студентів до співробітників, там студент отримає більше особистої уваги, якої він вимагає від викладачів установи. Це співвідношення є досить сирим показником, і наші консультації вказують на деякі побоювання з приводу його використання. Тому він отримав відносно низьку вагу: коштує 15 відсотків від категорії викладання і лише 4,5 відсотка від балів загального рейтингу.
Це контрастує з 20 відсотками вагової міри в попередніх рейтингах.

В категорії навчання також розглядається співвідношення кількості присуджених ступенів докторів філософії (кандидатів) до кількості присуджених ступенів бакалавра, виставлені кожним закладом. Ми вважаємо, що установи з високою щільністю аспірантів більш наукоємні і, що наявність активної спільноти аспірантів є маркером дослідницько направленої освіти, що важливо як для студентів, так і для аспірантів.
Співвідношення кандидат-бакалавр отримало вагу 7,5 відсотка у своїй категорії і вартує 2,25 відсотка від балів загального рейтингу.

Категорія навчання також використовує дані про число докторів філософії присуджених установою по відношенню до розміру закладу, який вимірюється числом викладачів. Поруч зі ставленням установи до виховання нового покоління вчених, висока частка аспірантів, що задіяні в  навчанні на найвищому рівні приваблює  випускників і добре впливає на їх розвиток. Студенти старших курсів, як правило, надають велике значення роботі в багатому середовищі, яке включає в себе аспірантів. Маючи вагу в 20 відсотків від категорії навчального середовища, цей показник становить 6 відсотків від загальної оцінки.

Останній показник у цій категорії — проста міра інституційних доходів, що нормується на чисельність  академічного персоналу.

Ця цифра (з поправкою на паритет купівельної спроможності) вираховується так. що всі країни можуть конкурувати на рівних. Вона вказує на загальний стан організації і дає в широкому сенсі загальної інфраструктури та об’єктів доступних для студентів та викладачів.

Цей параметр коштує 7,5 відсотка від категорії і 2,25 відсотка в цілому.

Цитування – впливовість досліджень

 Вплив досліджень університету (кількість опублікованих робіт по відношенню до кількості цитувань вченими) – є найбільшим з широких категорій рейтингу, коштує трохи менше третини загального балу.

Така висока вага відображає відносно високий рівень довіри глобальної академічної спільноти до цього показника якості досліджень.

Використання цитування, щоб вказати на якість, є спірним. На їх поширенні більш ніж 1,5 млрд. фунтів стерлінгів в рік було виділено на фінансування досліджень Великобританії в рамках майбутнього передового досвіду досліджень, наприклад, був різко скорочений після тривалих консультацій.

Тим не менш, є переконливі докази сильної кореляції між числом цитувань і науковим рівнем.

Дані взяті з 12000 наукових журналів, що індексуються науковою базою даних веб-сайту Thomson Reuters. Цифри, зібрані для кожного університету, з даними агрегованими за п’ятирічний період з 2004 по 2008 (було недостатньо часу для накопичення таких даних для статей, опублікованих у 2009 і 2010).

На відміну від підходу, який застосовувався за старої системи укладання рейтингів, всі сучасні показники впливу нормовані таким чином, щоб була можливість відобразити змінюваність цитованості в різних предметних областях. Це означає, що установи, в яких провадяться дослідження у галузі з традиційно дуже високим  рівнем цитування, більше не отримують несправедливу перевагу.

Дослідження — обсяги, надходження і репутація

Як і у категорії викладання, найбільш значний внесок в категорію досліджень вносить показник, оснований на результатах нашого репутаційного опитування.

Консультації з нашими консультантами-експертами виявили, що довіра до цього показника була вищою за відповідний показник у навчанні при проведенні репутаційного дослідження, оскільки науковці, ймовірно, більш обізнані про репутацію наукових підрозділів у своїй галузі. З цієї причини, репутаційному показнику досліджень присвоюється висока вага: вона коштує 65 відсотків у категорії досліджень і 19,5 відсотка від загальної оцінки.

17,5 відсотка цієї категорії – 5,25 відсотка від загального рейтингу – визначається доходами  університету від досліджень, нормується показник на чисельність персоналу та за паритетом купівельної спроможності. Остання міра є досить спірною, тому що вона може залежати від національної політики та економічних умов, але дослідження доходів має вирішальне значення для розвитку дослідження у світовому вимірі тому, що більша частина цього береться до уваги в конкурсах і судах при проведенні експертної оцінки. Наші фахівці вважають цей критерій об’єктивним.

Категорія середовища досліджень також включає в себе просту міру обсягу досліджень, яка масштабується щодо чисельності персоналу. Ми розраховуємо кількість статей, опублікованих в академічних журналах, що індексуються Thomson Reuters на одного співробітника, що дає уявлення про здатність установи продукування статей, опублікованих в якосних рецензованих журналах. Цей показник має вагу 15 відсотків від категорії і 4,5 відсотка в цілому.

2,5 відсотка від категорії – лише 0,75 відсотка загальної оцінки – це міра суспільного доходу від досліджень у відношенні до загального доходу досліджень інституту. Цей показник має низьку вагу з урахуванням стурбованості з приводу можливості порівнянь даних між різними країнами.

Міжнародна співпраця — працівники і студенти

Наша остання категорія вказує на різноманіття у кемпусі – ознака того наскільки установа глобалізована.

Здатність університету до залучення найкращих співробітників з різних країн світу має ключове значення для глобального успіху. Таким чином, у цій категорії ми даємо 60 відсотків ваги пропорції між міжнародним і домашнім персоналом, що складає 3 відсотки від загальної оцінки.

Ринок праці для академічних і адміністративних посад є міжнародним за своїм масштабом, і цей показник оцінює глобальну конкурентоспроможність. Однак, враховуючи відносно сиру якість показника, і те, що географічні міркування можуть впливати на продуктивність, його вага була скорочена з 5 відсотків, що використовувалася в нашій старій системі рейтингів.

Інший показник у цій категорії, заснований на пропорції міжнародних до внутрішніх студентів. Знову ж таки, це ознака глобальної конкурентоспроможності установи і його прихильність до глобалізації. Наші консультації показали занепокоєння з приводу нездатності адекватно оцінити якість студентів, а також виявили проблеми, пов’язані з географією і платою за навчання. Тому цей показник отримує 40 відсотків ваги і коштує 2 відсотки від остаточної оцінки.

Цитування впливу: це все відносно 

Цитування широко відоме як сильний показник значимості і актуальності (вплив в категорії дослідження).

Однак, показники цитованості повинні бути використані з обережністю, оскільки цитованість може варіюватися між галузями і часовими періодами.

Наприклад, документи в галузі наук про життя, як правило, цитуються частіше, ніж ті, що опубліковані у галузі соціальних наук.

При складанні рейтингу в цьому році використовували нормовані  показники цитування, де число посилань на кожну статтю порівнюється із середнім числом цитувань всіх робот, опублікованих в цій же області за рік. Так статті з відносним показником цитування 2,0 вдвічі частіше цитуються за середню роботу у вказаній галузі.

Дані були взяті з ресурсів Thomson Reuters, найбільшої і найбільш повної бази даних, в якій  доступні показники цитованості досліджень.

Його авторитет та міждисциплінарний зміст охоплює понад 11600 найбільш популярних журналів по всьому світу. Хороша оцінка здійснюється на високому рівні у 251 предметних областях за кожен рік в період з 2004 по 2008 рік.

Для установ, які виробляють кілька робіт, відносний вплив цитувань може бути істотним, бо це можуть бути дуже зазначні роботи, і тому він не точно відображає їх типові параметри. Однак, установи, в яких кількість публікацій менше 50 статей на рік, були виключені з рейтингу.

Є випадки, де новаторська академічна стаття була настільки впливовою, що доводилось розраховувати індекс цитування на новому рівні – тисячі цитат. Установа, яка вносить свій внесок в одну з цих робіт буде отримувати суттєві і помітні підвищення у показнику впливовості досліджень. Це відображає внесок таких установ у глобально значущих дослідницьких проектах.

Залишити відповідь

Заповніть поля нижче або авторизуйтесь клікнувши по іконці

Лого WordPress.com

Ви коментуєте, використовуючи свій обліковий запис WordPress.com. Log Out / Змінити )

Twitter picture

Ви коментуєте, використовуючи свій обліковий запис Twitter. Log Out / Змінити )

Facebook photo

Ви коментуєте, використовуючи свій обліковий запис Facebook. Log Out / Змінити )

Google+ photo

Ви коментуєте, використовуючи свій обліковий запис Google+. Log Out / Змінити )

З’єднання з %s