Limite ale metarankingului național al universităților realizat de Ministerul Educației pentru anul 2021 – profesorii universitari Mihai Păunescu, Gabriel-Alexandru Vîiu și Bogdan Florian, SNSPA

Ministerul Educației a publicat recent un Raport anual privind Metarankingul național aferent anului 2021. Documentul prezintă o ierarhie a universităților românești care apar în cel puțin un clasament internațional, iar utilitatea lui imediată va fi de a ghida, în parte, alocarea spre universități a unor fonduri pentru cercetarea științifică (potrivit Ordinului Ministerului Educației 3126/11.02.2022). Textul de față prezintă câteva limite și observații privind exercițiul asumat de Minister, scopul fiind acela de a încuraja reflecția critică asupra rezultatelor obținute în metaranking și asupra utilizării unui astfel de instrument în politicile de finanțare a cercetării universităților românești.

Dat fiind că metarankingul a devenit fundament pentru alocări din bani publici deși rezultatele sale nu reprezintă în niciun fel o evaluare riguroasă a cercetării științifice din universitățile românești, considerăm că o lectură onestă a raportului Ministerului Educației impune cel puțin luarea în considerare a aspectelor de mai jos.

Caracteristici problematice ale clasamentelor internaționale

Clasamentele internaționale instituționale (inclusiv cele incluse în metaranking) ignoră diversitatea inerentă universităților. Cerința fundamentală pentru orice demers comparativ rezonabil, alocarea prealabilă riguroasă a obiectelor de studiu în grupe și compararea ulterioară strict în interiorul acelor grupe, este astfel desconsiderată.

O anomalie metodologică ce trebuie evidențiată în mod deosebit este aceea că dimensiunile și profilurile disciplinare ale universităților sunt complet ignorate: universitățile mici sunt comparate cu universitățile mari, cele din zona științelor exacte cu cele din științele sociale sau umaniste, iar universitățile din S.U.A. sunt evaluate la fel ca cele din România, Bulgaria sau China.

Metodologia ierarhiilor este una asumat reducționistă. În mod intenționat și declarat, realizatorii clasamentelor măsoară unidimensional performanța organizațiilor universitare la nivel global. Obiectivele lor variază, însă, în general, aceste clasamente urmăresc să comunice simplu și eficient publicului din întreaga lume care sunt primele universități din lume după un anumit criteriu sau combinație de criterii. De pildă, unele clasamente măsoară performanța științifică a personalului din universități, altele calitatea educației sau vizibilitatea universităților în mediul online.

Clasamentele internaționale nu sunt proiectate să diferențieze în mod real între diverse tipuri de universități din România (aflate pe poziții dincolo de top 500), sau din orice alt sistem educațional național. Fiind realizate de entități private, cu scopuri adesea de natură comercială (orientate deci spre profit, nu spre politici publice), ele pur și simplu nu au menirea și nici capacitatea să asiste decidenții politici la nivel național să distingă între universitățile pe care le coordonează. Mai mult decât atât, participarea universităților la clasamente este voluntară și, adesea, condiționată financiar. Rezultatele niciunui clasament internațional individual nu pot constitui baza alocării de fonduri publice între universitățile românești, acestea nefiind nici obligate, nici stimulate sau susținute în vreun fel să participe la astfel de ierarhizări. Agregarea rezultatelor clasamentelor sub forma unui metaranking devine cu atât mai problematică.

În condițiile în care clasamentele instituționale internaționale sunt determinate adesea de volumul rezultatelor în valoare absolută, ele creează o competiție neloială între universități foarte diferite, avantajul mărimii fiind decisiv. Parcurgerea multiplelor metodologii ale diferitelor clasamente arată de pildă că aproape toate realizează o selecție preliminară a universităților ierarhizate. Selecția este esențial arbitrară și se bazează de regulă pe definirea unui prag minim (arbitrar) al numărului absolut al publicațiilor științifice indexate în baze de date internaționale, în clasament fiind apoi incluse doar acele universități ce depășesc pragul.

Este evident că o universitate care are un personal academic și de cercetare științifică mai numeros este favorizată în selecția preliminară în virtutea dimensiunilor, în timp ce o universitate cu mai puțini angajați are șanse reduse în procesul de selecție. Universitățile pluridisciplinare (mari), mai ales cele cu domenii bine acoperite în bazele de date ce indexează articole științifice, sunt „câștigătoare” firești în clasamentele internaționale, iar universitățile specializate (mici) sunt „perdanți” previzibili. Tocmai de aceea de mai mulți ani au apărut ierarhii internaționale pe domenii de studii, ierarhii care nu au fost avute în vedere în raportul ministerului.

Nu în ultimul rând, tradiția diferitelor sisteme universitare determină decisiv poziționarea în clasamente. De regulă, universitățile din S.U.A. domină clasamentele la care participă, la fel ca cele din Marea Britanie în cazul în care clasamentele sunt realizate la nivel european. Motivul este simplu: tradiția universitară a acestor țări permite o diferențiere clară a cercetătorilor științifici – cei direct responsabili de publicațiile ce influențează prezența și poziționarea universităților în clasamente – de cadrele didactice. În Europa continentală, pe de altă parte, personalul universitar a avut cu precădere, până nu cu mult timp în urmă, doar activități didactice.

Aspecte chestionabile ale metarankingului românesc

Dincolo de problemele fundamentale semnalate anterior (ce vizează clasamentele internaționale în general și rațiunile pentru care au fost acestea proiectate) trebuie consemnate mai multe aspecte metodologice chestionabile care sunt proprii exercițiului oficial de metaranking românesc.

Metarankingurile anterioare – publicate sub patronajul Asociației Ad-Astra – urmăreau conturarea unei imagini de ansamblu asupra performanțelor universităților din România la nivel global, indiferent de dimensiunile evaluate. Scopul restrâns al exercițiilor anterioare era însă identificarea universităților cu o minimă vizibilitate internațională, iar utilitatea lor era prioritar cea de resursă de informații pentru analize aprofundate la nivel de sistem, nicidecum diferențierea exhaustivă a universităților printr-un scor exprimat cu valori cu zecimale, chestiune inadecvată metodologic și incorectă ca principiu de alocare a fondurilor publice.

Față de metodologia utilizată anterior, cea a metarankingului asumat de Ministerul Educației pentru anul 2021 este sumar descrisă și insuficient justificată. Modificarea semnificativă este renunțarea la utilizarea scorurilor exprimate prin numere naturale și adoptarea unui sistem de punctaj cu valori exprimate prin numere cu patru zecimale. Totuși, clasamente utilizate în metaranking, conștiente de limitele inerente ale indicatorilor folosiți și de capacitatea reală de diferențiere a acestora, admit cu onestitate fie posibilitatea de a atribui același rang mai multor universități, fie gruparea lor în anumite intervale de ierarhizare (mai ales în zonele inferioare). Motivul este acela că eventuala diferențiere între multe universități s-ar realiza de fapt la un nivel complet nesemnificativ. Metarankingul aferent anului 2021, asumat de Ministerul Educației, ignoră aceste realități metodologice și susține, fără justificare, două tipuri complementare de distorsiuni:

• Pe de-o parte, s-a apelat la un proces ad-hoc de inginerie inversă întru precizie: pentru clasamente internaționale care prezintă rezultate grupate în categorii au fost calculate – fără documentarea riguroasă a acestui proces – scoruri globale astfel încât să poată fi atribuite universităților românești poziții exacte; similar, în alte situații au fost atribuite universităților românești poziții exacte ca medie a limitelor intervalului de grupare din clasamentul inițial. Dacă furnizorii originali ai clasamentelor ar fi considerat corectă metodologic ierarhizarea strictă și exhaustivă a tuturor universităților ar fi publicat rezultate astfel, fără precauția grupării în intervale sau a recunoașterii situațiilor de egalitate. Metarankingul românesc pentru anul 2021 a ignorat însă, în mod voit, limitele metodologice recunoscute ale clasamentelor utilizate și a acordat datelor un statut matematic (cardinal, în loc de ordinal) și o interpretare pe care chiar autorii respectivelor clasamente inițiale au fost reticenți în a le acorda.
• O a doua distorsiune, promotoare a aceleiași fetișizări a preciziei, este aceea că punctajele universităților din metaranking sunt prezentate la nivel de patru zecimale, justificarea din raport (pagina 2) fiind că astfel se facilitează „cu o mai mare acuratețe diferențierea poziției fiecărei instituții de învățământ superior din România”. Diferențierea este însă absolut falsă în substanță și nu servește niciun alt rol decât pe acela de a separa, complet mecanic, anumite universități. Trebuie remarcat aici contrastul cu metarankingurile realizate în perioada 2016 – 2020 și publicate sub patronajul Ad-Astra, inclusiv cel pentru anul 2021, în care astfel de diferențieri forțate sunt evitate. În schimb, cititorii metarankingului recent asumat de Ministerul Educației rămân fără o cheie rezonabilă de interpretare a diferențelor infime dintre universitățile care, aflate de exemplu pe locurile 16 – 19, au obținut punctajele 4,8530; 4,8390; 4,8366; 4,4502. Astfel de situații sunt foarte numeroase în metaranking și ridică o întrebare legitimă: cum anume pot justifica asemenea punctaje alocări din fonduri publice diferențiate între universități?

În fine, pentru cel puțin un clasament – CWTS Leiden Ranking – este neclar ce anume s-a folosit în metaranking. Spre deosebire de clasamentul Shanghai/ARWU sau altele ce au un caracter univoc, nu există propriu-zis clasamentul Leiden, ci o serie de clasamente paralele menite explicit să ofere o imagine nuanțată asupra performanței în cercetare. Fără clarificări în raportul publicat de Ministerul Educației, speculăm că grupul de lucru a folosit clasamentul Leiden implicit – default – din pagina web, bazat pe numărul total de publicații al universităților. Totuși, pentru oricine accesează pagina web e ușor de văzut că ea încurajează prin construcție comutarea între indicatori diferiți, iar acest lucru schimbă rangurile, inclusiv între cele trei universități românești prezente, cu zeci sau chiar sute de poziții.

Un corolar al punctelor anterioare este că metarankingul asumat de Ministerul Educației nu este reproductibil: fără clarificări suplimentare el nu poate fi replicat și nici verificat.

Concluzii

Elementele menționate mai sus nu sunt o critică exhaustivă, dar ele reprezintă motive suficiente pentru a privi metarankingul românesc realizat în beneficul Ministerului Educației cu rezerve serioase. Contrar pretențiilor de obiectivitate enunțate în raportul Ministerului, exercițiul este unul părtinitor în favoarea universităților mari și/sau pluridisciplinare, arbitrar metodologic și insuficient de transparent. Rezultatele sale nu trebuie confundate cu o evaluare definitivă și absolută a calității universităților sau, mai rău, a programelor de studii individuale organizate de acestea.

Notă despre autori:

Autorii textului prezent sunt Prof. Univ. Dr. Mihai Păunescu, Dr. Gabriel-Alexandru Vîiu și Lect. Univ. Dr. Bogdan Florian, afiliați Școlii Naționale de Studii Politice și Administrative din București. Cei trei au expertiză și preocupări academice în domeniul politicilor educaționale și evaluării cercetării. Între articolele semnate de primii doi autori menționăm The lack of meaningful boundary differences between journal impact factor quartiles undermines their independent use in research evaluation, respectiv The citation impact of articles from which authors gained monetary rewards based on journal metrics. Cel de-al treilea autor a participat la realizarea metarankingurilor anuale publicate de Asociația Ad-Astra.