Ministerul Educației a publicat recent un Raport anual privind Metarankingul național aferent anului 2021. Documentul prezintă o ierarhie a universităților românești care apar în cel puțin un clasament internațional, iar utilitatea lui imediată va fi de a ghida, în parte, alocarea spre universități a unor fonduri pentru cercetarea științifică (potrivit Ordinului Ministerului Educației 3126/11.02.2022). Textul de față prezintă câteva limite și observații privind exercițiul asumat de Minister, scopul fiind acela de a încuraja reflecția critică asupra rezultatelor obținute în metaranking și asupra utilizării unui astfel de instrument în politicile de finanțare a cercetării universităților românești.
Dat fiind că metarankingul a devenit fundament pentru alocări din bani publici deși rezultatele sale nu reprezintă în niciun fel o evaluare riguroasă a cercetării științifice din universitățile românești, considerăm că o lectură onestă a raportului Ministerului Educației impune cel puțin luarea în considerare a aspectelor de mai jos.
Caracteristici problematice ale clasamentelor internaționale
Clasamentele internaționale instituționale (inclusiv cele incluse în metaranking) ignoră diversitatea inerentă universităților. Cerința fundamentală pentru orice demers comparativ rezonabil, alocarea prealabilă riguroasă a obiectelor de studiu în grupe și compararea ulterioară strict în interiorul acelor grupe, este astfel desconsiderată.
O anomalie metodologică ce trebuie evidențiată în mod deosebit este aceea că dimensiunile și profilurile disciplinare ale universităților sunt complet ignorate: universitățile mici sunt comparate cu universitățile mari, cele din zona științelor exacte cu cele din științele sociale sau umaniste, iar universitățile din S.U.A. sunt evaluate la fel ca cele din România, Bulgaria sau China.
Metodologia ierarhiilor este una asumat reducționistă. În mod intenționat și declarat, realizatorii clasamentelor măsoară unidimensional performanța organizațiilor universitare la nivel global. Obiectivele lor variază, însă, în general, aceste clasamente urmăresc să comunice simplu și eficient publicului din întreaga lume care sunt primele universități din lume după un anumit criteriu sau combinație de criterii. De pildă, unele clasamente măsoară performanța științifică a personalului din universități, altele calitatea educației sau vizibilitatea universităților în mediul online.
Clasamentele internaționale nu sunt proiectate să diferențieze în mod real între diverse tipuri de universități din România (aflate pe poziții dincolo de top 500), sau din orice alt sistem educațional național. Fiind realizate de entități private, cu scopuri adesea de natură comercială (orientate deci spre profit, nu spre politici publice), ele pur și simplu nu au menirea și nici capacitatea să asiste decidenții politici la nivel național să distingă între universitățile pe care le coordonează. Mai mult decât atât, participarea universităților la clasamente este voluntară și, adesea, condiționată financiar. Rezultatele niciunui clasament internațional individual nu pot constitui baza alocării de fonduri publice între universitățile românești, acestea nefiind nici obligate, nici stimulate sau susținute în vreun fel să participe la astfel de ierarhizări. Agregarea rezultatelor clasamentelor sub forma unui metaranking devine cu atât mai problematică.
În condițiile în care clasamentele instituționale internaționale sunt determinate adesea de volumul rezultatelor în valoare absolută, ele creează o competiție neloială între universități foarte diferite, avantajul mărimii fiind decisiv. Parcurgerea multiplelor metodologii ale diferitelor clasamente arată de pildă că aproape toate realizează o selecție preliminară a universităților ierarhizate. Selecția este esențial arbitrară și se bazează de regulă pe definirea unui prag minim (arbitrar) al numărului absolut al publicațiilor științifice indexate în baze de date internaționale, în clasament fiind apoi incluse doar acele universități ce depășesc pragul.
Este evident că o universitate care are un personal academic și de cercetare științifică mai numeros este favorizată în selecția preliminară în virtutea dimensiunilor, în timp ce o universitate cu mai puțini angajați are șanse reduse în procesul de selecție. Universitățile pluridisciplinare (mari), mai ales cele cu domenii bine acoperite în bazele de date ce indexează articole științifice, sunt „câștigătoare” firești în clasamentele internaționale, iar universitățile specializate (mici) sunt „perdanți” previzibili. Tocmai de aceea de mai mulți ani au apărut ierarhii internaționale pe domenii de studii, ierarhii care nu au fost avute în vedere în raportul ministerului.
Nu în ultimul rând, tradiția diferitelor sisteme universitare determină decisiv poziționarea în clasamente. De regulă, universitățile din S.U.A. domină clasamentele la care participă, la fel ca cele din Marea Britanie în cazul în care clasamentele sunt realizate la nivel european. Motivul este simplu: tradiția universitară a acestor țări permite o diferențiere clară a cercetătorilor științifici – cei direct responsabili de publicațiile ce influențează prezența și poziționarea universităților în clasamente – de cadrele didactice. În Europa continentală, pe de altă parte, personalul universitar a avut cu precădere, până nu cu mult timp în urmă, doar activități didactice.
Aspecte chestionabile ale metarankingului românesc
Dincolo de problemele fundamentale semnalate anterior (ce vizează clasamentele internaționale în general și rațiunile pentru care au fost acestea proiectate) trebuie consemnate mai multe aspecte metodologice chestionabile care sunt proprii exercițiului oficial de metaranking românesc.
Metarankingurile anterioare – publicate sub patronajul Asociației Ad-Astra – urmăreau conturarea unei imagini de ansamblu asupra performanțelor universităților din România la nivel global, indiferent de dimensiunile evaluate. Scopul restrâns al exercițiilor anterioare era însă identificarea universităților cu o minimă vizibilitate internațională, iar utilitatea lor era prioritar cea de resursă de informații pentru analize aprofundate la nivel de sistem, nicidecum diferențierea exhaustivă a universităților printr-un scor exprimat cu valori cu zecimale, chestiune inadecvată metodologic și incorectă ca principiu de alocare a fondurilor publice.
Față de metodologia utilizată anterior, cea a metarankingului asumat de Ministerul Educației pentru anul 2021 este sumar descrisă și insuficient justificată. Modificarea semnificativă este renunțarea la utilizarea scorurilor exprimate prin numere naturale și adoptarea unui sistem de punctaj cu valori exprimate prin numere cu patru zecimale. Totuși, clasamente utilizate în metaranking, conștiente de limitele inerente ale indicatorilor folosiți și de capacitatea reală de diferențiere a acestora, admit cu onestitate fie posibilitatea de a atribui același rang mai multor universități, fie gruparea lor în anumite intervale de ierarhizare (mai ales în zonele inferioare). Motivul este acela că eventuala diferențiere între multe universități s-ar realiza de fapt la un nivel complet nesemnificativ. Metarankingul aferent anului 2021, asumat de Ministerul Educației, ignoră aceste realități metodologice și susține, fără justificare, două tipuri complementare de distorsiuni:
- Pe de-o parte, s-a apelat la un proces ad-hoc de inginerie inversă întru precizie: pentru clasamente internaționale care prezintă rezultate grupate în categorii au fost calculate – fără documentarea riguroasă a acestui proces – scoruri globale astfel încât să poată fi atribuite universităților românești poziții exacte; similar, în alte situații au fost atribuite universităților românești poziții exacte ca medie a limitelor intervalului de grupare din clasamentul inițial. Dacă furnizorii originali ai clasamentelor ar fi considerat corectă metodologic ierarhizarea strictă și exhaustivă a tuturor universităților ar fi publicat rezultate astfel, fără precauția grupării în intervale sau a recunoașterii situațiilor de egalitate. Metarankingul românesc pentru anul 2021 a ignorat însă, în mod voit, limitele metodologice recunoscute ale clasamentelor utilizate și a acordat datelor un statut matematic (cardinal, în loc de ordinal) și o interpretare pe care chiar autorii respectivelor clasamente inițiale au fost reticenți în a le acorda.
- O a doua distorsiune, promotoare a aceleiași fetișizări a preciziei, este aceea că punctajele universităților din metaranking sunt prezentate la nivel de patru zecimale, justificarea din raport (pagina 2) fiind că astfel se facilitează „cu o mai mare acuratețe diferențierea poziției fiecărei instituții de învățământ superior din România”. Diferențierea este însă absolut falsă în substanță și nu servește niciun alt rol decât pe acela de a separa, complet mecanic, anumite universități. Trebuie remarcat aici contrastul cu metarankingurile realizate în perioada 2016 – 2020 și publicate sub patronajul Ad-Astra, inclusiv cel pentru anul 2021, în care astfel de diferențieri forțate sunt evitate. În schimb, cititorii metarankingului recent asumat de Ministerul Educației rămân fără o cheie rezonabilă de interpretare a diferențelor infime dintre universitățile care, aflate de exemplu pe locurile 16 – 19, au obținut punctajele 4,8530; 4,8390; 4,8366; 4,4502. Astfel de situații sunt foarte numeroase în metaranking și ridică o întrebare legitimă: cum anume pot justifica asemenea punctaje alocări din fonduri publice diferențiate între universități?
În fine, pentru cel puțin un clasament – CWTS Leiden Ranking – este neclar ce anume s-a folosit în metaranking. Spre deosebire de clasamentul Shanghai/ARWU sau altele ce au un caracter univoc, nu există propriu-zis clasamentul Leiden, ci o serie de clasamente paralele menite explicit să ofere o imagine nuanțată asupra performanței în cercetare. Fără clarificări în raportul publicat de Ministerul Educației, speculăm că grupul de lucru a folosit clasamentul Leiden implicit – default – din pagina web, bazat pe numărul total de publicații al universităților. Totuși, pentru oricine accesează pagina web e ușor de văzut că ea încurajează prin construcție comutarea între indicatori diferiți, iar acest lucru schimbă rangurile, inclusiv între cele trei universități românești prezente, cu zeci sau chiar sute de poziții.
Un corolar al punctelor anterioare este că metarankingul asumat de Ministerul Educației nu este reproductibil: fără clarificări suplimentare el nu poate fi replicat și nici verificat.
Concluzii
Elementele menționate mai sus nu sunt o critică exhaustivă, dar ele reprezintă motive suficiente pentru a privi metarankingul românesc realizat în beneficul Ministerului Educației cu rezerve serioase. Contrar pretențiilor de obiectivitate enunțate în raportul Ministerului, exercițiul este unul părtinitor în favoarea universităților mari și/sau pluridisciplinare, arbitrar metodologic și insuficient de transparent. Rezultatele sale nu trebuie confundate cu o evaluare definitivă și absolută a calității universităților sau, mai rău, a programelor de studii individuale organizate de acestea.
Notă despre autori:
Autorii textului prezent sunt Prof. Univ. Dr. Mihai Păunescu, Dr. Gabriel-Alexandru Vîiu și Lect. Univ. Dr. Bogdan Florian, afiliați Școlii Naționale de Studii Politice și Administrative din București. Cei trei au expertiză și preocupări academice în domeniul politicilor educaționale și evaluării cercetării. Între articolele semnate de primii doi autori menționăm The lack of meaningful boundary differences between journal impact factor quartiles undermines their independent use in research evaluation, respectiv The citation impact of articles from which authors gained monetary rewards based on journal metrics. Cel de-al treilea autor a participat la realizarea metarankingurilor anuale publicate de Asociația Ad-Astra.
Mihai Peticilă și Ștefan Lefter
Redacția
Razvan Chereches
1 comment
Fiind implicat profesional de trei decenii in evaluarea CALITATII organizatiilor, am citit si recitit articolele binevenite publicate de EDUPEDU pe tema meta-rankingului universitar dambovitean – o oportuna si complexa initiativa originala menita sa rezolve atat delicata problema a pozitionarii universitatilor noastre in raport cu cele straine cat si sa justifice acordarea finantarii bugetare pe criterii calitative…. In speranta ca ceea ce publica EDUPEDU se va bucura de o mai larga audienta inclusiv de reactivitatea decidentilor, propun atentiei cititorilor interesati de calitate si clasamente/ topuri deocamdata doar cateva observatii si idei:
1. Intr-o lume bazata cvasi-exclusiv pe interese si pe influenta unicului zeu acceptat majoritar – VITELUL DE AUR – , este (aparent) normal ca si clasamentele/ topurile academice sa reprezinte anumite interese. Astfel, multe clasamente internationale (cunoscute prea putin in Romania, din motive de ignoranta si suficienta) vizeaza fie cresterea vanzarilor anumitor publicatii, fie promovarea (contra cost, evident) a anumitor universitati in apriga lor competitie mondializata pentru resurse si clienti, fie captarea cat mai multor studenti platitori de taxe, fie cresterea numarului de articole stiintifice publicate (contra cost, evident) de tot mai multe reviste si conferinte (inclusiv inca “exoticele”, pentru noi, “predatory journals” si “predatory conferences”),etc. De aceea criteriile/ indicatorii si ponderile utilizate in aceste clasamente s-au dovedit a fi pentru noi nu numai “reductioniste” ci si defavorabile ceea ce a condus la includerea in acestea, pe parcursul a peste doua decenii, a doar maximum 10 universitati romanesti (din cca. 90 existente!) si acelea pe pozitii in cel mai bun caz mediocre!!! Metarankingul original dambovitean (realizat se pare, intr-un mod pe cat de complex pe atat de putin transparent, criteriile, indicatorii, ponderile si metodologia de calcul nefiind publice in limba romana, dar ascunzandu-se sub un potop de termeni tehnici exotici (deci inaccesibili neofitilor dar publicate in engleza sub acoperirea prestigioasei edituri Springer!!! De ce oare?!) a evidentiat 31 de universitati romanesti, restul nefiind incluse in clasamentul publicat…De ce? Cum? Pentru ce? Mistere de elucidat, se pare… 2.Orice clasament al CALITATII unor organizatii implica atat evaluarea masurii in care organizatia indeplineste cerintele unor criterii prestabilite, transparente si realizabile (!!!) cat si definirea CLARA, RELEVANTA, NEECHIVOCA, de preferat prin CONSENSUS-ul tuturor partilor implicate, a acestor CRITERII (cu indicatorii, ponderile si metodologia lor de evaluare), ansamblul lor formand REFERENTIALUL evaluarii… In 30 de ani, la noi nu s-a dorit si /sau putut nici macar discuta dar-mi-te consensualiza ce ar insemna o UNIVERSITATE DE CALITATE in Romania!!!! … In tara “drepturilor si libertatilor” (fara responsabilitati, de prea multe ori!) si a dreptului prioritar la libera exprimare (ignorand virtutile consensus-ului), mai fiecare parlamentar, ministru, universitate, profesor, student, etc. in cel mai bun caz are si proclama propriile sale criterii (dar, in cel mai rau caz, nici macar nu-si pune o asemenea problema)…. Pentru Ministerul educatiei si alti multi decidenti, UNIVERSITATEA DE CALITATE a fost – pana la aparitia OG 75-2005, ARACIS si Metaranking-ului – exclusiv organizatia care … respecta legislatia si reglementarile dand socoteala pentru utilizarea “economicoasa” a fondurilor bugetare alocate… La fel pune problema si Curtea de conturi! De ce mai era nevoie de ARACIP si ARACIS, partial tot in acelasi scop? Avand Metarankingul am putea acum avea in vedere o multime de alte criterii dar acestea sunt NECONSENSUALIZATE caci au fost stabilite fara consultarea beneficiarilor educatiei (in primul rand angajatorii care beneficiaza de absolventii nostri, dar si absolventii, studentii, finantatorii acestora, inclusiv parintii!) si fara consultarea profesorilor universitari, de care depinde in mare masura indeplinirea criteriilor… Din pacate nici criticii Metarankingului nu au avut in vedere aceste cerinte (respectate pe alte meridiane!!!) ci doar obtinerea unor cat mai consistente finantari bugetare de catre universitatile lor !!! Sunt sigur ca nici intarziatul dar posibil deceptionantul slogan-program “Romania Educata” (asa cum a fost si a ramas sloganul “Romania – tara lucrului bine facut”) nu vor dori/ putea/ sti cum si ce trebuie facut pentru a defini consensualizat si in Romania UNIVERSITATEA DE CALITATE ! Cunoscand si reflectand asupra realelor motivatii si efecte ale multelor zeci de modificari aduse intr-un deceniu Legii 1-2011 privind educatia nationala, asupra colectiei de surprinzatoare confuzii, erori conceptuale si prejudecati incluse in OG 75-2005 (aprobata prin Legea 87-2006) privind asigurarea calitatii educatiei si, mai ales, asupra socantelor date statistice demonstrand extinderea contraproductiva a ABANDONULUI UNIVERSITAR si a ANALFABETISMULUI FUNCTIONAL (initiat in preuniversitar dar cu consecinte inca neevidentiate si in invatamantul superior) decidentii actuali ar putea da dovada de realism, pragmatism, credibilitate poate chiar de eficacitate si eficienta!… Continuand cu simulacrele si mimetismul, sistemul nostru educational va retrograda si mai mult, indiferent de clasament !!!