Pilotarea testelor standardizate, de la finalul anului școlar trecut – o oportunitate ratată. Interviu cu cercetătorul Dacian Dolean: Volumul de muncă a fost imens, dar eforturile au fost inutile având în vedere că nu și-au atins scopul

Expertul în științele educației Dacian Dolean susține într-un interviu pentru Edupedu.ro că demersul de testare prin platforma privată a celor aproape 150.000 de elevi nu și-a atins scopul oficial, acela de a evalua competențele elevilor. Raportul evaluării arată că testarea nu a fost una făcută pe un eșantion reprezentativ, prin urmare „dacă rezultatul nu este reprezentativ pentru nivelul elevilor din România, raportarea centilelor este irelevantă”, susține acesta.

Ministerul Educației a lansat la finalul lunii iulie, într-o „declarație de presă”, Raportul Național de Evaluare din Programul-Pilot de Evaluare Standardizată. De la lansarea raportului și până acum niciun oficial guvernamental nu a făcut niciun comentariu referitor la utilitatea acestui efort depus de elevi, profesori, școli și minister. Ba mai mult, așa cum Edupedu.ro remarca încă de la momentul publicării, ministrul Educației Sorin Cîmpeanu, nu a făcut nicio referire la raport și la „rezultatele” acestuia în comunicatul de prezentare, care constă chiar într-o declarația de presă de-a sa. Practic, întregul proiect și rezultatele acestuia au fost abandonate ca și cum nimic nu s-ar fi întâmplat.

După ce aproape 150.000 elevi (149.234) au fost testați, nu există nicio reacție în spațiul public din partea specialiștilor în științele educației din Centrul Național de Politici și Evaluare în Educație și de la nicio universitate din România referitor la aceste rezultate și la pilotarea la scară mare a testărilor respective.

Testarea standardizată la limba română, matematică și istorie făcută în 526 de unități școlare de Ministerul Educației în parteneriat cu firma SC Brio Teste Educaționale SRL, a precedat introducerii în proiectul de lege a învățământului preuniversitar a testării standardizate generalizate și a unui capitol bugetar separat pentru evaluarea elevilor la fiecare școală, capitol din care școlile nu pot cheltui acești bani, alocați prin costul standard, decât pentru evaluări periodice ale elevilor, în condițiile în care cele realizate de stat sunt în continuare gratuite.

„Ministerul Educației, prin Centrul Național pentru Curriculum și Evaluare, asigură cadrul legal pentru generalizarea și standardizarea evaluării, astfel încât începând cu anul școlar 2027-2028, toate evaluările și examenele naționale să fie în integralitate standardizate și administrate în format digital”, potrivit articolului 71 alineatul 3 din proiect. La fel, articolul 217, alineatul 3, punctul i) prevede că „evaluările și examenele naționale vor fi în integralitate standardizate și administrate în format digital începând cu anul școlar 2027-2028 în integralitate standardizate și administrate în format digital începând cu anul școlar 2027-2028”. Această trecere la evaluarea standardizată a fost contestată public în scrisoarea deschisă semnată de peste 200 de intelectuali.

Expert în științele educației, Dacian Dolean susține într-un interviu pentru Edupedu.ro că demersul de testare prin platforma privată a celor aproape 150.000 de elevi nu și-a atins scopul oficial, acela de a evalua competențele elevilor. De altfel, Edupedu.ro a arătat într-o analiza recentă cum pilotarea testării standardizate trebuia să evalueze competențele elevilor la finalul anului școlar 2021-2022, dar ministerul și partenerul Brio au prezentat la publicarea rezultatelor obiective complet diferite de cele din ordinul de ministru și din protocolul de parteneriat.

Dacian Dolean este cercetător și profesor, psiholog educațional, specializat în dezvoltarea limbajului și a alfabetizării timpurii. Are o experiență de peste 20 de ani la catedră de învățământ primar, gimnazial, liceal și universitar în România și în SUA. Activitatea sa din ultimii ani s-a axat pe cercetare în domeniul alfabetizării și pe activități de formare a profesorilor din învățământul primar din SUA.

Edupedu.ro: Pilotarea testelor standardizate a fost mediatizată ca fiind „Program-Pilot Național de Testare Standardizată”. Ministrul Educației, Sorin Cîmpeanu, a declarat pentru Edupedu.ro chiar în ziua în care a anunțat testarea standardizată că aceste teste vor fi aplicate unui eșantion reprezentativ de elevi proveniți din toate mediile din România, iar obiectivul declarat al acestei testări pilot a fost stabilirea nivelului de competențe al elevilor din România la finalul anului școlar, conform ordinului de ministru care a legalizat testarea. În final, a fost eliberat un Raport Național de Evaluare, fără niciun comentariu pe conținut din partea Ministerului Educației. Ce părere aveți despre rezultatele acestei pilotări?

Dacian Dolean: Așa cum am susținut de multe ori (inclusiv într-o analiză publicată în Edupedu), testele standardizate pot fi foarte utile. Când am lucrat ca profesor în SUA mi s-au părut foarte informative (evident, cu limitările de rigoare), și am sperat că în sfârșit vom vedea așa ceva și în România. De aceea consider că obiectivul propus de minister de a stabili nivelul competențelor elevilor din România a fost binevenit. Însă raportul pilotării arată că acest obiectiv nu a fost atins și în continuare există lacune serioase în înțelegerea modului în care funcționează evaluările standardizate și care este rolul acestora. 

Edupedu.ro: La ce vă referiți, mai exact?

Dacian Dolean: Vă explic. Testele standardizate sunt de obicei împărțite în două mari categorii: teste care se raportează la un criteriu și teste care se raportează la o normă. 

Testele care se raportează la un criteriu sunt similare cu evaluările naționale pe care le avem la clasele a 2-a, a 4-a, a 6-a, Evaluarea națională sau Bacalaureat, în sensul că elevii trebuie să demonstreze dacă și-au dezvoltat competențele vizate până la finalul unui anumit ciclu de învățare. Una din problemele acestei categorii de testări este potențiala subiectivitate a stabilirii criteriilor: Cine stabilește cât de bine este suficient de bine? De exemplu, profesorilor de la clasele primare li se cere să analizeze rezultatele evaluărilor naționale și să facă programe remediale, însă nu li se spune care este criteriul pe baza căruia pot să ia aceste decizii (care copii au performanțe bune și care nu? De la ce scor începem să ne îngrijorăm?). Deci ideea Evaluărilor Naționale este foarte bună, dar utilitatea lor este foarte redusă în absența conceptualizării clare a criteriilor de performanță. 

O altă problemă a evaluărilor raportate la un criteriu este riscul ca dificultatea testelor să difere în timp dacă nu există standarde foarte clare (ex. există riscul ca subiectele de la examenul de Bacalaureat din 2022 să fie mai ușoare ca cele din 2019). Uneori aceste criterii sunt ușor de stabilit (ex. până la finalul clasei pregătitoare, elevii vor recunoaște toate literele alfabetului), dar de cele mai multe ori aceasta este o misiune destul de dificilă. În acest sens cred că inițiative ca cele pe care le are Merito de a organiza sistematic standarde și descriptori de performanță sunt binevenite, și ajută la dezvoltarea de instrumente de evaluare standardizate raportate la anumite criterii. 

Noutatea pe care ar fi putut-o aduce pilotarea din primăvară ar fi fost evaluarea raportată la o normă, un eșantion reprezentativ la nivel național. În această situație, eu dacă îl testez pe un elev vreau să înțeleg care este ”nivelul lui” comparativ cu alți elevi din România testați în aceeași perioadă și vreau să îi urmăresc progresul în timp în funcție de această normă (raportat prin scorul exprimat în centile). De altfel, acesta este singurul motiv pentru care raportăm centilele. Dacă eșantionul nu este reprezentativ pentru nivelul elevilor din România, raportarea centilelor este irelevantă (de ce m-ar interesa performanța elevului/copilului meu raportat la un eșantion nereprezentativ? Dacă mi-aș testa elevul/copilul cu alt test, dezvoltat de o entitate de stat sau privată, și aș obține alte rezultate, atunci de unde știu eu care este performanța reală a elevului/copilului meu? De unde știu eu că o entitate evaluează mai corect decât alta?).

De aceea testarea este standardizată, pentru că se raportează la același standard (în cazul acesta, raportarea la o normă) indiferent de testul care se aplică. De exemplu, în SUA există multe teste standardizate și companii de testare, iar din fericire corelația dintre rezultatele la aceste teste este de obicei puternică – adică dacă un elev de clasa a 2-a performează în centilul 80 la un test de matematică, te poți aștepta să vezi o performanță similară la un alt test care măsoară același construct (aceasta este ”concurent validity”). Iar psihologii școlari au libertatea să testeze elevii cu ce instrument doresc ei (atât timp cât evaluează același construct). Acolo, dacă o companie ar publica un test care nu este normat pe un eșantion reprezentativ național și nu corelează puternic cu alte teste similare, aceasta și-ar pierde foarte mult din credibilitate, iar testul ar fi scos din uz (așa cum am văzut în câteva situații).

Deci asemenea teste standardizate sunt utile dacă eșantionarea este făcută corect și este corelată cu populația școlară. Din păcate această pilotare nu si-a atins scopul din cauza lipsei de reprezentativitate a eșantionului. Decizia selectării școlilor a fost lăsată la inspectorate, formându-se un eșantion de conveniență, în care elevii mai buni la învățătură au fost suprareprezentați. Acest eroare metodologică putea fi anticipată și prevenită. Dacă ceri inspectoratelor să îți aleagă școlile, atunci există riscul ca școlile alese să fie cele care au performanțe mai bune decât media școlilor din aceeași categorie, cele mai bine dotate (tehnologic), cele mai accesibile (care au infrastructură rutieră mai bună), sau cele care sunt mai aproape de orașele reședință de județ.

O altă problemă legată de reprezentativitate este includerea liceelor pedagogice în eșantion (ca una din cele 7 categorii de școli selectate). De ce liceele pedagogice și nu cele de muzică? Sau teologice? Ce relevanță are aceasta decizie în legătură cu obiectivul propus? (toate aceste criterii de includere trebuiau foarte clar justificate). Oare o șeptime din populația școlară a României este reprezentată de elevii de la liceele pedagogice? Evident că nu. 

Edupedu.ro: Și atunci de ce acest proiect se numește Program Național de Testare Standardizată, iar raportul dat publicității se numește „Raport național de evaluare”, dacă nu sunt reprezentative la nivel național și dacă rezultatele elevilor nu pot fi raportate la niște centile reprezentative la nivel național? 

Dacian Dolean: Ca să poți spune că este „raport național”, acesta trebuie să îndeplinească unul din două criterii: Să fie aplicat la întreaga populație școlară (cum este cazul Evaluărilor Naționale) sau să fie aplicat la un eșantion reprezentativ la nivel național. Acest raport nu îndeplinește nici unul din cele două criterii. 

Edupedu.ro: Fiindcă vorbiți de reprezentativitate, în raport se compară performanța elevilor din mediul urban (care au reprezentat 80% din eșantion) cu elevii din mediul rural (care au reprezentat 20%) din eșantion. E normal să se facă o asemenea comparație? 

Dacian Dolean: Evident că nu, deoarece populația școlară din mediul urban din România nu este de 4 ori mai mare decât cea din mediul rural. Și acesta este un indicator foarte clar al lipsei de reprezentativitate. Atunci când ai o suprareprezentare masivă a elevilor din mediul urban într-un eșantion, e normal să ne așteptăm ca rezultatele exprimate în centile să fie mai mari decât realitatea reflectată în evaluările naționale. 

În plus, scopul acestui raport nu a fost de a compara elevii în funcție de urbanizare, deci această comparație nu se justifică.  

Edupedu.ro: Deci chiar dacă au fost vizați peste 149.000 de elevi, acest eșantion nu este reprezentativ? 

Dacian Dolean: Nu, pentru că metodologia folosită nu a permis surprinderea în mod echilibrat a tuturor păturilor din populația școlară din România. Volumul de muncă a fost imens, eforturile făcute de elevi, de școli și de inspectorate a fost colosal – însă inutile, dacă acest demers nu și-a atins scopul. 

E mult mai important să ai un eșantion reprezentativ național (chiar dacă e mai mic) decât un eșantion atât de mare (dar nereprezentativ). De exemplu, instrumentele cu care am lucrat în SUA erau pilotate pe eșantioane de 100-200 de elevi pe nivel (ex. clasa a 3-a), ajungându-se la un eșantion total de 2-3 mii de elevi (reprezentativ pentru o populație școlară de aproape 80 de milioane de elevi). Alte teste cu care am lucrat au fost pilotate pe eșantioane de 1.500 de elevi. Sau instrumentul recent cu care am lucrat și care a fost dezvoltat în Marea Britanie a fost pilotat pe un eșantion de 1.200 de elevi de gimnaziu – însă toate aceste eșantioane au fost stratificate corespunzător.

Trebuie să înțelegem însă că în țări ca și SUA sau Marea Britanie o supradimensionare a eșantionului programului pilot este foarte problematică din punct de vedere etic, deoarece principiul fundamental după care se ghidează asemenea programe este găsirea echilibrului între maximizarea beneficiilor și minimizarea impactului asupra elevilor. Un program pilot aplicat la un număr de peste 100.000 de elevi nu ar fi aprobat de comisiile de etică dacă se pot obține rezultate identice pe un eșantion mai mic, dar reprezentativ la nivel național. În plus, durează o veșnicie să obții acordurile parentale de la peste 100.000 de elevi, comparativ cu un eșantion de două sau trei mii de elevi. 

Edupedu.ro: Spuneți că ar fi trebuit să li se ceară acordul părinților elevilor care au participat la această pilotare? 

Dacian Dolean: Absolut. Selecția participanților la toate pilotările pe care le-am desfășurat și le desfășor a început prin solicitarea acordului parental. Acestea sunt standarde etice de bază în științele sociale și orice cercetător științific sau profesor universitar care își cunoaște meseria vă poate confirma asta. De exemplu, atunci când public studii științifice în literatura de specialitate internațională, trebuie să mă asigur că lucrez conform standardelor etice existente în comunitatea științifică internațională. Dar la ora actuală, nu cred că există (sau nu ar trebui să existe) studenți la nivel de master sau doctorat în România care să nu știe că trebuie să obții acordul parental pentru un studiu pilot de validare și normare a unor instrumente de evaluare.

Nu pot să îmi dau seama cum de s-a luat decizia la nivel de minister că e OK să se facă o asemenea pilotare fără acordul parental, dar suntem în România, unde standardele etice sunt atât de joase încât încă ne luptăm să înțelegem (și dezbatem) ce înseamnă un plagiat. 

Edupedu.ro: Raportul prezintă datele defalcate în funcție de sex, urbanizare și pe județe. Cu ce ne ajută aceste date? Pot fi folosite pentru a face politici publice sau pentru a lua măsuri în sistemul de învățământ, de ce aceste defalcări, pe date nereprezentative și fără să fie anunțat un scop anume pentru acestea?

Dacian Dolean: Eu nu aș include într-un raport date care nu au relevanță pentru politici educaționale (sau care nu au legătură cu scopul propus), pentru că aglomerează inutil raportul și îl fac dificil de înțeles. De fapt, scrierea concisă este unul dintre principiile de bază în psihologie (apare precizat explicit în Manualul Asociației Psihologilor din America). De exemplu, la ce ma ajută să știu că fetele au avut o performanță diferită decât băieții? Ce măsură iau în această direcție? Există o măsură educațională specifică pe care am să o iau și care vizează exclusiv fetele – sau băieții? Dacă nu, de ce prezint această informație într-un raport care se dorește să stabilească nivelul performanței elevilor dintr-o țară? Îngreunează inutil raportul. Îl fac să arate științific din cauză că prezintă multe cifre, și probabil mulți care îl citesc vor da din cap admirativ, fără să înțeleagă cât de irelevantă este această informație vis-à-vis de scopul propus.

La fel, nu văd relevanța prezentării datelor pe județe, sau în funcție de urbanizare, având în vedere că scopul declarat al acestei pilotări a fost de a stabili nivelul performanței elevilor din România. Ce ar fi fost relevant în schimb (dar această informație nu este prezentată în raport) ar fi fost prezentarea indicatorilor care arată măsura în care itemii au fost distribuiți echilibrat și măsura în care există scoruri care deviază mult față de tendința centrală (indicatorii de skewness și kurtosis). Sau informații legate de fidelitate (ex. consistența internă) – informații care sunt considerate standarde minimale ale unui raport științific și sunt incluse în toate testele standardizate cu care am lucrat, dar lipsesc din acest raport.   

Edupedu.ro: În Raportul național de evaluare, autorii scriu că au folosit la această testare itemi nou creați și că în două săptămâni au fost construiți peste 8.000 itemi de către profesori, itemi care nu au mai putut fi pretestați, ci au fost dați direct elevilor. Ce ne puteți spune despre asta, este posibil așa ceva, arată asta ceva despre calitatea acelor itemi?

Dacian Dolean: Construirea de itemi de calitate pentru un test grilă este un proces foarte laborios, a cărui dificultate poate fi subestimată cu ușurință. În mod normal ai nevoie de o echipă multidisciplinară implicată în dezvoltarea acestora deoarece există multe variabile confundate care pot să afecteze validitatea și fidelitatea evaluării. De exemplu Educational Testing Services are o armată de oameni – echipe multidisciplinare, cu cunoștințe solide in psihometrie dar și în conținut (content-knowledge) și expertiză în educație. În proiectele noastre, atunci când construim itemii pentru instrumentele de evaluare sau programele de intervenție remedială, eu lucrez în echipă cu specialiști în conținut, pentru că sunt multe aspecte pe care le înțeleg și le cunosc doar eu (ca și psiholog educational) și alte aspecte pe care le cunosc mai bine profesorii de la clasă (în ciuda faptului că din cei 26 ani de carieră în învățământ, majoritatea i-am petrecut în învățământul preuniversitar).

Din punctul meu de vedere, prezentarea ideii că 8.000 de itemi pot fi construiți în 2 săptămâni erodează credibilitatea evaluărilor standardizate, pentru că nu ai cum să faci o muncă de calitate într-un timp atât de scurt. 

În plus, mai sunt probleme de validitate de construct, cum este și exemplul pe care l-am citit în Edupedu, prezentat ca și model de evaluare la istorie, în care elevilor li se cere să identifice castelul în pinacoteca căruia a fost găsit tabloul lui Vlad Tepes. Îmi este foarte greu să înțeleg relevanța acestui item, având în vedere că itemii incluși trebuie să fie reprezentativi pentru o serie de cunoștințe și competențe formate după parcurgerea materiei (nu memorarea unor detalii de o relevanță îndoielnică). Dacă și alți itemi au fost construiți la fel, atunci sunt probleme de validitate de construct a testelor (adică testele nu măsoară ce își propun să măsoare).

Edupedu.ro: Raportul a fost prezentat ca fiind un raport validat științific. Acum aflăm că nu îndeplinește multe dintre criteriile unui raport științific. Cum afectează încrederea oamenilor în știință și în procesul de evaluare un astfel de demers? Avem și recentul exemplu al scrisorii semnate de peste 100 de intelectuali cere cereau să se renunțe la evaluarea standardizată, prevăzută în proiectul legii învățământului preuniversitar.

Dacian Dolean: Pe de o parte, înțeleg reținerea față de evaluările standardizate (mai ales a celor sub formă de teste grilă), mai ales când nu există suficiente experiențe pozitive în România cu așa ceva. Tocmai, pentru a câștiga încrederea publicului în valoarea acestora, trebuie să înțelegi foarte clar avantajele dar și limitele acestor evaluări, și să faci un efort de comunicare suplimentar, prezentând clar limitele acestora. De exemplu, unele cunoștințe și competențe formate în orele de limbă și literature română se pot evalua prin teste grilă, altele nu. Dar toate competențele pot fi evaluate standardizat. De exemplu, am standardizat anul trecut într-unul din proiectele pe care le conduc un instrument de evaluare a scrierii unui pasaj narativ. Evident că ne-a luat multă vreme să îl dezvoltăm și să îl pilotăm, dar indicatorii psihometrici pe care i-am obținut au fost foarte buni. Bănuiesc că semnatarii scrisorii de care ați amintit se refereau la testele standardizate sub formă de răspunsuri multiple (grilă), însă nu toate testele standardizate sunt teste grilă, și în nici un caz nu toate testele standardizate se administrează în format digital. Eu bănuiesc că această reacție se referă la evaluarea competențelor formate în urma orelor de limba și literatura română exclusiv prin teste grilă, și în format digital (și nu cred că se referă la evaluarea standardizată). 

Apoi, referitor la demersul de care ați amintit: Reacția este justificată. În nici un caz nu aș fi inclus în lege acel paragraf prin care se precizează că toate evaluările și examenele naționale să fie administrate în format digital, atât timp cât nu avem infrastructura necesară în toate școlile din România (în special multe din mediul rural). Un asemenea mesaj duce la excluziune socială (”dacă școala ta nu are access la net, ghinion, te descurci!”) și îngreunează accesul la educație tocmai a celor care au nevoie de mai mult sprijin. 

Pe de altă parte, mi se pare că discuția din jurul evaluărilor standardizate tinde să fie polarizată: Adică fie suntem pentru, fie împotriva lor, și această polarizare cred că se naște din cauză că nu este clar ce sunt acestea. Din păcate, pilotarea la care am asistat (și raportul aferent) reprezintă o dovadă clară că suntem departe de a înțelege scopul, utilitatea și limitele evaluărilor standardizate, însă nivelul alfabetizării științifice din România în domeniul Științelor Educației este atât de redus, încât e posibil ca multă lume să nu vadă aceste probleme. În opinia mea, înainte de a include în noua lege a educației prevederea că toți elevii din România vor fi evaluați standardizat în format digital, ar trebui să dovedim mai întâi că înțelegem ce înseamnă evaluare standardizată, să dovedim că putem face o pilotare care se ridică la standarde științifice internaționale, și să dovedim că putem trage o concluzie relevantă în urma acestei pilotări”.

Raportul național de evaluare publicat de Ministerul Educației arată următoarele, printre altele:

• Selecția eșantionului a fost la latitudinea fiecărui inspectorat școlar județean
• Au fost alese școli cu acces la internet, dispozitive și personal care să știe să le utilizeze „fapt ce a generat rezultate (în eșantionul analizat) plasate ușor peste media națională”, menționează raportul – raport care nu arată care este media națională, eșantionul nefiind reprezentativ la nivel național
• Absenteismul a fost mare în mediul rural
• Un set nou de itemi a fost făcut în 16 zile (aproximativ 8.500 de itemi, menționați la pagina 8 din raport) „au fost generați și verificați cu ajutorul profesorilor colaboratori”, itemi care „au fost trecuți printr-un proces de verificare simplificat – o singură verificare încrucișată în locul celor 3 verificări independente care sunt utilizate de regulă”, potrivit autorilor.
• 1.037 de teste au conținut itemi eronați
• Scorurile sunt raportate la rezultatele elevilor participanți
• Rezultatele sunt date în centile „scoruri normate, scoruri care plasează un elev evaluat într-o ierarhie în relație cu ceilalți elevi de aceeași vârstă și aceeași clasă”
• Elevii care au fost testați se pot compara doar cu alți elevi testați în acest pilot, potrivit raportului „centilele trebuie văzute doar în scop comparativ – este o comparație binevenită cu alte școli, clase”
• Doar 29.550 de elevi au fost prezenți la testare din mediul rural, restul de 119.684 fiind din urban, fiind astfel de patru ori mai mulți elevi din orașe decât cei din sate. În acest context raportul remarcă „un decalaj consistent în defavoarea mediului rural: acest decalaj este pervaziv, la toate clasele și la toate materiile”.
• În aceste condiții sunt trase câteva concluzii pe baza testării:
  1. Aproximativ 20% dintre elevii testați sunt zona de risc educațional
  2. Aproximativ 50% dintre elevii testați sunt în zona de performanță limitată
  3. Extrem de mic volumul de elevi în zona de excelență – aproximativ 1-2%

Foto: © Katie Nesling | Dreamstime.com / Dreamstime.com sprijină educaţia din România şi, în contextul pandemiei Covid-19, oferă gratuit imagini stock prin care Edupedu.ro îşi poate ilustra articolele cât mai relevant posibil.