Rezultatele TIMSS la matematică, contrast izbitor cu concluziile evaluării din proiectul ROSE / Cercetătorul Dacian Dolean: dna Preoteasa a fost informată greșit – centilul 37 nu înseamnă că performanța elevilor e echivalentă notei 3,7. Performanța elevilor de la liceele tehnologice e doar puțin mai slabă decât media pe țară

Rezultatele TIMSS 2023 analizează comparativ competențele de matematică și științe (biologie, fizică, chimie) în rândul elevilor, iar anul acesta România a participat atât cu elevii de clasa a VIII-a, ca în precedenta sesiune din 2019, cât și cu elevii de clasa a IV-a – lucru nemaiîntâmplat din 2011. În testarea TIMSS elevii din România au dus țara noastră pe locul 6 la Matematică, între statele europene participante la clasa a IV-a și pe locul 19 la clasa a VIII-a. Aceste rezultate apar într-un contrast izbitor cu concluziile recente din cadrul proiectului ROSE, prezentate la conferința de închidere a proiectului, care a avut loc la finalul săptămânii trecute la Sibiu. Liliana Preoteasa, director în Ministerul Educației și managerul de proiect, spunea atunci că „pe materia de clasa a VIII-a au obținut o medie de 3,75, traduc eu 37,53, după ce dăduseră Evaluarea Națională, teoretic știau ei ceva, trebuiau să știe”. În proiecte fuseseră evaluați circa 66 de mii de elevi din peste 800 de licee, iar evaluarea lor a fost făcută pe conținuturi din materia de gimnaziu, conform declarațiilor amintite.

• Ambele testări, atât TIMSS 2023 cât și „Evaluarea computerizată a elevilor de clasa a IX-a” au fost plătite din banii din proiectul ROSE, este vorba despre un împrumut luat de Guvernul României de la Banca Europeană pentru Reconstrucție și Dezvoltare, instituție a Băncii Mondiale, în valoare de 200 de milioane de euro, proiect derulat în perioada 2015-2024. Conform documentelor din proiect, testarea TIMSS a fost făcută prin Universitatea din București, pe baza unui contract care presupunea implementarea mai multor testări internaționale (TIMSS 2023, ICCS 2022 și ICILS 2023), în valoare de 1,66 milioane de lei (echivalentul a 339.200 euro, potrivit raportării făcută de Universitatea din București), iar „Evaluarea computerizată a elevilor de clasa a IX-a” a fost făcută de firma Brio Teste Educaționale SRL în baza unui contract de 297.500 de euro, după cum Edupedu.ro a scris încă din iulie 2023.

• Ambele testări au fost susținute de elevi în format digital. TIMSS anunță că a folosit în testarea de clasa a VIII-a 183 de itemi la matematică. În raportul testării din ROSE au fost folosiți, la matematică, 625 de itemi, iar testarea pentru clasa a VIII-a a avut 25 de itemi/test în „30 de forme paralel echivalente”.

• Framework-ul TIMSS arată că evaluarea este una a competențelor elevilor de clasa a VIII-a în matematică și specifica faptul că aproximativ 85% dintre itemii care acoperă subiectele din fiecare domeniu de conținut sunt situați într-un context de rezolvare a problemelor. Prin evaluarea din ROSE „itemii s-au bazat nu pe competențele din programă, ci pe conținuturile din programă”. Asta deși într-un interviu pentru Edupedu.ro. managerul proiectului ROSE, Liliana Preoteasa, declara în septembrie 2023 că ar fi vorba despre testarea cunoștințelor și competențelor elevilor.

• Prin ROSE s-au testat exhaustiv 66.109 elevi de clasa a IX-a din 805 licee înscrise în proiectul ROSE la matematică, iar la TIMSS eșantionul reprezentativ pentru elevii de clasa a VIII-a din sistemul de învățământ din România a fost de 3.722 de elevi de clasa a VIII-a testați, fiind cel mai mic număr de elevi dintre toate statele participante. Numărul de școli din eșantionul TIMSS a fost 128.

Săptămâna trecută, în cadrul conferinței de final a proiectului ROSE a fost prezentată concluzia că 91% din copiii de clasa a IX-a sunt în categoriile de risc crescut la matematică. Liliana Preoteasa, directorul Unității de Management al Proiectelor cu Finanțare Externă în Ministerul Educației, care gestionează implementarea Proiectului privind învățământul secundar/ Romania Secondary Education Project (ROSE) a explicat că performanța elevilor este slabă – „mie mi se pare înspăimântător” a spus aceasta când a prezentat rezultatele testării: „Pe materia de clasa a VIII-a au obținut o medie de 3,75, traduc eu 37,53. După ce dăduseră Evaluarea Națională, teoretic știau ei ceva, trebuiau să știe. (…) Desigur că la a VIII-a materia este mai complexă, dar totuși acest procent, acest rezultat este foarte slab, după ce ai terminat școala și ai trecut clasa, teoretic, ești la liceu. În a doua coloană aveți procentul de copii care se găsesc în categoriile C, D, E ultimele, sub 60% la clasa a VIII-a la matematică 90,8%. Deci aproape 91% din copii sunt în categoriile vulnerabile sau de risc. Mie mi se par înspăimântător”. 

Totuși, rezultatele TIMSS 2023 prezentate miercuri, arată că elevii de clasa a VIII-a din România sunt puțin peste media tarilor participante la testare. La acest test, performanța elevilor români a fost mai mare decât ale elevilor din țări cum ar fi Statele Unite sau Franța.

Cum e posibil ca două rezultate de la două testări să fie atât de diferite? Cercetătorul Dacian Dolean, psiholog educațional, spune că interpretarea, conceperea și aplicarea testării din proiectul ROSE ar putea fi răspunsul.

Edupedu.ro: În raportul publicat de proiectul ROSE se arată că media scorurilor la matematică a elevilor din școlile cuprinse în proiect, majoritatea de la licee tehnologice, s-a situat în centila 37 față de media națională. Cum interpretăm asta? 

Dacian Dolean: „Dacă eșantionul cu care comparăm este reprezentativ la nivel național (n.red. Edupedu a semnalat și în trecut probleme cu eșantionarea acestor teste), înseamnă că performanța elevilor din liceele ROSE a fost doar puțin mai scăzută față de performanța elevilor la nivel național. Dar aceste rezultate nu reprezintă nicio noutate: se știe că elevii din liceele tehnologice au, în general, o performanță mai slabă decât media națională. În plus, din câte înțeleg, pentru a participa în proiectul ROSE, liceele trebuiau să demonstreze că au o performanță mai slabă. Deci eu nu văd valoarea adăugată a acestei concluzii. Era ceva de așteptat. 

Edupedu.ro: Managerul de proiect, director UMPFE în minister, Liliana Preoteasa, a prezentat aceste date astfel – 91% dintre elevii de clasa a VIII-a testați la matematică sunt în categorii de risc – adică sunt în centilele sub 60, iar centila 37 ar fi, în „traducerea” sa, echivalentul notei de 3,75 – media evaluării. Ce arată aceste date?

Dacian Dolean: Din păcate, cred că doamna Preoteasa a fost informată greșit. Centila 37 nu se interpretează ca echivalentul notei 3,7 în sistemul de notare din România. Dacă ar fi așa, media performanței elevilor din România la Evaluarea Națională de la finalul clasei a VIII-a ar fi 5, majoritatea lor ar trebui să aibă o performanță cuprinsă între nota 2 și nota 8, și doar rareori vom vedea note mai mari de 8.

Edupedu.ro: Și atunci cum pot fi explicate performanțe atât de slabe la aceste teste care s-au prezentat în proiectul ROSE ca fiind concordante cu programa școlară? De ce este contrastul acesta între rezultatele prezentate în proiectul ROSE și cele TIMSS 2023? De exemplu, cum vă spuneam, în raportul din proiectul ROSE și în declarațiile de la prezentarea rezultatelor evaluării, s-a considerat că elevii cu un scor mai mic de centila 60 au probleme de stăpânire a materiei. 

Dacian Dolean: Cred că majoritatea profesorilor și cercetătorilor pot să construiască teste care să fie concordante cu programa școlară și care să îi poată pune în dificultate pe cei mai buni elevi. Însă nu includem mulți itemi dificili într-o evaluare, pentru că scopul evaluării nu este să demonstrăm că majoritatea elevilor testați sunt incompetenți. E normal să ai câțiva itemi mai dificili, care pot fi rezolvați doar de unii elevi, însă majoritatea itemilor trebuie să poată fi rezolvați de majoritatea elevilor. Dacă în urma acestor testări a reieșit că mulți elevi din România au o performanță foarte slabă și aceste date sunt contrazise de TIMSS, înseamnă că ponderea itemilor cu dificultate ridicată din această testare a fost mai mare decât era cazul. Nu cunosc detalii referitoare la conținutul acestor teste, însă se pare că este o problemă de testare si de interpretare a rezultatelor în proiectul ROSE, pentru că îmi este greu să cred că cei de la TIMSS nu știu să testeze și să interpreteze rezultatatele testării. De exemplu, este absolut greșit să interpretezi că elevii testați în ROSE a căror performanță se situează în centila 60 au probleme de stăpânire a materiei, deoarece acest scor indică o performanță peste medie. Nu știu cu cine s-au consultat cei din ROSE, însă orice specialist care are cunoștințe minime de psihometrie le poate explica asta. 

Probabil confuzia a apărut din faptul că nu se înțelege clar scopul testelor standardizate. Dacă rezultatele le raportezi la o normă națională, atunci testarea ne arată unde se află copiii testați din eșantionul respectiv față de alți elevi similari, reprezentativi la nivel național. Când faci asta, rezultatele le exprimi în centile, iar în cazul acesta centila 60 arată o performanță peste medie. Dar dacă le raportezi la niște criterii (ex. exerciții care testează aplicarea teoremei lui Pitagora), atunci te interesează ce performanță au elevii în funcție de criteriile stabilite în programa școlară. În cazul acesta, raportarea în centile nu mai este relevantă”.