Dragoș Iliescu, expert testare: Când îți pui gresie în casă măsori cu grijă, când e vorba de educația copiilor, calitatea măsurării e trivială, “merge și așa”. Nu, nu merge! Efectele lipsei testelor standardizate de calitate în școală

“Când îți pui gresie în casă măsori cu grijă, când e vorba de educația copiilor, calitatea măsurării e trivială, “merge și așa”. Nu, nu merge!”, explică expertul în testare, Dragoș Iliescu. Acesta a prezentat în cadrul conferinței online SuperTeach “Testare, evaluare și feedback”, diferența între testarea actuală din sistemul de Educație, pe care a caracterizat-o drept “de o calitate execrabilă”, și un tip de testare standardizată care ar putea oferi un feedback clar și precis pentru fiecare lev, părinte și profesor.

• Articolul face parte proiectul “Vreau să fiu profesor în România”, susținut de Telekom Romania și realizat în parteneriat cu SuperTeach și Edupedu.ro.

Dragoș Iliescu: “Testarea standardizată nu este o modă, nu e ceva ce facem pentru că ni se cere, nu e ceva ce facem pentru că ne impun alții. E o chestiune fundamentală despre calitate în măsurare. Eu sunt impresionat teribil de negativ de cât de puțină bază se pune pe măsurarea de calitate în educație. În orice proiect, indiferent cât de trivial ar fi el, măsurarea ocupă un loc critic. Dacă vrei să construiești o casă și vin oamenii să-ți construiască fundația, dacă ei ar spune că “o facem din ochi” evident că ai turba. Când îți pui gresie în casă, sau la proiecte de acest fel, cele mai triviale proiecte, măsori cu grijă și ești foarte atent. În educația propriilor copii, care probabil e cel mai critic obiectiv al vieții noastre, calitatea măsurării e brusc trivială, “merge și așa”, știm că nu e prea bună, dar ne descurcăm. Nu, nu merge și așa! E un proiect important și ar trebui ca măsurarea să fie de calitate. Problema cea mai mare pe care o avem este că testele clasice, de la clasă, încropite de noi, de profesori, chiar și testele de sistem în România, vorbesc de testările de la Evaluarea Națională și de la Bacalaureat, au o calitate execrabilă în termeni de precizia măsurării. Ce repercusiuni are acest lucru? Ce efecte are asta?

Într-un test de IQ, de pildă, vorbim aici de fidelitatea testului, deci de intervalul de încredere care îți marchează o eroare. Scorul de IQ este un scor standardizat cu o medie de 100 și cu o abatere standard de 15 puncte și luăm ca exemplu (vezi foto de mai jos) un copil, care, vedeți la rombul negru, are un scor de 97 de puncte. Dacă acest test ar avea o fidelitate foarte bună, de .95, intervalul de eroare, adică de încredere în jurul acestui scor, ar fi undeva în zona liniei verzi, deci nu e o eroare foarte mare. Înseamnă că putem avea încredere în scorul respectiv și cam reflectă cu adevărat zona în care se află copilul respectiv. Intervalul de încredere la o fidelitate de .70 este zona cu linia neagră și, de bine de rău, ne putem descurca cu un astfel de interval de încredere. Adică nu-i atât de bun, există cam multă variabilitate, dar e totuși în regulă, copilul nu este scos din zona în care era, copilul are totuși un scor mediu și e sigur în zona medie, chiar dacă noi nu am pus degetul exact pe scorul lui corect.

La o fidelitate de .50 suntem în zona din imagine care e roșie, unde nu mai avem ce să facem cu scorul ăsta. Deci copilul acesta poate să fie oriunde între “below average”, un IQ aproape de limită, la 78 de punte, sau poate fi într-o zonă de 115 puncte, unde e pe drumul cel mai bun pentru a fi diagnosticat ca “gifted”. Efectiv nu mai ai ce să faci cu acest scor.

Aici avem exemplul unui test de matematică, a cuprins opt probleme, la fiecare problemă primești 10 puncte, este posibil scoring parțial, deci poți să primești doar două puncte la o problemă sau trei, și acest test în mod real e plasat la .50 ne duce la un interval de încredere față de scorul ăsta de 50 al copilului, oriunde în această zonă (trasată cu linia roșie), efectiv nu mai ai ce să faci cu el.

Care este efectul dacă avem lipsă de precizia măsurării: Fairness Violation. Asta este cea mai importantă. Cel mai important efect pervers sau efect negativ în măsurarea educațională. Ăsta este motivul pentru care Statele Unite și Marea Britanie și Canada, țări care au un altfel de sistem juridic, problema asta a fost rezolvată deja din anii ‘50. De ce, pentru că dacă știu că la școală copilul meu nu este tratat “fair” și pot demonstra asta cu ajutându-mă de statistică, ce crezi c-o să fac în America? O să dau în judecată pe cineva: profesorul, școala, sistemul. De ce. Pentru că copilul meu este dezavantajat și asta a fost principala forță care a rezolvat acest tip de problemă în educație, Problema măsurării. Sigur, procesomania lor este teribilă și e de notorietate și nu vrem să trăim neapărat într-un astfel de sistem, dar de bine de rău dacă e totuși să găsim un punct pozitiv în acel tip de societate și de raportare la procese pentru a cere dreptul în instanță, a rezolvat foarte timpuriu această problemă am măsurării.

La noi rezultatul respectiv, scorul real, are o foarte mare marjă de eroare, iar asta înseamnă că mereu copilul nu este evaluat cum trebuie, unii copii vor fi subevaluat, alții vor fi supraevaluați, ori cel care e subevaluat, acelui copil îi produci daune directe într-o competiție. Îi produci daune directe la Bacalaureat, e posibil să fie puțin peste limita de admitere și el o să stea sub acea limită și n-o să ia bacul, e posibil să fie la 9:50 și tool evaluezi la 9:20 sau la 8:80. Și o să ziceți că aici problema poate nu-i atât de mare pentru că dacă el e foarte bun o să ia totuși bacul, dar ce te faci la Evaluare Națională, unde e o competiție reală versus alți copii? Adică dezavantajarea aceasta poate să fie teribilă. Nici nu mai discut despre ce daune indirecte în conceptul de sine, în motivație, produce un scor mai mic decât ți s-ar cuveni după ce ai învățat la un test și după ce tu credeai că știi mai mult. Nici nu vreau să știu câți copii s-au lăsat de matematică sau de științe pentru că au primit evaluări mai mici decât meritau, care i-au descurajat să continue în acel domeniu. În același timp vom supraevalua alți copii. Ceea ce văd în România e ce se spune de obicei: dam din umeri și să zicem “eh, norocul lor, au avut noroc, le-am dat o notă mai mare decât meritau”. Dar asta este stupid, și asta este nedrept. Și asta contravine principiilor unei meritocrații și cred că suntem în consonanță cu toții că vrem să trăim într-o meritocrație, fiecare după merit, nu mai puțin, niciodată mai puțin decât meritul, dar nici mai mult decât meritul.

Problema precizia de măsurare este o problemă foarte serioasă, care nu poate fi rezolvată decât prin teste standardizate create și studiate și validate înainte ca ele să fie aplicate . nu pledez împotriva distrugerii valorilor de la clasă, evident că avem nevoie de evaluare de la clasă creată de noi, de profesori, dar acestea au niște limite teribil de mari și ar trebui să fim conștienți de ele și ar trebui ca cel puțin în acele zone în care nota trebuie să aibă precizia, și evaluare este cu impact masiv, să utilizăm teste standardizate pre validate și nu create la repezeală de noi.

Raportarea este privită din păcate foarte des cu superficialitate la educația din România. Avem fel de fel de studii cum se face testare, avea o parte din acele studii inclusiv ale Ministerului arată și pe urmă raportării testării. Motivul pentru care avem nevoie de calitate în raportare îl explic cel mai ușor întorcându-mă la problema fundamentală a motivului pentru care facem testare. Până la urmă de ce facem testarea în școli, de ce îi evaluăm pe copii? Când pun acest trebuie întrebare foarte des primesc motive pe care eu le consider greșită sau cel puțin superficiale: că așa ni se cere, nu aș putea ca profesor într-o școală din România să nu fac evaluare, că trebuie să trec niște note până la urmă, deci așa mi se cere, nu am ce să fac .

De ce testare ajută învățarea: motivul fundamental este feedback. Testarea generează informație despre nivelul de competență pe care îl ai despre lucrurile pe care le știi, despre lucrurile pe care nu le știi, și oferă feedback celui care învață, oferă feedback și altora dintre cei care sunt parte în acel proces de învățare pentru îmbunătățire. Feedback-ul este de departe cea mai eficientă strategia de intervenție individuală. există foarte multe tipuri de intervenții în educație fiindcă Educația este un domeniu care e bazat pe evidente științifice, ne uităm la fel de fel de surse care ne arată care sunt intervențiile eficiente. Dacă vreau să iau un copil de la A și să-l duc la B, ce aș putea face cu acest copil? Aș putea să-i dau ore remediale, aș putea să repet mai mult, să-i dau teme, pot să fac o groază de lucruri. În toate meta analizele pe care eu le-am văzut, sau analizele de nivel mai înalt care se uită la astfel de intervenții individuale, feedback-ul este întotdeauna, detașat, în fața oricărei alte intervenții. Decât să-i dau două ore de temă, mai bine îi dau un test și dau feedback pe testul respectiv. Asta îți arată și analizele pe care le facem pe BRIO, cel mai mare impact al vreunei intervenții este dat de feedback. Meta analizele lui John Hattie ne arată că nu există o armă mai puternică decât feedback-ul.

O statistică făcută pe 6.000 de copii în România arată că în urma testării nu primești feedback. Sau dacă primesc feedback este unul de foarte proastă calitate. Adică incomplet. Și aici o să remarc trei principii care țin de raportarea coerentă rezultatelor testelor: feedback-ul ar trebui să fie dat și pregătit pentru stakeholderi multiplii, elevi, părinți, profesori.

E grozav! Și profesorul primește feedback prin care are o modalitate de a analiza toți copiii din clasa luim, să vadă dacă sunt lucruri care au fost înțelese greșit, dar are o lipsă foarte mare, părintele nu primește feedback. În momentul în care părintele își sprijină în învățare copilul, știm asta în România, mulți dintre părinții au educația propriilor copii în propriile mâini, li se datorează feedback și lor și nu știu cum să monitorizeze învățarea, cum să influențeze învățare a propriilor copii. Deci aș vrea să nu ignorăm părinții în actul de feedback.

-aAi un al doilea principiu care vorbește de dimensionalitate, deci de un profil de competență. Ceea ce primești în România de obicei e o notă. Cât ai luat? Șapte! Ce îți zice nota șapte? Ea nu poate fi interpretată decât în mod “paușal”, adică nu ești chiar de opt dar nu ești nici de șase. deci nu ești în zona de 5,6, te lupți cu lipsa de performanță și cu pui și corigență. Nu ești nici în zona de 89, ești de șapte, cam atâta pot să-ți zic. Și ce pot să fac? Învață mai mult pe viitor, deci asta e tot ce pot să primesc doar pe baza unei note. Dar ceea ce știm este că există întotdeauna în orice tip de competență, dimensionalitatea internă a competenți ei. Cu alte cuvinte matematică de clasa V-a nu înseamnă doar matematică de clasa V-a, înseamnă fracții de a V-a, înmulțire a V-a, puterea a V-a, ecuații de a V-a, inecuații de-a V-a, numere naturale de a V-a, de ce? Fiindcă asta ne spune programa. Și sunt câțiva copii, nu mulți, care sunt praf la toate. Nu au un profil. Ei sunt aproape de zero la toate. Și sunt câțiva copii, nu mulți, care sunt foarte bun la toate, dar pentru cea mai mare parte a copiilor, acolo undeva între 85 și 90 la sută din copiii au dimensional itate, o diferențiere între scorurile la aceste dimensiuni. Sunt bun la fracții, nu sunt foarte bun la puteri și sigur că există un nivel la care toate acestea se combină și tu nu mai poți să mai ai performanță masivă pentru că tu ai ecuației în care ai puteri și trebuie să fii bun și la puteri și la ecuații la un anumit nivel. Dar de fapt problema fundamentala este acea diferență de competențe între aceste dimensiuni. Deci feedback-ul nu trebuie dat pe scor total, ci trebuie dat pe dimensiuni, trebuie dat pe cărămizile care compun competența respectivă. Și în al treilea rând feedback -ul ar trebui să fie dat în așa fel încât să susțină motivația, să mențină motivația.

Copiii care sunt acum în clasele primare, garantat, 100% vor da bacalaureatul la fel cum se întâmplă în cea mai mare parte a statelor vestice, adică cu teste grilă standardizate, cu probabil 60-80-100 de întrebări în două ore. La fel cum e TOEFL, la fel cum este SAT-ul, deci în direcția aia ne ducem. Și dacă noi facem altfel în clasă nu numai că n-o să avem precizie dar nu-i pregătim pentru ceea ce în testările cu miză ei vor primi”.

Dragos Iliescu este specialist în psihologie organizaționala și măsurare psihologică, cu o solidă activitate academica și experiență practică și cu o largă recunoaștere în comunitatea internațională de specialitate. Este în prezent profesor la Facultatea de Psihologie și Științele Educației și director al Școlii Doctorale de Psihologie și Științele Educației din cadrul Universității București.