Testele grilă la Bacalaureat și Evaluarea Națională pun în mișcare procese de gândire axate mai degrabă pe recunoaștere, decât pe reproducere, a explicat pentru Edupedu.ro psihologul Dragoș Iliescu. “Nu trebuie să produc soluția, soluția e deja produsă pentru mine, eu trebuie să o recunosc doar”, a precizat acesta. Vicepreședinte al Comisiei Internaționale de Testare, profesor la Universitatea din București și colaborator OECD la o parte din testările standardizate, Iliescu a arătat, într-o analiză pentru Edupedu.ro, care sunt oportunitățile, dar și vulnerabilitățile testelor grilă la examenele naționale.
“Evident, un candidat are o șansă să nimerească răspunsul corect chiar fără să îl cunoască de fapt – la 4 variante de răspuns această șansă este de 25%. Dacă soluția trebuie produsă (precum la itemii de tip deschis), șansa aceasta este practic nulă. Deci aș putea spune că am putea argumenta că itemii de acest tip sunt în favoarea candidaților și o să aducă după sine note mai mari. Desigur, există modalități matematice de a controla aceste “ghiciri”, dar mă îndoiesc că ele vor fi implementate în scorarea acestor teste în România în următorii ani”, a declarat pentru Edupedu.ro Dragoș Iliescu.
Expert în testare și colaborator al OECD și ETS la o parte din testările lor standardizate, Iliescu a declarat că toate testele folosite “în aceste contexte de evaluare comparativă internațională (nu doar PISA și PIAAC, ci și testele IEA, precum TIMSS și PIRLS) sunt bazate exclusiv pe itemi de tip grilă și pe modele matematice complexe care analizează răspunsurile primite”.
Este critică, însă, protecția itemilor. Apoi, “generarea unui item-grilă bun este, spun asta cu multă responsabilitate, de multe ori mai dificilă decât generarea unui subiect deschis. În plus, tehnologia din spatele testelor moderne de tip grilă (tehnologia psihometrică, adica modelele matematice care descriu răspunsurile candidaților) este complicată”, a adăugat Iliescu.
Analiza integrală realizată de Dragoș Iliescu, vicepreședinte al Comisiei Internaționale de Testare și colaborator OECD inclusiv pe testele PISA, pentru Edupedu.ro:
“1. Impact
Impactul există cu siguranță și el are și aspecte pozitive și aspecte negative. Voi începe cu cele negative: impactul este legat în principal de ‘fairness’, de corectitudine, față de școlarii care se așteptau la un anumit tip de evaluare și care se pregăteau de ceva ani pentru exact acel tip de evaluare și care acum sunt anuntați cu destul de puțin timp înainte că vor trece prin alt tip de examinare. Cred că e o așteptare rezonabilă ca cei care trec prin orice fel de evaluare să știe cu mult timp înainte exact ce se va cere de la ei. Modificările abrupte de acest tip evident că bulversează sistemul și nu le oferă școlarilor oportunitatea de a arăta tot ce pot.
Există însă și impact pozitiv și îndrăznesc să spun că el este consistent.
Itemii de tip grilă sunt în general mai ‘fair’ (vedeți, pun din nou chestiunea corectitudinii) față de toți cei implicați. Ei sunt deseori numiti ‘obiectivi’, ceea ce este adevărat în sensul în care subiectivitatea corectorului este eliminată: punem grila peste foaia de răspuns și este clar dacă a fost răspuns corect sau nu.
Sigur, aceasta e o supra-simplificare pentru că generarea unui item-grilă bun este, spun asta cu multă responsabilitate, de multe ori mai dificilă decât generarea unui subiect deschis. În plus, tehnologia din spatele testelor moderne de tip grilă (tehnologia psihometrică, adica modelele matematice care descriu răspunsurile candidaților) este complicată.
Impactul în corectitudine ar trebui însă să fie radical. Gândiți-vă că diverse studii (ce-i drept, nepublicate, dar prezentate pe la conferințe) arată un acord inter-evaluator pe corectura testelor naționale la română mult mult mai redus decât ne așteptam. Unii copii așadar sunt subevaluați – și nu este corect față de ei, căci primesc o notă mai mică decât meritau. Și alți copii sunt supra-evaluați – și nu este corect față de toți ceilalți ca cineva să primească o notă nemeritat de mare. Poate la Bacalaureat vom spune că nu contează cu adevărat, căci nu e o competiție între școlari, însă Evaluarea Națională este o competiție și ne dorim teste care să asigure obiectivitate și măsurare cât mai exactă.
1b. Mecanisme cognitive
Într-adevăr, orice tip de examinare – prin subiecte deschise sau prin itemi de tip grilă – presupune un proces cognitiv din partea candidatului. În primul rând, trebuie să citească cerința (ceea ce în sine e un proces cognitiv), să o înțeleagă, să construiască un model mental al problemei, să activeze în mod selectiv memoriile (cunoștințele și experiențele) relevante, să manipuleze aceste cunoștințe, evident și pe baza deprinderilor pe care le are, să decidă dacă soluția rezolvă problema și să producă o modalitate de semnalare a soluției – de ex. să noteze rezultatul și eventual o explicație pentru el sau o descriere a procesului prin care a ajuns la acel rezultat. Și există și procese cognitive mai subtile, care se desfășoară la un nivel de complexitate chiar mai înalt decât am descris aici. Oricum, în mod evident, toate acestea sunt procese cognitive.
Și în mod la fel de evident, un item de tip grilă cere parțial mobilizarea altor procese cognitive decât un item deschis – și ignoră altele. În mod cert, este mai degrabă axat pe componenta de recunoaștere decât pe cea de reproducere a memoriei: nu trebuie să produc soluția, soluția e deja produsă pentru mine, eu trebuie să o recunosc doar. Rareori se cer la itemii de tip grilă explicații ale procesului prin care candidații au ajuns la soluție – avem doar o bifă, care poate fi corectă sau greșită.
Apoi, evident, un candidat are o șansă să nimerească răspunsul corect chiar fără să îl cunoască de fapt – la 4 variante de răspuns această șansă este de 25%. Dacă soluția trebuie produsă (precum la itemii de tip deschis), șansa aceasta este practic nulă. Deci aș putea spune că am putea argumenta că itemii de acest tip sunt în favoarea candidaților și o să aducă după sine note mai mari. Desigur, există modalități matematice de a controla aceste “ghiciri”, dar mă îndoiesc că ele vor fi implementate în scorarea acestor teste în România în următorii ani.
2. Vulnerabilități
Oportunitățile le-am mai discutat și anterior. Aș remarca totuși o vulnerabilitate: este relativ ușor ca itemii să fie compromiși. Un item compromis este un item care devine “bun public” și ca atare o parte din candidați (poate chiar toți) l-au văzut anterior și știu să îl rezolve. Un astfel de item încetează să mai diferențieze și nu ar trebui utilizat. Protecția itemilor va deveni așadar critică.
3. Da, colaborez cu OECD și ETS la o parte din testările lor standardizate utilizate în studiile comparative internaționale. Chiar în această perioadă lucrez cu 5-6 alți colegi din SUA, Luxembourg, Norvegia, Franța și Germania la realizarea cadrului de evaluare (assessment framework) și a itemilor pentru testele PIAAC (Programme for International Assessment of Adult Competencies), care este practic un test PISA pentru adulți. România nu a participat până acum la evaluarile PIAAC, ele oferă o analiză a competențelor existente în piața muncii, la fel cum PISA oferă o analiză a competențelor existente în populația școlară.
Toate testele utilizate în aceste contexte de evaluare comparativă internațională (nu doar PISA și PIAAC, ci și testele IEA, precum TIMSS și PIRLS) sunt bazate exclusiv pe itemi de tip grilă și pe modele matematice complexe care analizează răspunsurile primite.”
Dragoș Iliescu este vicepreședinte al Comisiei Internaționale de Testare, profesor la Universitatea din București și fondatorul Sistemului de Testare Standardizată BRIO.
Dacă vrei să dezvoltăm proiectul Edupedu și ești un susținător, ca și noi, al Educației, ne poți sprijini fie prin donații, fie prin platforma Patreon. Îți mulțumim!
Become a Patron!
Redacția
Ștefan Lefter
Mihai Peticilă
Alexa Stănescu
4 comments
Testul grila poate masura un moment din procesul de invatare, poate sa apara ca parte a unui examen complex, dar in niciun caz nu ar fi de recomandat ca modalitate unica pentru evaluarea unui final de ciclu de invatamant!. Iar trecerea la un alt tip de examinare ar trebui anuntata si cunoscuta la inceputul ciclului pentru care se modifica regula jocului, deci in clssa a V -a sau/ si in clasa a IX-a.
Nornal, Evaluarea Nationala ar trebui testata cu test grila, iar admiterea in forma de invatamant ulterioara sa fie la alegerea liceului/ scolii postluceale etc ptin care elevul isi continua studiile. Cele doua momente din parcursul scolar nu este firesc sa se suprapuna, folosind aceeasi baza de evaluare. Bacalaureatul ar putea fi si el de doua feluri, oferind variante de parcurs, in legatura stabila cu centrele universitare. Dar acest model piate fi implementat cu 4 ani inainte, pilotat, intr-un numar de scoli, apoi instituit.
Subiectele la un examen nu trebuie sa fie in favoarea sau defavoarea cuiva ci sa arate obiectiv si corect nivelul de cunostinte detinut raportat la nivelul de cunostinte cerut de curricula. Oameni pe posturi mari se incurca in explicatii, dar nu fac lucrurile simple si necesare ! Multi s-au vandut si nu ar mai trece la munca de jos, ar face orice sa isi pastreze oasele de ros ! O tara esuata datorita dezinteresului celor care ne-au condus (alesi de popor, deci ne meritam soarta !).
Bună seara! sunt elev in clasa a 8-a. Mi-aș dori ca elevii să poată decide modelele de teste; deoarece ei dau examenul, nu părinții,bunicii sau alți profesori 😉
Învățământul este zona din societatea românească care s-a curățat după introducerea camerelor de supraveghere. Introducerea grilelor va anula valorizarea corecta, elevii care învață vor fi demoralizați, demolarea țării din perspectiva valorilor se va desăvârși !