Evaluările de la clasele a II-a, a IV-a și a VI-a 2018 sunt sabotate de Ministerul Educației, de la concepție, până la administrarea, interpretarea și prezentarea rezultatelor. Edupedu.ro a obținut rapoartele Centrului Național de Evaluare din subordinea Ministerului, cu rezultatele elevilor la testările din 2018. Imposibil de înțeles care este nivelul mediu al elevilor, la care trebuie să se raporteze profesorii și părinții. Contactat de Edupedu.ro, Dragoș Iliescu – vicepreședintele Comisiei Internaționale de Testare, expert în măsurare educațională colaborator OCDE la o parte dintre testările standardizate, inclusiv PISA – a atras atenția asupra unor probleme fundamentale, care aruncă în aer un întreg efort de evaluare.
Dragoș Iliescu arată, în analiza făcută pentru Edupedu.ro, că testele nu au fost egale ca dificultate, pe cele două numere pe care au fost administrate în fiecare clasă. La clasa a II-a, nu a existat nici un exercițiu foarte dificil, pentru identificarea numărului de elevi din zona de excelență. Nu există cerințe comune cu testele din alți ani, deci nu ”știm dacă există progres sau regres în competențele măsurate ale populației școlare”.
Experții de la Centrul Național de Evaluare și Examinare (CNEE, instituția din subordinea Ministerului Educației care face subiectele și rapoartele cu rezultatele – n.red.) au prezentat doar rezultatele pe fiecare dintre cerințe, dar ”nimic cu privire la scorurile totale”. ”Din acest motiv, nu putem estima care sunt procentele de populație școlară care performează la un anumit nivel”, spune Iliescu.
O analiză care arată o realitate șocantă: cum acoperă Ministerul Educației an de an o testare care ar putea reprezenta o șansă de progres școlar pentru copii; părinții ar trebui să vadă astfel din timp care este nivelul real al copilului, în fața unor subiecte făcute de altcineva decât învățător, să înțeleagă dacă cei mici sunt evaluați corect la clasă și să intervină înainte ca elevii să ajungă la examenul propriu-zis de la clasa a VIII-a.
Analiza integrală făcută pentru Edupedu.ro de Dragoș Iliescu, vicepreședintele Comisiei Internaționale de Testare, expert în măsurare educațională colaborator OECD:
”Pentru început, câteva comentarii despre teste, așa cum arată ele din date (nu mă voi referi la conținutul itemilor). De ce încep cu asta: orice concluzie am trage, ea este dependentă de calitatea instrumentului de măsurare.
În primul rând, pot spune că datele legate de itemi, așa cum sunt ele prezentate, arată teste rezonabil de bune și probabil adecvate scopului pentru care au fost dezvoltate. Fără a vedea date item-metrice și test-metrice mai aprofundate (sau fără a avea acces la date pentru a face propriile analize) nu pot face alte comentarii, dar nu văd nici o problemă flagrantă reflectată de date.
Dacă ar fi totuși să aduc oareșice critici, aș putea spune că:
-
Variantele 1 și 2 de test sunt în mod evident non-echivalente ca dificultate; uneori acest lucru este foarte strident, precum în cazul clasei a IV-a.
Asigurarea echivalenței formelor multiple e un lucru care se face înainte ca testele să fie administrate. De regulă, e considerată o practică sub-optimă dezvoltarea unor teste cu forme paralele și administrarea lor fără a asigura echivalența lor. Evident, faptul că formele 1 și 2 sunt forme paralele nu se clamează, ci se probează cu mijloace științifice, înainte de a administra testele și a trage concluzii pe marginea lor.
În plus, pentru a genera forme paralele cu adevărat echivalente e nevoie de ceva efort și de ceva resurse – e posibil ca CNEE să nu fi avut la dispoziție aceste resurse. Totuși, în acest context, aș prefera oricând să dau același test peste tot, cu toate riscurile atrase de asta, decât să dau teste care nu sunt echivalente sau echivalabile (și nu am văzut în nici un raport referiri la linking/equating pentru aceste forme).
-
Dificultatea itemilor în interiorul testului este rezonabil de bine distribuită. Totuși, sunt componente (de ex. la clasa a II-a) unde nu există decât itemi simpli și foarte simpli.
Dacă vă uitați la dificultățile itemilor, fiecare dintre ei a fost rezolvat de cel puțin 40% din populația școlară. Știm că una din problemele majore în educație apare la gimnaziu și că punctăm mai bine la clasele elementare; există destule explicații pentru asta și fenomenul e documentat. Dar cred că, dincolo de acest fenomen, ce observăm în date se datorează și felului în care a fost proiectat testul și au fost redactați itemii lui.
Itemi simpli sunt destui, cred că asta ajută în identificarea zonelor de decalaj masiv.
Cred că ar fi fost bine să existe și (măcar) un item foarte dificil: cu o dificultate plasată în intervalul de 90-95% (mă rog, rezolvare corectă în zona de doar 5-10%); ar fi ajutat la identificarea volumelor din populația școlară care se plasează în zona de excelență.
-
Apreciez însă mult faptul că se lucrează pe baza unor cadre de evaluare explicite: itemii sunt generați pentru a acoperi în mod clar anumite domenii, pe baza unei distribuții propuse etc etc. Asta este bună practică.
Acum despre concluziile pe care le putem trage… aș spune pentru început că nu putem trage multe concluzii spumoase din mai multe motive.
În primul rând, din păcate nu avem itemi-ancoră care să fie comuni cu testele din alți ani și nici un altfel de efort de echivalare (equating sau linking) și din acest motiv nu știm dacă există progres sau regres în competențele măsurate ale populației școlare.
Să comparăm pur și simplu datele de anul acesta cu datele de anul trecut nu ne duce nicăieri, pentru că nu știm deloc dacă dificultatea testului este diferită. Dacă testul de anul acesta este chiar și numai un pic mai dificil sau mai ușor decât testul de anul trecut, ele nu mai sunt comparabile. Aș fi vrut de aceea să văd câteva analize în text privind evoluția dificultății acestor teste (din acest an, comparativ cu anul trecut sau anii trecuți) și aș fi vrut să văd o discuție despre comparabilitatea rezultatelor. Ideal ar fi fost ca toate corecțiile care să permită compararea să fi fost deja realizate de CNEE.
În al doilea rând, nu avem o ancorare a acestor teste cu măsurările educaționale comparative internaționale.
Veștile proaste date de aceste măsurători internaționale (țineți minte, 40% din populația școlară analfabeți funcționali) nu pot fi verificate și eventualele evoluții nu pot fi observate, decât dacă legăm evaluările naționale de acele evaluări internaționale. Sigur, veți spune, evaluările internaționale nu se fac pentru clasele a II-a și a VI-a; da, dar atât PIRLS (limba), cât și TIMSS (matematică și științe) se realizează și pentru clasa a IV-a. O legare de aceste evaluări ar fi benefică și metoda prin care se poate face acest lucru e foarte simplă.
În al treilea rând, noi nu avem în aceste rapoarte referiri la scorurile totale.
Avem destul de multe analize pe itemi, da. Dar nimic cu privire la scorurile totale, măcar pe componente ale testelor (componentele prescrise de cadrul de evaluare). Din acest motiv, nu putem estima care sunt procentele de populație școlară care performează la un anumit nivel; comparațiile între diverse grupuri se pot face la nivel de item, dar se fac de obicei la nivel de scoruri agregate și exact acest lucru nu poate fi făcut pe baza informațiilor din aceste rapoarte.
În al patrulea rând, în aceste rapoarte nu avem de fapt analize, cu o singură excepție.
Excepția este raportul de matematică și științe pentru clasa a VI-a. Este posibil ca acei colegi care au realizat această analiză să fi fost ei înșiși mai curioși sau poate ei înșiși sunt profesori de matematică și științe și deci mai înclinați spre a descoperi patternuri în date. Dar într-adevar acest raport oferă unele analize, cum ar fi comparații cu alți ani pe scoruri medii, procente de școlari care au rezolvat complet cerințele anumitor competențe, comparații rural-urban, legături ale rezultatelor la Evaluarea Națională pe diferite județe cu câștigul salarial mediu pe acele județe și așa mai departe. Deși după părerea mea nu suficient de acoperitor, ce arată acest raport (nu și celelalte) este un semn de bună practică: de așa ceva e nevoie într-un raport național.
Nu ne ajută cu nimic să știm procente de populație școlară care rezolvă corect un item sau altul, într-un județ sau altul. E o constatare, dar nu una care să extragă o concluzie utilizabilă și în mod cert nu una care să contribuie la dezvoltarea unor intervenții educaționale sau, mai mult, a unor politici.
În acest context, aș vrea să remarc faptul că nu există unitate în raportare.
Deși toate aceste rapoarte au fost emise de aceeași instituție la practic același moment în timp, fiecare raport arată altfel, este formatat altfel, are parțial altă structură și alt conținut. Rapoartele reflectă prea mult personalitatea, interesele, poate abilitățile celor care au lucrat la ele.
O instituție precum CNEE ar trebui să aibă un standard de raportare, care să se reflecte în toate aceste rapoarte – și care, cel mai important, să ghideze proprii specialiști privind ce anume să introducă în rapoarte. Iar acel standard de raportare ar trebui să fie generat pe baza misiunii instituției și a intenției explicit formulate pentru raportul respectiv.
Asta ne duce la hiba cea mai mare a acestor rapoarte, pe care o remarc aici, la final:
Anume, faptul că nu este clar pentru ce sunt făcute. Sau, mai degrabă, este clar că nu sunt făcute cu un scop explicit în minte.
Eu cred că aceste evaluări au menirea de a arăta, ca să supra-simplific, “ce anume merge și ce nu”, comparând nivelul actual cu nivelul anterior (deci ar trebui să surprindă evoluția) și explicând care sunt diferențele între diferitele segmente de populație (de ex. din diverse județe, de diferite genuri, de diferite etnii, locuind în zona urbană sau cea rurală, provenind din familii mai avute sau mai sărace, din familii monoparentale sau nu, cu părinții plecați din țară sau nu etc.), cu scopul de a observa disparități, de a identifica și celebra și multiplica succesul și de combate insuccesul etc. etc.
Nici unul din aceste rapoarte nu ajută la așa ceva – nu ajută la fundamentarea unor politici publice în domeniul educației, pentru că nu oferă răspunsuri la nici una din aceste întrebări.
Știu că avem colegi competenți în CNEE și cred că instituția ar trebui să impună un standard de raportare care să le permită acestor colegi să ofere acest tip de date către societate. Un astfel de standard de raportare, axat pe răspunsul la întrebările care ne frământă – și care e ascuns acolo în date, fără să fi fost dezgropat până acum – ar arăta că instituția își îmbrățișează cu adevărat misiunea de evaluator național”.
Dragoș Iliescu este psiholog, profesor în cadrul Facultății de Psihologie și Științele Educației la Universitatea București, expert în măsurare psihologică și psihologie organizațională, vicepreședintele Comisiei Internaționale de Testare, colaborator OECD la o parte dintre testările standardizate, fondator al Sistemului de Testare Standardizată BRIO. În 2017, a publicat la editura Cambridge University Press primul tratat despre adaptarea culturală și lingvistică a testelor (sursa și detalii).
Informații de background – De ce sunt bune evaluările
Descarcă de aici subiectele de la Evaluările 2018 la clasele a II-a, a IV-a și a VI-a
Descarcă de aici rezultatele de la Evaluările 2018 la clasele a II-a, a IV-a și a VI-a
Evaluările de la clasele a II-a, a IV-a și a VI-a au fost introduse prin legea Miclea-Funeriu și sunt organizate la nivel național de 4 ani; primul an în care au fost administrate național a fost 2014-2015.
- De ce sunt bune evaluările de la clasele a II-a, a IV-a și a VI-a? Obișnuiesc copiii cu condițiile de examen, însă în condiții total sigure pentru ei – rezultatele nu se trec în catalog și nici nu sunt anunțate în fața clasei, ci sunt confidențiale. Învățătoarea spune rezultatele fiecărui părinte în parte, căruia trebuie să îi arate și planul individualizat de învățare pe care l-a realizat pentru acoperirea lacunelor detectate la elev, dacă este cazul.
- Cu ce mă ajută, ca părinte, evaluările acestea? Sunt singura șansă să aflu dacă învățătorul de la clasă subevaluează sau supraevaluează copiii. Este prima testare ale cărei subiecte sunt făcute de altcineva decât învățătorul de la clasă. Pot afla din timp dacă copilul are lacune majore, iar învățătorul trebuie să mă învețe cum să intervin în vacanța de vară, pentru a remedia parte din problemele identificate.
- La clasa a VI-a, ele au ca obiectiv preorientarea școlară către un anumit tip de liceu.
- Aceste testări trebuie să radiografieze în mod real în ce măsură au înțeles copiii elementele prevăzute de curriculumul național, dar și efortul depus de învățători: au ridicat nivelul celor mai mulți copii din a II-a până în a IV-a sau au mers doar cu vârfurile, iar restul copiilor s-au adâncit în necunoaștere?
- În contextul unei salarizări diferențiate, aceste evaluări sunt esențiale. Este și motivul pentru care ele sunt sabotate, anual, de aproape toți actorii din sistemul de educație.
Scopul fiecăreia dintre cele 3 evaluări, explicat pe înțelesul tuturor:
Sursa: HotNews.ro
Ce spunea Organizația pentru Cooperare și Dezvoltare Economică (OCDE), organismul care realizează testele PISA, despre Evaluările din România, într-un raport realizat împreună cu UNICEF și publicat în 2017:
Calendar Evaluare Națională clasa a II-a 2019
7 mai 2019 Limba română – Scris
Limba maternă – Scris * pentru elevii care fac școala în limba minorității căreia îi aparțin
8 mai 2019 Limba română – Citire
Limba maternă – Citire * pentru elevii care fac școala în limba minorității căreia îi aparțin
9 mai 2019 Matematică
10 mai 2019 Limbă română (scris și citit) * pentru elevii din rândul minorităților naționale
Calendar Evaluarea Națională de la finalul clasei a IV-a 2019
14 mai 2019 Limba română
15 mai 2019 Matematică
16 mai 2019 Limba maternă
Calendar Evaluare Națională clasa a VI-a 2019:
22 mai 2019 Limbă și comunicare (test la Limba română și la prima limbă străină studiată)
23 mai 2019 Matematică și Științe ale naturii
Citește și:
Evaluare Națională clasa a II-a 2019: Când vor susține copiii testele la Citit și Matematică
Calendar Evaluare Națională clasa a IV-a 2019: copiii vor fi testați la Română și Matematică
Evaluare Națională 2019 la clasa a VI-a: Calendarul testărilor transdisciplinare
Redacția
Mihai Peticilă
Ș.L.
3 comments
Sunt șocat că nimeni nu observă principala hibă a acestor teste: mulți itemi au 4 subitemi și, dacă un elev rezolvă corect 1 subitem sau 3 subitemi, primește același calificativ la acel item. Ceea ce e complet irelevant. E ca și cum un elev de 5 și unul de 8 ar primi acelasi calificativ.
În plus, existența a 2 variante la aceeași clasă e absurdă. Ce fel de evaluare e aceea în care avem întrebări diferite la același nivel? Cică elevii se stresează dacă nu stau unul lângă altul, precum la ore. Penibil.
Sunt profesor de limba si literatura romana la gimnaziu si liceu. De la firul ierbii, problema acuta a acestor teste este ca nu reflecta ceea ce se lucreaza ora de ora cu elevii conform continuturilor programei. Examenul national din clasa a 8-a, pentru care elevii sunt pregatiti timp de patru anj, nu are nicio legatura cu itemii testarii din clasa a 6-a. Astfel un elev poate avea rezultate foarte bune in a 6-a si sa nu performeze in a 8-a sau invers. Nu am autoritatea sa apreciez care perspectiva e mai buna. Dar pot sa spun in cunostinta de cauza ca intre cele doua forme de evaluare, respectiv intre testul de a 6-a si modul in care e abordata materia ora de ora nu exita prea multe puncte comune. Din pacate…
De departe, unul dintre cele mai importante articole pe care le-am citit la dvs. O mare problemă cu aceste evaluări, abordate neadecvat de către majoritatea actorilor implicați. Ceea ce înseamnă că importanța lor este mult subeevaluată. Se fac studii, analize, comparații – benchmarking educațional pe evoluția sistemelor educaționale performante ( să le spunem ” care au reușit să obțină calitate la nivel de sistem – calitate în educație”. Analizele internaționale pornesc fix de la cele trei tipuri de evaluări menționate în articol, în special testările PISA.
Atâta timp cât nu realizăm efectele multiple ale acestor testări asupra evoluției sistemului educațional și implicit , asupra instruirii forței de muncă adaptată la nevoile unei societăți în schimbare accelerată ( în plină ”dezlănțuire” a revoluției 4.0) evident că vom trata superficial, în sensul menționat de dl. prof. DI , respectivele testări. Ar însemna să resetăm sistemul, pornind de la adaptare curriculei la referențialele europene (EQF, EQARF) și cele globale – cum sunt testele PISA, TIMMS, PIRLS . Cine dorește astfel de resetări? Nici cei de ”Jos” care consideră o birocratizare suplimentară implicarea in testări, nici cei de ”sus” care nu reușesc să descopere ceea ce alții au găsit demult: CONSENSUL! Până una alta pierdem exponențial și cu viteză foarte mare resurse esențiale , mă refer la cele umane, dar și imense resurse financiare!