VIDEO Dragoș Iliescu: În pandemie aproape s-a triplat numărul copiilor cu nivel modest de performanță / Școala digitală așa cum se face acum are costuri serioase pentru acești copii, pentru țară și pentru societatea românească

Redacția

4 ani ago

În pandemie aproape că s-a triplat numărul copiilor cu un nivel modest de performanță, a spus profesorul Dragoș Iliescu, expert internațional în testare, colaborator OECD și fondator BRIO, în cadrul Conferinței online “Educația digitală asimptomatică” care a fost organizată de Edupedu.ro și de World Vision România. Iliescu a spus că „educația digitală făcută în mod asistat și după un plan” este ceea ce trebuie făcut, dar dacă educația digitală se face ca până acum, ca în acest an în care am traversat pandemia, aceasta va avea „efecte teribile”.

Legat de testare și de nevoia de a avea o standardizare a acesteia la nivelul evaluărilor și examenelor naționale, Iliescu a spus că „nu poți să construiești o societate corectă pe baze care sunt fundamental incorecte”. Acesta a dat exemplu evaluările de la clasele a II-a, a IV-a și a VI-a, care nu pot fi comparate, nu au o „metrică măsurabilă”, astfel că datele sunt neutilizabile în opinia expertului internațional în testare.

Profesor la Universitatea din București și director al Școlii Doctorale de Psihologie, Iliescu a mai atras atenția asupra scăderii gradului de dificultate la examenul de Bacalaureat și asupra lipsei de corectitudine în actualul sistem de notare de la Evaluarea Națională pentru clasa a VIII-a.

Dragoș Iliescu: „Una dintre provocările care mi s-au adresat era legată de capacitatea noastră de a standardiza testarea elevilor în școala românească, de a digitaliza acele teste. Opinia mea aici: este clar că testarea standardizată este singura formă de testare care poate să răspundă nevoilor de corectitudine și obiectivitate pe care societatea modernă le are și societatea românească nu-și permite să ignore testarea standardizată. Și pun acum în evidență această caracteristică de „fairness”, de corectitudine a testării standardizate; ea ține de precizia măsurătorii, deci testele standardizate bine făcute sunt teste care măsoară cu o foarte bună fidelitate, adică foarte puțină eroare, lipsa de eroare este o chestiune fundamentală de corectitudine. Ca să dau un exemplu, în condițiile în care testul nu măsoară cu foarte bună precizie – orice test, Evaluarea Națională de a VIII-a să zic, sau Bacalaureatul, sau orice alt test – dacă nu măsoară cu foarte bună precizie, e probabil ca nota pe care o dă să nu fie nota reală a copilului care este evaluat. Să fie, de exemplu, o notă mai mare sau o notă mai mică. Pentru copilul care primește o notă mai mică, copilul respectiv e dezavantajat și nu ai vrea să se întâmple asta, adică orice copil care trăiește pe baza unor idealuri meritocratice vrea să beneficieze de ceea ce știe și ceea ce știe să se reflecte cât mai fidel cu putință în nota pe care o are. Acum, sigur, există ceva mai multă delăsare sau emoție „mai pozitivă” atunci când spunem că un copil a fost evaluat într-un mod greșit, dar în mod pozitiv. Cu alte cuvinte el merita 8, dar a primit 10, „ei, lasă, să fie sănătos și norocul lui”. Cam așa te raportezi la situația asta de foarte multe ori, însă în mod evident și acea situație dezavantajează pe cineva. În cazul Bacalaureatului, nu neapărat, dar în cazul Evaluării Naționale pentru clasa a VIII-a copilul respectiv a luat locul altui copil care a luat 9 pe merit și acest copil nu a luat 8-ul pe care îl merită. Deci, înțelegeți cumva, precizia măsurării este o chestiune fundamentală de corectitudine. Nu poți să construiești o societate corectă pe baze care sunt fundamental incorecte.

Testarea standardizată rezolvă o problemă masivă de utilitate

Ce știm la momentul acesta despre evaluările cu miză în România, pentru că s-au făcut câteva astfel de studii, dar despre toate vorbim în spatele mâinii fiindcă nu vrem să ne zguduim prea teribil de ce se întâmpla acolo. Știu că fidelitatea Evaluării naționale, de exemplu, pentru matematică este rezonabil de bună, deși nu extraordinară, dar la română este extrem de mică. De exemplu, acordul inter-evaluatori, doi profesori care evaluează teza respectivă independent, cu adevărat independent și nu se văd după aceea, au o corelație relativ mică pe scorurile date pentru respectivele teze și asta ar trebui să ne îngrijoreze. Asta este o problemă fundamentală, societală, nu ne achităm de una din responsabilitățile importante pe care le avem: să generăm un flux de date care să reflecte cu corectitudine valoarea, sau cunoștințele, sau nivelul de competență al elevilor.

În al doilea rând, testarea standardizată rezolvă o problemă masivă de utilitate. Utilitatea este caracteristică unei intervenții sau unui sistem care ar putea fi scalat cu rezonabilă ușurință și de a nu costa mult în momentul în care o scalez la cifre mult mai mari de oameni.

Dacă o evaluare făcută cu creionul și hârtia cu un elev te costă 10 lei, să spunem, în termeni de hârtie tipărită, în termeni de timp al profesorului pentru generarea testului, pentru corectarea testului, pentru interpretarea testului ș.a.m.d, cât poate să fie costul pentru o generație școlară de 3 milioane de copii. Cam asta este socoteala pe care trebuie să o faci și aici pot să spun că testarea standardizată nu poate fi comparată cu niciun alt fel de testare din acest punct de vedere, al scalabilității foarte ușoare și al prețului pe unitate care devine imbatabil. Deci cantitatea și calitatea informațiilor pe care le ridici din populația școlară cu un efort relativ redus, după ce testul a fost creat, nu este bătută de nicio altă abordare. Cred în testarea standardizată, cred că rezolvă aceste două mari probleme ale evaluărilor care se generează în acest moment în sistemul educațional romanesc.

Sper că suntem la acest moment în poziția de a avea politici educaționale naționale bazate pe date

La doua întrebare pe care mi-o puseseși inițial, dacă e nevoie de testare standardizată, răspunsul este evident da, cel puțin la testările cu miză. Asta înseamnă cel puțin la Bacalaureat și Evaluarea Națională pentru clasa VIII-a. E posibil și ca alte testări să fie considerate testări cu miză pe viitor, deci dacă e nevoie de testare standardizată pentru testările cu miză și aș adăuga că e nevoie de testare standardizată la toate evaluările de sistem, adică nu doar la Evaluarea de a VIII-a, ci și la Evaluarea de a II-a, a IV-a și a VI-a, pentru că altfel extragi din sistem date care nu sunt utilizabile. Poate ele sunt prea slabe pentru a baza politicii pe ele. Sperăm că suntem la acel nivel la care nu mai avem alte tipuri de politici, bazate pe opinie sau pe ureche, sper că suntem la acest moment în poziția de a avea politici educaționale naționale bazate pe date.

Dar dacă datele sunt proaste, principiul evident în aceste lucruri este “garbage in, garbage out”. Adică dacă ai teste proaste vei trage concluzii greșite. Deci cred că orice evaluare națională, sau orice alt tip de evaluare care vrea să genereze date care să stea la baza unor politici publice ar trebui să aibă la bază o componentă standardizată, dacă nu integral testare standardizată. Și ca să vedeți ce tip de date ne pot da și testările standardizate, sunt date pe care noi nu le putem extrage la momentul acesta cu certitudine din evaluările naționale de exemplu. De ce, pentru că evaluările naționale nu au o metrică comună – cu alte cuvinte testele nu sunt echivalente. Adică Evaluarea Națională de a IV-a dată anul trecut nu este echivalentă cu Evaluarea Națională de a IV-a dată acum doi ani, respectiv cea care a fost dată acum trei ani, deci modelele de măsurare nu coincid, sau itemi diferiți nu au itemi ancoră. Sunt bazate pe sisteme de măsurare antice, pe teoria clasică a testelor, nu sunt bazate pe teoria răspunsului la itemi, deci practic sunt necomparabile și asta înseamnă că nu știm, de fapt, dacă ele sunt echivalente ca nivel de dificultate. Știm, din păcate, dintr-o evaluare mai degrabă calitativă făcută cu profesori de matematică care ne spun că în ultimii 20 de ani, cam așa, în mod constant nivelul dificultății a scăzut.

Văzusem de curând publicată o analiză privind dificultatea itemilor de la bacalaureat, de la Revoluție încoace, și cumva este imperceptibilă această scădere de la an la an, dar per total, dacă te uiți la ce se întâmpla acum 30 de ani, e un alt stil. Cumva, dacă s-ar da bacul astăzi cu itemi de acea dificultate, nu vreau să mă gândesc ce s-ar întâmpla. Deci nu putem compara evaluările fiindcă nu avem metrică comună.

Se îngroașă partea de populație care are performanță mai degrabă scăzută

În BRIO avem teste cu metrică comună și putem să le comparăm. Am comparat două serii de date culese în iulie 2019, deci într-o generație care nu a văzut pandemia și generația din 2020, care a văzut pandemia nu pentru o perioadă teribil de lungă, pentru că erau sub imperiul pandemiei de aproape un semestru. Ce vedem este așa: media scorurilor este scăzută cu 6%, deci scorul mediu obținut la matematică era mai mic cu 6%.

Am mai făcut niște analize pe decile. Decila 1 este prima parte de 10% din scoruri, partea de jos. Pe scorurile tipice pentru iunie 2019 în decila 1, în 2020 nu ar mai fi fost 10% cât ar fi trebuit să fie, ar fi fost 18%. Cumva se îngroașă partea de populație care are performanță mai degrabă scăzută. În decila 10, din 2019, pe acele scoruri ar fi fost 10% din populație, iar în iunie 2020 8% din populație. Ce vedem aici este că scăderea la copiii foarte buni este mai redusă decât scăderea la copiii cu performanțe modeste.

Bănuiala noastră aici, și cred că sunt puțini care ar putea să mă contrazică, este că performanța înaltă foarte rar este susținută de școala românească, cât mai degrabă de efortul familiilor. Deci copiii care făceau performanță, în mod special performanță de top și erau în zona aceea de top 10%, nu au avut atât de mult de suferit, pentru că familiile lor au investit în continuare în ei, meditații s-au făcut în continuare, pregătire suplimentară s-a făcut în continuare, cei care mergeau la olimpiadă învățau în continuare.

Deci parcă vezi mai multă motivație și mai multe resurse acolo, de aceea scăderea este mai puțin abruptă. Când comparăm februarie 2020 cu februarie 2021, deci copiii care au trecut un an întreg prin pandemie, lucrurile sunt chiar mai grave. Media scade cu 11%, la 10, deci copiii buni în continuare nu scad foarte mult: 7% este scăderea, deci nu e teribilă.

Copiii foarte slabi însă se aglomerează, în loc să fie 10%, cât te-ai fi așteptat, avem 26%. Cu alte cuvinte, dacă 10% dintre copii erau relativ slabi și erau în cele mai mici 10% din note cu un an în urmă, în pandemie aproape că s-a triplat, de două ori și jumătate s-a mărit volumul acelor copii care performează la acel nivel modest de performanță. Spun asta pentru că una dintre provocările puse aici a fost aceea de a spune cât de eficientă este școala digitală. Înainte de pandemie toată lumea ar fi spus asta: „digitalizarea este singura noastră șansă” și în „direcția aia trebuie să mergem”. Da, dar nu așa cum s-a întâmplat la noi.

Digitalizarea e grozavă dacă se face asistat și cu un plan în spate

Nu aș vrea să fiu acum alarmist, toate țările trec prin acest fenomen, nicio țară din lume nu a fost prinsă pregătită pentru situația asta, adică să nu credem că în alte părți lucrurile sunt altfel, în mod cert însă școala digitală așa cum se face acum, în pandemie, are costuri. Are costuri serioase pentru acești copii și, să nu ne amăgim, are costuri pentru țară și pentru societatea românească. Dacă nu ne pasă de acești copii ar trebui măcar să ne îngrijorăm cu privire la impactul pe care îl va avea asupra forței de muncă și a oportunităților acestor oameni și a contribuției lor, la plusvaloarea pe care o vor aduce.

Sunt foarte prudent în a spune că educația digitală ne va duce într-o cu totul altă parte în următorii ani. Deci da, digitalizarea e grozavă dacă se face asistat și cu un plan în spate, dar dacă se face așa cum s-a întâmplat, din păcate mi-e teamă că trebuie să spun, dar costurile sunt teribile.

Experiența BRIO Challenge – Avem un număr imens de copii excelent pregătiți, copiii care au spart orice top

Am încheiat cu un succes extraordinar prima ediție a unei olimpiade BRIO, BRIO Challenge s-a numit, un concurs de matematică online, a fost într-o poziție extraordinar de bună având aceste teste digitale bazate pe o bancă foarte mare de itemi – la matematică avem bază de peste 20.000 de itemi – și am fost într-o poziție foarte bună de a oferi un astfel de concurs. Nu aveam intenția să oferim concursuri, în mod normal, dar suntem în situația în care niciunul dintre concursurile tradiționale, care se ofereau pentru populația școlară, nu a putut să fie derulat. De ce? Pentru că nu erau în poziția de a oferi teste digitale acei jucători.

Concursul s-a desfășurat în perioada octombrie 2020-februarie 2021, a avut trei faze, a avut o fază de preselecție, cu teste de dificultate normală, în care s-au înscris foarte mulți elevi, câteva mii și-au înscris în concurs cel mai bun rezultat al tuturor testelor pe care ei l-au putut face. S-au calificat în faza ulterioara 20% din populația participantă, deci cumva performerii la nivel de top 20% din populație au mers mai departe și am avut o finală apoi cu teste foarte dificile, de nivel „olimpiadă”, cu presiune de timp și, asta a fost o noutate absolută, cu supraveghere directă prin video, audio și elemente de „artificial intelligence”. Un sistem de proctoring – proctoring îi zice în Statele Unite și Canada mai ales, în Europa îi zicem supervision – deci un sistem de supervizare a acțiunii de testare care s-a bazat masiv pe elemente de inteligență artificială, cum ar fi, de exemplu “hit stroke recognition pattern” – cumva știai ce “batere” e acolo și dacă e același copil care tastează – sunete ambientale, urmărirea privirii și a modului în care se uită, deci un număr mare de elemente care, cumulate prin video, audio și alte interacțiune cu computerul, indicau în ce măsură este posibilă fraudarea examenului.

Avem câteva lucruri interesante pe care le-am observat de acolo: avem un număr imens de copii excelent pregătiți, copii care au spart orice top la care aș fi putut să mă gândesc. Unii dintre ei sunt absolut incredibil, genii de-adevăratelea. Unii dintre ei, și asta e mai degrabă dureros, e grozav că știm, dar e mai degrabă dureros și nu pot să mă gândesc decât cât de mare este pierderea pentru națiune când vorbim de acest fenomen, un rezervor de talente care sunt nedescoperite și neutilizate. Adică am descoperit copii care au intrat în această competiție și au făcut o imagine incredibil de bună și au luat premiu, despre care nimeni nu știa că sunt atât de buni, poate știau părinții lor, dar unii dintre ei sunt din zona rurală și nimeni nu s-a ocupat vreodată de ei.

Mulți dintre copiii care vin din zona urbană cu părinți teribil de motivați și cu resurse, ai zice că sunt mai degrabă „dopați”, ca să zic așa, adică s-au îngrijit de ei, au primit resurse, nu-i atât de neobișnuit faptul că sunt buni, dar când vezi un copil din zona rurală cu părinți mai degrabă modești din punct de vedere al resurselor pe care le au și care niciodată nu a primit meditații și vine la olimpiadă și cumva șterge de pe masă toate premiile, adică culege tot ce se putea culege, zici: „wow, wow asta este incredibil”.

Și acel top 1% din populația României ar însemna că la o populație de 3 milioane de copii sunt 30.000 de copii despre care nu știm cine sunt. De aia vă spun de acest rezervor nedescoperit și neutilizat de talente.

Copiii talentați din această generație o incapacitate endemică de a urma instrucțiuni simple

Ce am mai observat, chiar la copiii foarte talentați, este o incapacitate endemică de a urma instrucțiuni simple. Adică regulile par, cumva, în această generație, să fie opționale. Adică dacă ți se spune că nu poți să dai examenul cu căști la urechi, mă aștept să nu dai examenul cu căști la urechi, pentru că altfel vei fi descalificat. E atât de simplu până la urmă. Și mulți dintre cei foarte buni par să nu fie capabili să urmeze astfel de instrucțiuni.

Apoi șocul masiv, ca să titrez ca în presa tabloidă, “Șoc și groază: fraudă masiva”. Adică nu fraudă, pentru că noi am detectat-o și nu s-a ajuns acolo, dar o intenție de fraudă incredibilă. Și sunt exact pe același teritoriu, aici, cu Radu Gologan, cu care am avut niște conversații și pe care-l văzusem în niște prezentări publice spunând exact același lucru despre olimpiada de matematică a Societății Române de Științe Matematice – fraude incredibile din partea elevilor, mai rău, din partea părinților. Deci cumva aceiași părinți care spun că „vor o țară ca afară” sunt exact aceiași părinți care șoptesc copiilor la un examen, doar pentru ca ai lor copii să ia un premiu. Și nu a fost un singur caz, au fost mai multe și sunt convins că fără acest sistem impecabil tehnologic, de supraveghere, probabil că aceste fraude ar fi rămas nedetectate.

Semnalul de alarmă pe care îl trag din acest motiv este legat de digitalizarea testării, e adevărat că ne ajută teribil de mult digitalizarea în educație, în general, și în testare, în mod special, are și o groază de riscuri. Securitatea testelor a fost întotdeauna o problemă, dar la acest moment cred că e problema numărul 1. În momentul în care creăm teste standardizate și vrem să le rostogolim către audiență într-o formă digitalizată, furtul testelor și furtul itemilor este mai ușor astăzi decât a fost vreodată. Aproape că nu există risc să fii prins, internetul poate fi utilizat pentru a divulga sau a vinde itemi și frauda prin cunoașterea anterioară a itemilor este aproape imposibil de prins”, a spus Dragoș Iliescu.

___

Dragoș Iliescu este profesor universitar și director al Școlii Doctorale de Psihologie în cadrul Facultății de Psihologie și Științele Educației, Universitatea București. Expert în psihometrie, ramură a psihologiei care se ocupă cu testarea și măsurarea psihologică, Iliescu este colaborator OECD la parte din testările internaționale, este președintele Diviziei de Evaluare și Apreciere Psihologică din cadrul IAAP (International Association of Applied Psychology). A fost președinte al Comisiei Internaționale de Testare (ITC) și președintele Asociației de Psihologie Industrială și Organizațională (APIO). Dragoș Iliescu este fondator al companiei Brio.

BRIO susține educația digitală și s-a alăturat ca partener al celei mai importante dezbateri privind viitorul educației digitale – “Educația digitală asimptomatică”, organizată pe 23 martie 2021 de Edupedu.ro și World Vision România. Vezi aici integral conferința Educația digitală asimptomatică.