Testarea este învățare, pentru că organizează cunoștințele în modalități care le fac utilizabile. “Simplul fapt că repeți un text nu te ajută atât de tare ca atunci când citești și apoi te testezi”, spune psihologul Dragoș Iliescu, profesor la Universitatea din București, care a ridicat prima platformă de testare standardizată pe care elevii își pot verifica cunoștințele la Matematică și Limba română, pentru toate clasele, primind la final un raport care le arată câte ore de lucru trebuie să depună până la atingerea competenței prevăzute în programa școlară.
Colaborator OECD la crearea testelor PISA, Dragoș Iliescu a vorbit într-un interviu pentru Edupedu.ro despre motivele pentru care a creat Brio, prima platformă de testare standardizată din România, care va trece la generarea algoritmică de itemi printr-un motor de inteligență artificială.
În perioada martie – august 2020, 18.000 de elevi și-au testat cunoștințele pe Brio, prin intermediul a peste 67.000 de teste, iar 260 de școli au ales Brio ca instrument de evaluare. La începutul lunii, platforma digitală Brio s-a listat pe SeedBlink pentru o campanie de equity crowdfunding.
“În special părinții trăiesc într-un vid de informații. Nu ai informații din surse independente despre performanța copilului. Degeaba iei educația propriului copil în mâinile tale, dacă tu nu știi unde se află. Eu cred că rezolvăm o problemă critică a sistemului”, a declarat Iliescu.
Rep: Îl poate determina un test, pe un elev, să învețe? De ce aș da bani pe o lucrare de control?
Dragoș Iliescu: Testarea este învățare. Psihologia cognitivă aplicată în educație demonstrează asta. Avem experimente foarte faine în zona de psihologie cognitivă experimentală care arată că nimic nu te ajută mai mult decât testarea în sarcina pe care trebuia să o înveți. Se numeste ‘the testing effect’.
Simplul fapt că repeți un text nu te ajută atât de tare ca atunci când citești și apoi te testezi. Testarea face diferența între recognition și recall. Dacă citești și a 2-a oară, și a 3-a oară un text, îl recunoști, dar nu ai desțelenit căile neuronale ca tu să operezi cu conceptele respective, în loc de a le recunoaște doar. Testarea în sine e învățare, există un efect de învățare al unei testări, pentru că organizează cunoștințele în modalități care le fac utilizabile.
O testare bine făcută nu îți dă pur și simplu o notă. De exemplu, la lucrarea de control de la clasă știi că ai luat 7,20. Vii acasă doar cu foaia și cu nota, iar părintele întreabă: “Și ce trebuie să faci ca să iei mai mult? Să învăț! La ce? La matematică! De unde? Din culegere!”
Ce face Brio este că îți dă un raport Brio, care este un instrument psiho-educațional, pentru că îți spune la fiecare dintre componentele matematicii de-a V-a, de exemplu, cum stai. Matematica de-a V-a înseamnă, conform programei școlare, fracții, mulțimi, puteri, ecuații, inecuații și aș putea să mai continuu. Există copii care sunt buni sau praf la toate. Dar majoritatea copiilor au un profil diferențial.
Raportul ăsta îți arată ce știi, ce nu știi și îți ghidează învățarea. Un copil de liceu se poate auto-ghida în funcție de raport, dar la gimnaziu și în clasele primare este evident că raportul este pentru părinte și profesor. Dincolo de faptul că îți spune ce știi și ce nu știi, îți dă informația: câte ore trebuie să mai petreci exersând respectiva competență, pentru a trece la următorul nivel. Noi avem 6 niveluri, ca la PISA. Eu te-am măsurat la nivelul 2, dacă mai exersezi 6 ore fracții poți trece la nivelul 32. Deci ai un orizont de așteptare și de efort. Una dintre problemele pe care le ai, atunci când lucrezi fără testare, este că munca pare sisifică. Copiii întreabă: când se va opri? până cand când mai fac eu din culegere? toată vara? Dar scopul este să dobândești următorul nivel și atunci știi clar: 6 ore.
Acest timp estimat în raport este diferențiat în funcție de competență, de clasa în care este copilul și de nivelul pe care îl are. Anumite competențe se dezvoltă mai repede decât altele. Daca ai nivelul I la integrale în clasa a XI-a, nu sunt suficiente 3 ore ca să treci la nivelul 5. Este complexă competența și se bazează pe competențe din urmă, pe care dacă nu le ai trebuie să le recuperezi. Dacă ești în clasa a II-a și nu știi adunarea, atunci ai o competență ușor de dezvoltat. Deci am măsurat cât de ușor se dezvoltă competențele, pornind de la diferite niveluri de start.
Rep: Care este motivul pentru care v-ați lansat în business, în educație?
Dragoș Iliescu: Motivația este una de cauză. Toți oamenii care fac ceva bine în educație, care au proiecte în domeniul educațional o fac în primul rând pentru o cauză. Orice om care vrea să facă bani înainte de orice se duce în altă zonă, nu în educație, pentru că stereotipul este că în educație nu faci bani. Evident că educația este o piață ofertantă, doar că în România este încă nedesțelenită și aș face aici o paralelă cu piața serviciilor de sănătate în România de acum 15 ani. Nimeni nu ar fi zis atunci ‘investesc în servicii de sănătate’, fără să fie privit cu mare scepticism. Stereotipul României ieșite din comunism era că sănătatea și educația sunt gratuite. Oamenii nu înțelegeau că trebuie să dai bani, dacă vrei un alt tip de serviciu. Serviciile de sănătate private sunt foarte dezvoltate acum și asta este o zonă în care oricine ar vrea să investească, pentru că am văzut că se fac bani acolo.
Motivația pentru care investesc în educație, la acest moment, este una de cauză pentru aproape toți cei care investesc. Și cred că toți cei care merg în zona asta au un anumit dram de mesianism: simți o chemare să contribui. Nu cred că este cineva care poate să zică: eu voi rezolva problema. Dar pentru mine este suficient să știu că eu voi pune o cărămidă la rezolvarea problemei.
De ce un business în educație? Din multe puncte de vedere, banii și educația reprezintă un faux-pas, ca o aliterație imposibilă și cea mai mare parte a inițiativelor într-o zonă atât de sociale sunt ONG-uri. Vezi proiecte educaționale în covârșitoare parte desfășurate în ONG-uri. Am lucrat de 20 de ani în educație și am văzut nenumărate inițiative admirabile care ar fi putut schimba fața României dispărând de pe hartă fix în momentul în care începeau să aibă impact. Mai ales într-o zonă atât de complicată cum e educația, nu ai impact din prima.
Când ești ONG și te finanțezi din mecenat, deci din bunăvoința unor oameni care susțin din propriul preaplin o cauză, tu ești la mâna lor. De exemplu, ai o inițiativă faină și accesezi niște fonduri de CSR, dar ele sunt legate de faptul că în tine și în proiectul tău crede un director de marketing. Omul ăla e, însă, trecător. Așa că 3 ani primești bani, începi să ai impact, apoi se schimbă directorul, vine altul care nu crede în tine și ăla e momentul în care dispari, pentru că tu ai zero siguranță a zilei de mâine, ești pe picioare de lut. Și am văzut asta întâmplându-se de nenumărate ori, pentru ca sunt la mâna finanțatorilor nu doar în supraviețuire, ci și în dezvoltare. Îmi repugnă profund acest lucru și este rețeta eșecului pe termen mediu. Într-adevăr, e rețeta succesului pe termen scurt.
Când am început să facem un proiect pe educație, am spus: noi nu o să fim niciodată în această situație. Vrem să fim independenți, să avem cash-flow pozitiv în așa fel încât să ne autosusținem și să dicteze piața dacă avem dreptul să supraviețuim. Asta te ajută. Altfel, ești ca leul de la grădina zoologică: etern hrănit, dar dacă îi dă cineva drumul moare, pentru că nu are mecanismele pentru a rezista în junglă.
Rep: De ce v-ați orientat către testare? Este o problemă cu ceea ce oferă statul în acest moment, din punct al formării cadrelor didactice pe evaluare și testare?
Dragoș Iliescu: Ne-am orientat către testare în primul rând pentru că asta știm să facem. Acolo ai reputație și evident că o să construiești în zona în care ai competență.
Marea problemă a educației din România este una de management, la toate nivelurile. Problemă de management la nivel macro – adică la nivelul sistemului, problemă de management la nivel mediu – școlile nu sunt gestionate, și la nivel micro – gestiunea elevului de către profesor și a copilului de către părinți.
Dacă nu măsori, nu poți gestiona. O altă problemă este legată de faptul că în special părinții trăiesc într-un vid de informații. Nu ai informații din surse independente despre performanța copilului. Degeaba iei educația propriului copil în mâinile tale, dacă tu nu știi unde se află. Eu cred că rezolvăm o problemă critică a sistemului.
Rep: Deci testând poți vedea unde trebuie să intervii. De câte tipuri sunt testarile educaționale și care predomină la clasă, în România?
Dragoș Iliescu: O tipologie relevantă în această discuție este cea a testelor nestandardizate versus standardizate.
În România, din păcate, există aproape o teamă de cuvântul “standardizat”, ca și cum e procustian: ne așează pe toți într-un pat și ne taie ori capul, ori picioarele. Dar, de fapt, standardizarea ține de corectitudine. Ce îți spune standardizarea este că diferiți copii care dau în momente de timp diferite un test ar trebui măsurați cu teste echivalente, administrate echivalent, cu instructaj echivalent, cu scorare echivalentă, cu interpretare a scorurilor echivalentă.
Testele de la clasă nu se supun acestei reguli. Noi știm că profesorul poate fi subiectiv de la un test la altul, de la un elev la altul. Un 8 luat la Vianu este comparabil cu un 10 la alt liceu. Există inechivalențe care te încurcă și care te fac să nu știi unde te plasezi.
Ce ai într-un test standardizat este alinierea copiilor pe aceeași metrică, evaluarea lor în același fel. Într-un test obișnuit, subiectele sunt relativ limitate: ai 5 probleme alese aleatoriu de un profesor, pe baza experienței sale. Într-un test standardizat ai un număr mare de probleme care te plimbă prin toată materia. Ai și probleme simple, și de dificultate. Rezultate de la testele normale nu sunt obiective, pe când cele de la testele standardizate sunt obiective. Testele obișnuite nu permit comparație între elevi din școli diferite, testele standardizate permit.
Și pentru că, de regulă, testarea standardizată este livrată prin computer, aduce această parte a sistemului de educație în secolul XXI.
Rep: Testarea arată, însă, o realitate total contradictorie, dacă ne uităm la mediile de finalizare a gimnaziului și la cele de la examene. Trei sferturi dintre elevii din București au medii de peste 9 la finalul clasei a VIII-a, dar mult mai puțini reușesc aceeași performanță la Evaluarea Națională. Unde este minciuna?
Dragoș Iliescu: Minciuna este la evaluarea de la clasă. Așa șchiop cum este Bacalaureatul de la noi, pentru că nu este cea mai grozavă formulă și există grupuri de lucru care încearcă să îl facă comparabil cu ceea ce se face în afară pe partea de testare, este totuși mult mai robust decât tot ce se întâmplă în rest în clasă.
Notele mari de la clasă aparțin într-un îngrijorător procent unor copii care sunt analfabeți funcțional. La Bacalaureat, copiii aceștia iau medii între 4 și 5. Și atunci mă bazez pe Bacalaureat.
Rep: Cine sunt acționarii actuali ai Brio?
Dragoș Iliescu: Brio este Dragoș Iliescu ca acționar majoritar, cofondator și în poziție de CEO și Chief Scientist. Îmi mențin poziția asta pentru că toată platforma este profund legată de știință. Nu este o glumă: platforma este împinsă înainte de cea mai mare expertiză și necesită implicarea mea zi de zi, oră de de oră. Acționari sunt moștenitorii lui Thomas Oakland, savant în domeniul psihologiei educaționale, considerat părintele testării internaționale prin activitatea din 20 de țări unde a implementat teste standardizate. A fost omul care mi-a dat, de fapt, avânt să pornesc această ințiativă. El a murit tragic acum 5 ani, dar în urmă cu 6 ani și jumătate a intrat în acționariatul nostru, am fondat împreună firma.
Mai avem 2 investitori, un acționar foarte important și foarte implicat care e Brandient, celebra companie de consultanță în branding care reprezintă creatorii a 90% dintre brandurile din România, și un investitor canadian.
Rep: De ce ați ales soluția de finanțare prin equity crowdfunding și nu listarea la bursă sau atragerea unui investitor instituțional?
Dragoș Iliescu: Pentru bursă suntem prea mici; listezi la bursă business-uri solide. Noi suntem un start-up, am fost evaluați la 2,7 milioane euro. Dar aceasta este o evaluare pre-revenue stage, cel mult early revenue stage.
Puteam să ne dezvoltăm singuri cătinel, dar ce ne demonstrează pandemia și situația specială în care ne aflăm este că noi trebuie să ne dezvoltăm acum. Iar când trebuie să dezvolți acum, și nu peste un an cum era planul tău, ca să nu pierzi trenul ai nevoie acum de cash. Și atragi cash cedând părți din firmă.
De ce ne-am dus la Seedblink și nu în fonduri de tip Venture Capital, deși poate deal-ul financiar ar fi fost puțin mai bun? Pentru că Seedblink este în acord cu acest proiect. România suferă din educație. Toată lumea spune asta. Dragilor, puneți-vă banii unde vă este gura!
Când zici că este un proiect de cauză, în care împreună reușim sau împreună pierim, evident că mergem într-o platformă care pune preț pe ‘împreună’. Dacă într-o platformă de crowdfunding noi nu reușim suma asta, înseamnă că nu putem convinge.
Investitorii investesc la start-up-uri mai mult în oameni. Spun: omul care a fondat și echipa de fondatori, în ei și în încăpățânarea lor de a duce mai departe proiectul am încredere.
Ne era ușor să luăm bani de la VC-uri, dar am simțit că nu este în armonie cu noi. Am avut o chimie foarte bună cu Seedblink, ne-au însoțit în drumul ăsta de evaluare independentă, a proiecțiilor pentru viitor oameni extrem de profesioniști. Ar fi însemnat să dăm cu piciorul norocului, dacă nu am fi mers cu ei.
Rep: Care sunt principalele direcții de dezvoltare cu capitalul pe care îl veți atrage?
Dragoș Iliescu: Cea mai importantă parte din acest capital pe care o să-l atragem o să se ducă în marketing și comunicare publică, un teritoriu foarte important de brand și domain territory, pentru că ăsta e un teritoriu inexistent în România. Prin comunicare, trebuie să creezi teritoriul respectiv. Creezi o nouă categorie, care nu exista până acum. Investiție de comunicare în brand.
Apoi avem dorința de a extinde platforma și spre alte tipuri de teste, pe lângă testele existente de Limba română și Matematică. Investim în științe și am luat decizia să nu facem un singur test de științe, așa cum la TIMSS sau PISA ai un singur test, ci o să facem teste separate de Chimie, Fizică, Biologie.
Mai avem o direcție de dezvoltare, care este o premieră globală: în urmă cu o seară am primit un premiu; am fost în acceleratorul Impact Hub start-up de tehnologie în educație și am luat premiul I, care a venit cu un cash de 30.000 de euro pentru a dezvolta o componentă de inteligență artificială în Brio. Mai specific, o să trecem la generarea procedurală, algoritmică, de itemi.
Noi avem la momentul ăsta 20.000 de itemi de matematică pentru copii de la clasa I la clasa a XII-a. Chiar și această bancă de itemi este finită. Noi putem să programăm computerul pentru a genera o infinitate de itemi pe baza unor blueprint-uri, a unor template-uri.
Am împărțit programa școlară românească în 300 de skill-uri pe care trebuie să le învețe un copil de la clasa I la clasa a XII-a. În clasa a II-a, spre exemplu, una dintre competențe este adunarea și scăderea numerelor cu 2 unități. Deci cât face 24+31. Tu poți să imaginezi pe baza acestei competențe 3 tipuri de test: cât face A+B? X+B=A, găsește X? A+X=B, găsește X?
Si tu trebuie să înveți calculatorul să pună numere în locul lui A și B. Bun, acum am trivializat procedura, pentru că trebuie să estimezi dificultatea item-ului pe care l-ai generat. Computerul trebuie să se adapteze la vârsta copilului, la clasa în care este, la dificultatea competenței și lucrurile se complică, pentru că de exemplu sunt 330 de tipuri în care poți să testezi că știi teorema lui Pitagora, la integrale există sute de tipuri de probleme, dar computerul poate învăța aceste lucruri și noi asta dezvoltăm acum: generare automată de itemi.
Lucrăm cu o soluție românească. România are specialiști de prim-rang, așa cum fără modestie mă consider eu. Avem super-specialiști în Inteligență Artificială.
Rep: Aveați în calcul și până acum folosirea soluțiilor de Inteligență Artificială în dezvoltarea produselor Brio sau planul a venit odată cu pandemia și digitalizarea accelerată cerută de adaptarea oamenilor la noua situație socială?
Dragoș Iliescu: Aveam oricum în plan Inteligența Artificială, pentru că este o soluție dificil de dezvoltat dar care îți dă scalabilitate internațională mai mult decât orice altă soluție. Odată ce ai antrenat computerul, e relativ ușor să îl rutezi pe altă limbă. Cât de mare este efortul să traduci 20.000 de itemi în arabă, dacă vrei să ataci piața Orientului Apropiat.
Rep: Luați în calcul extinderea pe alte piețe din regiune sau din UE?
Dragoș Iliescu: Nu din regiune, nu din UE. Sunt 2 piețe la care noi ne gândim foarte serios: Orientul Apropiat, deci lumea arabă, și toata America de Sud și Centrală, ambele unificate de limbă. Le avem în vizor pentru peste doi ani, ca extindere internațională. Ca să traduci în spaniolă te costă la fel de mult ca atunci când traduci în croată, dar dacă în Croația ai 1 milion de locuitori, dacă traduci în spaniolă te adresezi la 1 miliard de oameni.
Odată ce ai antrenat computerul pe AI, nu vrei să mai traduci 20.000 de itemi, ci procedurile respective.
Rep: Ați luat în calcul și poziția statelor din aceste zone în testările educaționale internaționale?
Dragoș Iliescu: Da. Sunt țări care au educația poate la fel de la pământ ca noi și unde vezi în discursul public dorința de a se ridica. Apoi sunt zone mari unificate în aceeași limbă.
Să intri în zona europeană cu un sistem science-driven venit din România e ridicol, pentru că venind din România ești cu o ghiulea la picior, nu ești credibil și te duci pe o piață foarte fragmentată. Ai peste 150 de limbi vorbite. Plus că în Europa există ceea ce face Brio.
Rep: Sunteți un caz atipic în peisajul românesc: cercetător, profesor universitar și antreprenor. Nu sunt multe cazurile din mediul academic românesc care să se fi lansat în antreprenoriat, deci să-și fi testat ideile pe care le predică în mediul pur teoretic al universității și pe piața liberă, cu riscurile aferente. Care au fost reacțiile mediului universitar?
Dragoș Iliescu: Nu teribil de pozitive. Colegii întotdeauna m-au felicitat: du-te înainte să faci ceea ce poți, dar îmi pare rău că nu putem face treaba asta! E poate și poziția privilegiată a grupului din care fac parte la universitate, care este foarte coeziv. Dar am fost avertizat: vei fi tot timpul bănuit de motive care ar putea să nu fie consonante cu misiunea universitară.
În universități, în general, ai poate nostalgia lui ‘sărac, dar cinstit’. Ne prețuim știința noastră. Dar eu cred în militantism: dacă noi nu arătăm că se poate, cine? În mod special în domeniile noastre, pentru că domeniile educație și psihologie sunt sub asalt în momentul ăsta.
Rep: Din partea cui?
Dragoș Iliescu: Din partea unor oameni care nu sunt din domeniu, dar care sunt disruptivi. Dacă dai search pe proiecte de educație sau școli private. Puțini din directorii de școală privată sunt specialiști. Puțini din cei care creează inițiativele din psihologie sunt psihologi. Disrupția vine dinspre ingineri și alte zone.
Rep: Este vorba despre șarlatani și oportuniști fără background științific?
Dragoș Iliescu: Nu le-aș spune șarlatani, pentru că șarlatanul știe că te trage în piept. O parte din oamenii ăștia sunt doar exaltați.
Fiecare succes al unui om care face lucrul prost este de fapt un insucces al oamenilor buni, competenți în domeniul respectiv care ar fi trebuit să facă lucrul acela așa cum merită făcut.
M-au marcat scrierile lui Dimitrie Gusti, unul din marii noștri sociologi care în urmă cu 100 de ani distingea între sociologia cogitans și sociologia militans: te duci în teren și faci lucrurile în care crezi. Eu sunt militant, din punctul ăsta de vedere.
Rep: Cum militați? Sunt mulți care au impresia că un business înseamnă o afacere care-ți aduce bani rapid, prin angajați care fac toată treaba, fără prea mare bătaie de cap. Ce faci dvs concret?
Dragoș Iliescu: Aș rezuma la un singur cuvânt: muncă. Teribil de multă muncă. În urmă cu 20 de ani, când am deschis prima dată o inițiativă privată în domeniu, eram convins că o să fiu liber. Îmi ziceam: ești propriul tău angajat, îți faci singur programul, vii când vrei, pleci când vrei. În realitate, afli că ești sclavul clienților tăi, ești la cheremul lor și e firesc să fie așa. Vii primul la muncă și pleci ultimul, muncești mai mult decât oricare. Drumul în antreprenoriat este foarte greu și este motivul pentru care mulți antreprenori “se ard” în jurul a 40 de ani. Lucrezi mult mai mult decât un angajat, și nu o spun eu, ci o spun cercetările. Un angajat român lucrează în medie 40 de ore pe săptămână, cu un overtime de 3 ore în medie. Un antreprenor român lucrează 60 de ore pe săptămână, pentru că lucreazăa tot timpul. Când vii acasă și răspunzi unui mail se numește muncă.
Rep: Sunteți colaborator OECD la cele mai cunoscute testări internaționale, mă refer la PISA. OECD tocmai a decis să amâne pentru 2022 testarea programată inițial pentru anul viitor, iar obiectivul va fi evaluarea experiențelor elevilor în timpul pandemiei. După cum a pornit România școala și cum a terminat-o anul trecut, ce rezultat estimați că vom întoarce, față de cele din 2018?
Dragoș Iliescu: Mi-e teamă. Nicio țară din lume nu a fost prinsă altfel decât pe picior greșit de nenorocirea asta. În același timp, vezi că problemele se rezolvă mai ușor în alte state. Toți am fost prinși pe picior greșit, dar observi că în Germania toți copiii au tablete, au sisteme informatice care leagă școlile între ele și aș putea înlocui Germania cu Norvegia, cu Olanda, pentru că au dat bani în educație.
România șchioapătă și eu cred că decalajul nostru se va accentua. Nu cred că ce am înregistrat în trecut, creșterea ușoară, vine pe un trend. Când toată lumea e stabilă și crește, crești și tu. Și vine o nebunie de genul ăsta și ți-e clar că tu o să regresezi, pe când ceilalți poate că nu vor crește, dar o să rămână constanți.
Predicția mea e că decalajele se vor accentua, mai ales că urmăatoarea testare va fi e-PISA.
La orice testare, ai 2 componente de competență care contribuie la scor: competența în matematică și competența instrumentală. Când testarea este digitală, îți cere un anumit nivel de literație digitală. Dacă nu ai skilluri digitale, tu o să fii oricum într-un regres pe materie, și în plus ai și decalajul instrumental în interacțiunea cu mediul în care se dă testarea. Și de aia mă aștept ca lucrurile să fie mai șchioape și să demonstreze din nou că România este una dintre țările cu cele mai mari disparități între medii. Scorul Bucureștiului este echivalent cu scorul Madridului, dar avem ruralul cu 109 de puncte mai jos. Acele familii sunt acum și mai vulnerabile decât înainte.
____
Dragoș Iliescu este profesor universitar și director al Școlii Doctorale de Psihologie în cadrul Facultății de Psihologie și Științele Educației, Universitatea București. Expert în psihometrie, ramură a psihologiei care se ocupă cu testarea și măsurarea psihologică, Iliescu este colaborator OECD la parte din testările internaționale, este președintele Diviziei de Evaluare și Apreciere Psihologică din cadrul IAAP (International Association of Applied Psychology). A fost președinte al Comisiei Internaționale de Testare (ITC) și președintele Asociației de Psihologie Industrială și Organizațională (APIO).
Dragoș Iliescu este fondator al companiei Test Central, cel mai mare publisher de teste psihologice din România, precum și al grupului Psyence.
.
Raluca Pantazi
C.I.
