Există testare educațională standardizată securizată, care poate fi folosită în școala online fără teama că notele sunt greșite? „Atunci când am „proiectat” prima „olimpiadă digitală de Mate, Brio Challenge, am vrut să ne asigurăm că rezultatele sunt deasupra oricăror suspiciuni de fraudare. Și am căutat un instrument de proctoring (sau supervizare) care să răspundă cerințelor noastre (să putem identifica pe cel care dă testul, să fim siguri că e singur în încăpere, să știm că nu are vreo activitate suspectă pe computerul pe care dă testul, să nu aibă instrumente cu care se poate „inspira” et cetera, extrem de multe scenarii pe care le-am imaginat noi. Și am avut de ales între mai multe soluții existente pe piața românească sau externă, dar noi am ales un instrument românesc, ObservED se numește, al celor de la Tremend”, a explicat Gabi Bartic, director al companiei de testare educațională Brio.
Aceasta a explicat că școlile pot folosi testele Brio pentru Matematică, Română, iar din octombrie și Istorie, pentru clasele I-XII.
„Intenționăm, din acest motiv, să oferim acest tip de împachetare (teste Brio supervizate) și școlilor și profesorilor cu care lucrăm, pentru situația în care doresc să le folosească în testări cu miză (să spunem teze, lucrări, concursuri et cetera). Legat de cost – în mod evident, ca și la teste – se pot achiziționa pachete de teste supervizate – noi avem avantajul implementării tehnice deja existente pe platformă. Costul supervizării nu va crește semnificativ costul testării, deși, în mod evident, orice produs tehnologic are un cost”, a declarat Gabi Bartic, Chief Operating Officer și Director al Diviziei Consumer la Brio.
Aceasta a anunțat că „în platforma Brio avem mai mult de 200.000 de teste parcurse din 2020 până azi”. Cele mai accesate teste de către elevi, profesori și părinți sunt cele de Matematică, urmate de cele de literație. „Avem școli și licee care folosesc intensiv testele Brio și ai căror copii au solicitat ca rezultatele să fie trecute în catalog. (…) Unul dintre liceele cu care lucrăm noi ne-a spus și că testarea cu Brio a fost un predictor extrem de bun al promovabilității la BAC de anul acesta”, a precizat Bartic.
Q: Ce înseamnă să asiguri o platformă de testare educațională standardizată sigură și performantă?
Gabi Bartic: Înseamnă, în primul rând, să faci un salt mental către convingerea că testarea poate fi serioasă, obiectivă și bazată pe știință. Sigur, pare simplu și cumva logic, dar testarea standardizată „extrage” din activitatea profesorilor una dintre componentele „de forță” ale acestuia: nota. Și e greu de acceptat că elementul acela de care toți se temeau, nota, care era în mâna profesorului, trece către o entitate care nu prea greșește, care nu e nici influențată de factori subiectivi și nici nu poate fi „păcălită”.
Cu alte cuvinte, deși pare extrem de simplu și, cumva, alegerea firească atunci când vorbim despre viitorul evaluării școlare (și cum e menționat și în programul prezidențial), testarea standardizată este, înainte de a fi un efort științific și tehnologic extrem de mare – o schimbare de cutumă, de percepție de rol.
Ca, totuși, să răspund întrebării și extrem de concret, tot ce trebuie să faci ca să asiguri o platformă de testare standardizată e cam așa: să poți avea un mediu interactiv sigur din punct de vedere tehnologic pe care să poți testa toate competențele pe toate gradele de dificultate pe care le stabilești în designul instrumentului (noi, la Brio, testăm extrem de granulat, de la 1 la 100). Apoi trebuie să ai librării de itemi/probleme care să acopere această granulație, să testezi acești itemi pe eșantioane reprezentative din fiecare eșalon școlar, să te asiguri că instrumentul „ține pasul” cu programele și modificările generaționale. Toate acestea nu sunt chestiuni „de nedepășit”, dar iau extrem de multă muncă extrem de specializată, extrem de multă muncă de research și mult timp.
Q: Care este investiția în siguranța platformei și securitatea testării, raportat cu investiția în testele propriu-zise, la cât se ridică și ce înseamnă aceasta în planurile de viitor?
Gabi Bartic: Noi, la Brio, am creat un instrument complet de testare. Am pornit de la ideea că testele, așa cum le-am gândit noi – mai mult autotestare, testare de diagnostic sau de progres, similare, dacă vreți, analizelor medicale, nu au de ce să vină la pachet cu vreo intenție de fraudare. Sigur că poți încerca să păcălești și analizele medicale, dar la ce ți-ar servi? Boala nu dispare dacă nu „iese” pe analize. La fel e și cu știința de Mate sau de orice altă materie.
Pandemia ne-a forțat însă să ne gândim și la alte instrumente, și atunci când am „proiectat” prima “olimpiadă digitală” de Mate, Brio Challenge, am vrut să ne asigurăm că rezultatele sunt deasupra oricăror suspiciuni de fraudare. Și am căutat un instrument de proctoring (sau supervizare) care să răspundă cerințelor noastre (să putem identifica pe cel care dă testul, să fim siguri că e singur în încăpere, să știm că nu are vreo activitate suspectă pe computerul pe care dă testul, să nu aibă instrumente cu care se poate „inspira” et cetera, extrem de multe scenarii pe care le-am imaginat noi. Și am avut de ales între mai multe soluții existente pe piața românească sau externă, dar noi am ales un instrument românesc, ObservED se numește, al celor de la Tremend. Așadar, investiția noastră nu a fost în crearea unui instrument „in house” pentru supervizare, ci am folosit unul creat pentru exact genul de nevoi punctuale pe care l-am avut noi.
Din acest motiv nu pot spune cât costă un atare instrument din punctul de vedere al dezvoltării, pe care o bănuiesc a fi laborioasă, dar nu e neapărat domeniul meu de competență, dar pot spune că pentru noi, pentru teste cu miză mare, e o soluție extrem de bună. Și care a demonstrat rezultate excelente.
Intenționăm, din acest motiv, să oferim acest tip de împachetare (teste Brio supervizate) și școlilor și profesorilor cu care lucrăm, pentru situația în care doresc să le folosească în testări cu miză (să spunem teze, lucrări, concursuri etc.). Legat de cost – în mod evident, ca și la teste – se pot achiziționa pachete de teste supervizate – noi avem avantajul implementării tehnice deja existente pe platformă. Costul supervizării nu va crește semnificativ costul testării, deși, în mod evident, orice produs tehnologic are un cost.
Q: Cât de sigură este platforma pe care o reprezentați? Din 100 de persoane care rezolvă teste online, câte ar putea frauda, care este marja de „eroare”?
Gabi Bartic: În testele supervizate/proctored pe care le-am dat noi (repet, am utilizat în cadrul Brio Challenge acest instrument) – am identificat, la prima ediție, aproximativ 30% tentative de fraudă sau, să spunem, de nerespectare a regulilor. Acest lucru înseamnă nu neapărat că s-a intenționat fraudarea, ci că nu s-a înțeles sau dat prea mare atenție regulilor pe care noi le-am enunțat: că descalificăm orice competitor care folosește mai multe tab-uri, mai multe browsere, programe care rulează simultan cu sesiunea de examinare, că descalificăm dacă identificăm sunete suspecte sau alte persoane în cameră, dacă se închide sau nu se folosește camera web, dacă elevul „iese” din cadru, dacă sunt utilizate alte device-uri electronice (căști, orice alt tip de device).
În mod evident, ca și în cazul testărilor supervizate uman, nu există testare cu zero posibilități de fraudare. La fel de evident, capabilitățile sistemelor de inteligență artificială le depășesc în unele puncte pe cele umane: există, de exemplu, posibilitatea de a identifica pattern-ul de tastare al copilului examinat și de a-l verifica periodic că e el, punându-l să tasteze un text în timpul examinării – astfel asigurându-ne că e același copil în fața calculatorului.
Vă vom arăta însă în video-urile atașate câteva exemple de rapoarte de proctoring pe care noi le-am analizat pentru una dintre finalele Brio Challenge, pentru a înțelege gradul de detaliu al acestora.
Și voi spune, cum am spus tuturor participanților: toate rapoartele de proctoring sunt analizate și de echipa noastră care decide în final dacă descalifică, sesiune cu sesiune. Dar decizia umană e mult mai corectă dacă ai seturi mari de date relevante pentru orice analizezi.
Q: Cum se face propriu-zis descoperirea celor care fraudează și care sunt metodele cel mai des folosite, din experiența de până acum a gestionării platformei?
Gabi Bartic: Cu mare bucurie spun, în timp ce la prima ediție a competiției noastre am avut tot felul de situații cu rapoarte „roșii” de proctoring (cele mai multe fiind cele multi-tab, cu programe ce rulau în paralel, cu device-uri conectate simultan șamd), la a doua ediție, și datorită multiplelor apariții media în care am vorbit despre acest lucru, am avut doar 5% sesiuni descalificate. Acesta e un mare plus.
Q: Câte teste au fost rezolvate sau parcurse de la începutul platformei până azi? Câți elevi au rezolvat teste pe platformă din martie 2020 până azi?
Gabi Bartic: În platforma Brio avem mai mult de 200.000 de teste parcurse din 2020 până azi. Înainte de 2020, când am început comunicarea serioasă a Brio, aveam câteva zeci de mii de teste parcurse, însă cele mai multe fiind în diverse stadii de testare ale instrumentului (când am utilizat și extrem de multe teste în format creion-hârtie). În acest moment, cele mai utilizate sunt testele de Matematică, însă o utilizare foarte bună am avut și pentru testele de literație pe care noi le-am oferit gratuit anul acesta.
Lunile cu cele mai multe teste aplicate au fost lunile în care am avut fazele finale ale olimpiadei, dar și lunile ce preced examenele naționale (Evaluarea Națională și BAC-ul).
Q: Există școli care s-au înscris cu toți elevii și cu toți profesorii, instituțional, în platformă și care o folosesc constant?
Gabi Bartic: Da, avem și asemenea cazuri. Avem școli și licee care folosesc intensiv testele Brio și ai căror copii au solicitat ca rezultatele să fie trecute în catalog. În general, feedback-ul venit de la profesorii ce au teste Brio implementate în procesul de predare și evaluare continuă vorbește despre economie extrem de mare de timp pentru cadrul didactic care nu mai creează el însuși teste și nu le mai corectează dar mai ales, nu mai explică rezultatele copiilor (rapoartele Brio fiind un instrument extrem de bun de comunicare cu elevul și părinții).
Plusul extrem de mare al testării standardizate aplicată constant este că monitorizăm exact punctele vulnerabile ale fiecărui copil și putem interveni punctual și apoi monitoriza progresul. Unul dintre liceele cu care lucrăm noi ne-a spus și că testarea cu Brio a fost un predictor extrem de bun al promovabilității la BAC de anul acesta.
Q: Pentru ce discipline pot să folosesc BRIO și mai ales pentru ce competențe?
Gabi Bartic: Testele Brio pot fi utilizate pentru Matematică și Română, clasele I-XII. Pe platformă mai avem și teste de literație (alfabetizare funcțională cu alte cuvinte), iar din toamnă (mai exact din 4 Octombrie) vom avea pe platformă atât teste de Istorie, cât și un alt instrument pe care îl vom oferi gratuit, testul de Literație Digitală (competențe digitale) pentru clasele I-XII.
Q: Care sunt clasele la care pot să aplic BRIO, dacă sunt învățător sau profesor?
Gabi Bartic: Ne ocupăm de toți elevii, de la clasa I până la a XII-a. Așadar, dacă se dorește monitorizarea competențelor, dar mai cu seamă, a progresului educațional, dacă se dorește modelarea unui parcurs individualizat de învățare, testele Brio sunt un instrument extrem de util.
__________
Gabi Bartic este COO și Director al Diviziei Consumer Brio, specialist în marketing, advertising și comunicare digitală, manager cu o experiență de peste două decenii în multiple industrii. Bartic face parte din echipa Brio din 2019.
Raluca Pantazi
Costin Ionescu