Studenții care învață programare la Cibernetică susțin în anul I un examen de tip open book, iar răspunsurile sunt verificate printr-un instrument software care folosește machine learning, pentru a vedea dacă rezultatele sunt similare. Se întâmplă la materiile Informatică economică și Sisteme informatice integrate, unde profesorul Răzvan Bologa a aplicat examinarea aceasta de la începutul anului. “Ultimul pas este o etapă video: studentul trebuie să producă un mic videoclip în care analizează un text sau o bucată din textul respectiv și face un mic eseu video”, a declarat Bologa pentru Edupedu.ro.
Profesor la Facultatea de Cibernetică din cadrul Academiei de Studii Economice București (ASE), Răzvan Bologa a explicat pentru Edupedu.ro care sunt instrumentele pe care le folosește cu studenții pentru a se asigura că aceștia nu copiază, în contextul studiilor online din timpul pandemiei. Însă problema de care se lovește atunci când preia studenții de anul I nu este aceea de a frauda examenele, ci că “încearcă să învețe mecanic, să memoreze, ceea ce în domeniul ciberneticii este contraproductiv”, a declarat Bologa.
Rep.: Cum vă asigurați, ca profesor la Cibernetică, de faptul că studenții nu copiază la examenele și testările pe care le organizați în perioada aceasta de cursuri online?
Răzvan Bologa: Eu am introdus începând cu perioada pandemică, în mod experimental, examinările de tip open book. Adică studenții primesc un text care de obicei e foarte amplu sau o colecție de texte și au sarcina de a răspunde la niște întrebări specifice, într-un interval de timp, pe baza textului de referință.
Întrebările variază de la o grupă la alta și de la o sesiune la alta și sunt în așa fel formulate încât răspunsurile care rezultă în urma unor căutări rapide pe Google să fie evidente. Textul trebuie deci ales astfel încât rularea întrebărilor pe un motor de căutare să nu dea rezultatele corecte.
Și avem și un mic instrument software care folosește machine learning pentru a monitoriza dacă studenții răspund la fel la o anumită întrebare. Afișează câți studenți au dat răspunsuri similare cu studentul al cărui text este citit în timp real. Dacă eu mă uit la un student la întrebarea 3, pot să văd câți alți studenți au dat un răspuns similar la întrebarea 3.
Rep.: Cine a realizat instrumentul software care folosește machine learning și pe care îl aplicați la cursuri?
Răzvan Bologa: Este un instrument realizat de o companie startup, este vorba despre produsul Nextlab.tech folosit și în cadrul programului Romania Tech Nation. Are un modul de testare numit TESTRAX, cu ajutorul căruia se pot rula teste de tip open book. El presupune utilizarea mai multor texte de referință, adică studenții primesc textele respective pe care le văd la începutul examenului. În cazul în care doi sau mai mulți studenți dau răspunsuri similare la întrebări, TESTRAX va afișa un contor cu studenții care au răspuns similar.
Rep.: Verificați astfel dacă studenții stau fizic unul lângă celălalt și vorbesc între ei sau dacă își trimit rezolvările pe Whatsapp?
Răzvan Bologa: Verificăm dacă au preluat răspunsul unul de la altul. La întrebări deschise, fiecare student ar trebui să răspundă diferit față de ceilalți. În momentul în care 10 studenți scriu aceeași propoziție la o întrebare sau au variațiuni minore, este clar că e o problemă. Dacă e o întrebare la care se răspunde cu un cuvânt cheie, este normal să existe similitudini. Dar de obicei întrebările trebuie formulate astfel încât răspunsurile să aibă un caracter individual.
Nu încercăm să îi împiedicăm pe studenți să vorbească între ei, ci doar vrem ca fiecare să gândească răspunsul la întrebare și să răspundă prin cuvinte proprii.
Rep.: La ce cursuri i-ați examinat pe studenți folosind acest instrument?
Răzvan Bologa: Am folosit experimental la 2 materii de Informatică, însă produsul se poate utiliza pentru orice fel de alte discipline.
Rezultatele au fost foarte bune, am remarcat că studenții au fost mult mai atenți și au petrecut un fond important de timp încercând să formuleze elegant răspunsuri, să răspundă elocvent, lucru care nu se întâmplă într-un test de tip grilă.
Ultimul pas este o etapă video: studentul trebuie să producă un mic videoclip în care analizează un text sau o bucată din textul respectiv și face un mic eseu video. Acesta este foarte important, deoarece pe lângă faptul că ajută studenții să dobândească abilități de digital storytelling, adică să se exprime elocvent în mediul digital, îi permite cadrului didactic să observe vocabularul studentului. Astfel, profesorul își dă seama în ce măsură studentul chiar a studiat documentația solicitată pentru examen.
Când un student vorbește folosind un vocabular de specialitate, înseamnă că și-a însușit termenii și acest lucru se putea dobândi doar prin studierea atentă a bibliografiei.
Când vorbește cu un vocabular care are caracter general și cu putini termeni de specialitate, înseamnă că probabil s-a pregătit mai puțin.
Rep.: De când folosiți acest tip de examinare?
Răzvan Bologa: Este primul an în care l-am utilizat experimental.
De altfel, testele de tip open book sunt folosite pe scară largă la universități din străinătate și ce am făcut a fost doar că ne-am aliniat la o tendință mondială.
Rep.: Sunteți singurul profesor de la ASE care folosește acest instrument?
Răzvan Bologa: Sunt mai mulți colegi care și-au manifestat interesul. Într-o fază de test, eu l-am folosit. Există un curs înregistrat la Ministerul Educației și au fost pregătiți până acum 30 de profesori din învățământul preuniversitar ca să folosească metode moderne de testare și vor mai fi formați și alții, în jur de 350 anul acesta, în cadrul programului Romania Tech Nation. Cursul a fost înregistrat la Ministerul Educației de către Casa Corpului Didactic Brăila, pentru că ei și-au manifestat interesul.
Rep.: Câți studenți ați identificat că au încercat să copieze?
Răzvan Bologa: Având în vedere că le-am explicat studenților înainte cum funcționează, nu a încercat nimeni să copieze.
La materiile pe care le predau eu, examinarea finală are o pondere de 50% din nota finală. Se iau în calcul și temele de parcurs. Fiind o facultate unde se programează computere, avem nevoie ca ei să realizeze proiecte pe parcursul activității didactice.
Rep.: Studenților aflați în ce an de studiu le predați?
Răzvan Bologa: Predau Informatica economică și Sisteme informatice integrate studenților aflați în anul I, fie la licență, fie la masterat.
Rep.: În general, atunci când vorbim de aspecte de etică, profesorii universitari spun că se lovesc de problema plagiatului și a încercării de a copia pentru că practicile au fost tolerate în preuniversitar. Dvs simțiți că vin studenții obișnuiți să copieze?
Răzvan Bologa: Ne lovim de problema următoare: încearcă să învețe mecanic, să memoreze, ceea ce în domeniul ciberneticii este contraproductiv. Nu am remarcat o tendință de a copia efectiv, de a frauda examene, dar problema principală de care ne lovim este aceasta a învățării mecanice.
Foto: © ProductionPerig | Dreamstime.com
Ștefan Lefter
C.I.
Daniel David
Redacția
3 comments
Rolul facultatilor este sa aduca un plus valoare societatii prin pregatirea avansata a studentilor, fiind capabili de o cariera intr-un domeniu specific. Ce rost are sa sustinem examene in care studentii sa reproduca cu exactitate dintr-o carte raspunsurile, si mai apoi in doua saptamani sa uite tot? In afara de cateva domenii specifice(medicina, farmacie de exemplu, istorie, etc), nimeni nu are nevoie sa recite pe dinafara diverse pasaje din carti. Avem nevoie de oameni capabili de a prelucra si sintetiza informatia, de a o asimila si de a o aplica in diverse contexte problematice. Examenele de tipul “open book” reprezinta cea mai buna modalitate de evaluare, fiind urmate de o discutie orala cu fiecare student in parte. Evident ca un asemenea examen cere mult timp, subiecte personalizate, lucruri care nu prea sunt pe placul multor profesori care sunt obisnuiti sa dea un examen cu trei serii in acelasi timp, in doua sau trei ore.
In tarile vestice se foloseste proctoring software pentru monitorizarea studentilor in timpul examenului: https://www.g2.com/categories/online-proctoring
si un LockDown browser: https://web.respondus.com/he/lockdownbrowser/
“Proctored exams are timed exams that you take while proctoring software monitors your computer’s desktop, webcam video and audio. The data recorded by the proctoring software is transferred to a proctoring service for review. ” https://en.wikipedia.org/wiki/Exam_proctoring
Mai exista si oameni inteligenti in Romania asta. Mare diferenta fata de Universitatea Bucuresti :)), de la sistemul de notare pana la examen.
In ce priveste cibernetica insa mai au ceva de lucru. Daca intrebi un student cum interactioneaza sistemul de educatie cu cel economic o sa inceapa sa se balbaie pentru ca nu exista o formula matematica care sa explice complexitatea.