În testele PISA, trei sferturi din întrebările la citire și două treimi din cele de la Științe pot fi rezolvate corect cu inteligența artificială, la Matematică există încă limitări tehnice – studiu / Schleicher, OCDE: Tehnologia ne presează să ne gândim mai mult la ceea ce predăm și testăm, așa încât să aibă relevanță

Platforma de inteligență artificială pe care se bazează programul ChatGPT poate răspunde, în condițiile limitelor tehnice existente, la doar un sfert din întrebările la matematică din cadrul evaluărilor PISA, ce măsoară competențele dobândite prin învățare de elevi, la vârsta de 15 ani. Pe de altă parte, în condițiile acelorași limitări, ea poate răspunde la peste trei sferturi din întrebările din cadrul testului de citire și la două treimi la cele de știință, potrivit unui studiu încă nepublicat, dar ale cărui rezultate au fost prezentate, recent, în cadrul unei dezbateri OCDE. Potrivit celui care a prezentat datele, în cazul în care s-ar folosi urmașul – deja lansat – al programului folosit, rezultatele ar fi considerabil mai bune și, în cazul întrebărilor în format exclusiv text, ar “depăși pe linie pragul de 80%” răspunsuri corecte.

• “Tehnologia ne presează să ne gândim mai mult la ceea ce predăm și testăm, așa încât să aibă relevanță. În mod clar, acumularea de cunoștințe nu ne mai ajută să obținem succesul”, a apreciat, în dezbaterea respectivă, directorul Direcției pentru Educație a Organizației pentru Cooperare și Dezvoltare Economică (OCDE) – considerațiile lui detaliate, mai jos 

În conferința “ChatGPT, PISA și viitorul educației”, organizată de OCDE la finalul lunii martie, Woult Schellaert, doctorand la Universitat Politecnica de Valencia, a prezentat rezultatele preliminare ale unui studiu încă nepublicat, în care instrumente recente – însă depășite deja – de inteligență artificială  au fost folosite pentru a răspunde la evaluările PISA din 2006. 

Mai precis, potrivit prezentării, a fost folosit GPT 3.5, model de inteligență artificială pe baza căreia a fost construit ChatGPT, instrument optimizat pentru dialog. GPT 3.5 are o serie de limitări din punct de vedere al tipului de informații pe care le poate procesa – folosește foarte bine informații text sau transformate în text, însă are limitări majore din punct de vedere al imaginilor. Autorul notează că acest model este deja depășit, recent apărând o nouă variantă, mult superioară, GPT 4.

Din cauza limitărilor referitoare la imagini, Woult Schellaert a precizat că nu este de așteptat ca instrumentul să poată răspunde corect la întrebările ce conțin elemente vizuale, foarte numeroase la unele probe.

Ce rezultate a avut, în aceste condiții, inteligența artificială?

• Matematică – a răspuns corect la 28% din totalul întrebărilor și la 37% din întrebările în format exclusiv text
• Citire – a răspuns corect la 78% din totalul întrebărilor și la 90% din întrebările în format exclusiv text
• Știință – a răspuns corect la 65% din totalul întrebărilor și la 64% din întrebările exclusiv text

Cel care a prezentat rezultatele a insistat că interpretarea acestor date trebuie să țină cont de faptul că “întrebările PISA moderne sunt foarte interactive și acest lucru trebuie luat în calcul atunci când se calculează rezultatele testelor standardizate”.

Întrebat care sunt așteptările lui cu privire la GPT 4, în cazul că ar fi folosit pentru asemenea evaluări, Woult Schellaert a apreciat că “în privința întrebărilor exclusiv text, vom vedea cifre înfricoșătoare. 80% pe linie, inclusiv pentru matematică, cifre aproape perfecte la citire, iar știința va depăși acest prag de 80%”. Dacă adăugăm opțiuni de imagine, a spus el, este mai greu de evaluat un rezultat final, “dar va fi o creștere semnificativă” față de cel obținut cu GPT 3.5. 

Andreas Schleicher: Cum putem aduce o contribuție complementară, nu să avem o relație de substituire cu inteligența artificială?

Participant la aceeași dezbatere (care poate fi urmărită integral aici), Andreas Schleicher, directorul pentru Educație în cadrul OCDE, a spus că asemenea evoluții au implicații majore asupra învățării, dar și asupra predării și “ne fac să ne gândim mai mult la cele ce ne fac oameni”, așa încât relația cu tehnologia și inteligența artificială să fie una de complementaritate, nu de substituție.

Andreas Schleicher:

• “Am vorbit mereu despre viitorul IA, iar acum vedem că este efectiv aici. Deși, de-a lungul istoriei, oamenii au câștigat mereu cursa în fața tehnologiei, această tendință nu continuă automat. Și raportul (referitor la IA și evaluările PIAAC, alt raport prezentat în cadrul aceluiași eveniment – n. red.) arată clar că lucrurile ușor de predat și de testat au devenit foarte ușor de digitizat și automatizat. Iar aceasta ne face să ne gândim mai mult la cele ce ne fac oameni și cum putem aduce o contribuție complementară, nu să avem o relație de substituire cu inteligența artificială.
• Un răspuns extrem ar fi: nu mai avem nevoie de nimic, pentru că GPT4 sau orice va veni după el știe orice și poate digera informații mult mai rapid decât oamenii și probabil mai puțin părtinitor. Acest tip de gândire probabil ne-ar transforma foarte rapid în sclavii unor algoritmi pe care nu îi mai înțelegem.
• Faptul că am avut calculatoare de buzunar nu a însemnat că nu mai trebuie să înțelegem fundamentele matematicii. Sau faptul că pe Google Maps se poate calcula cea mai rapidă rută nu înseamnă că nu mai avem nevoie de simțul orientării. Dar cred că tehnologia ne presează să ne gândim mai mult la ceea ce predăm și testăm, așa încât să aibă relevanță.
• În mod clar, acumularea de cunoștințe nu ne mai ajută să obținem succesul, Tehnologia nu te mai ajută în privința lucrurilor pe care le ști, ci mai degrabă pentru ceea ce poți să faci cu ceea ce știi. (…) Acestea au implicații majore pentru ceea ce învățăm, pentru modul cum predăm”.

În cadrul aceluiași eveniment a fost prezentat un alt raport al OCDE, potrivit căruia competențele inteligenței artificiale (IA) le-ar depăși pe cele ale majorității adulților în teste-cheie de evaluare a nivelului de alfabetizare și a capacității de a opera cu numere, iar aceste competențe cresc continuu și foarte rapid. Analiza, bazată pe opiniile unor experți în domeniul informaticii și în lucrul cu IA, avertizează asupra nevoii de adaptare a sistemelor de educație, în condițiile în care, în prezent, este foarte redusă capacitatea țărilor de a forma o forță de muncă aptă să depășească inteligența artificială, în ceea ce privește alfabetizarea și operarea cu numere. 

Foto © Maksstock78 | Dreamstime.com / Dreamstime.com sprijină educaţia din România şi oferă gratuit imagini stock prin care Edupedu.ro îşi poate ilustra articolele cât mai relevant posibil / Campania Back to school oferă posibilitatea oricărei școli, profesor sau elev să descarce imagini de calitate cu 50% discount.

Citește și:

Semnal de alarmă: “Pierde educația cursa cu tehnologia?” Inteligența artificială ar depăși deja rezultatele majorității adulților la testele de evaluare a competențelor-cheie, iar în 2026 ar putea răspunde 100% corect – raport OCDE