Ce este o meta-analiză și cât de bine poate să informeze deciziile pe care le luăm la clasă? – Cercetătorul Dacian Dolean

În ultima vreme se vehiculează tot mai des termenul de meta-analiză în România. Acesta este un lucru foarte bun, deoarece e important sa avem o educație științifică pentru a putea lua deciziile potrivite la clasă.

Pe scurt, o meta-analiză e un studiu în care se analizează sistematic informații cantitative referitoare la o problemă relevantă în educație. De exemplu, pentru a analiza rolul temelor pentru acasă asupra performanței școlare ale elevilor la școală, Cooper et al. (2007) au făcut o meta-analiză în care au inclus toate studiile publicate între 1987 și 2003. Studiul este deosebit, pentru că autorii nu s-au rezumat doar la studiile publicate, ci au investigat și studiile nepublicate în jurnale cu evaluare colegială. Colectând toate datele cantitative din acele studii, autorii au putut să estimeze în ce măsură temele pentru acasă sunt asociate cu performanța școlară a elevilor, folosind un singur indicator statistic (coeficientul de corelație r). 

De obicei, meta-analizele au scopul de a lămuri informații care variază de la un studiu la altul, în sensul că fie au efecte diferite, fie pot fi contradictorii. De exemplu, o meta-analiză arată că majoritatea studiilor arată o legătură strânsă între deficitul de procesare fonologică și dislexie, însă efectele acestei asociații variază de la -4 la 0 abateri standard (cu o medie de -1.43). Aceste rezultate nu sunt contradictorii: Ele doar arată că unele studii au obținut efecte diferite, însă în comunitatea științifică există un consens că deficitul de procesare fonologică este un factor de risc pentru dislexie. 

Uneori însă, efectele pot fi contradictorii și pot duce la concluzii greșite. De exemplu, o meta-analiză arată că în general implicarea părinților în sprijinirea copiilor cu efectuarea temei pentru acasă este asociată negativ cu performanța elevilor, indiferent de ciclul de școlarizare (primar, gimnazial, liceal). Această concluzie este desprinsă din analiza rezultatelor a 104 studii care au analizat această relație. Deci o concluzie superficială desprinsă în urma acestui studiu ar fi că părinții nu ar trebui se implice în sprijinul copiilor lor cu tema pentru acasă, pentru că ar face mai mult rău decât bine. Dar așa să fie? 

Dacă citim cu atenție această meta-analiză, observăm că studiile incluse sunt corelaționale, datele fiind culese strict pe baza observațiilor (fără să se facă o intervenție). Însă un studiu corelațional nu arată o relație de cauzalitate (ci doar o asociere). Adică dacă ne plimbăm noaptea pe o stradă neluminată și ne împiedicăm de o bordură în timp ce mâncăm un covrig, nu înseamnă că ne-am împiedicat din cauză că am mâncat un covrig. Aceasta este o corelație care nu explică o relație de cauzalitate. În schimb, cauza pentru care ne-am împiedicat o reprezintă iluminatul stradal precar. 

Pentru a măsura impactul părinților asupra elevilor, trebuie să facem o intervenție în care părinții se implică activ în sprijinul copiilor lor. Iar ca să ne asigurăm că sprijinul părinților este real (și uniform), trebuie să le furnizăm acestora ajutor (un ghid) care să îi ajute să își sprijine copiii cu temele pentru acasă (pentru că altfel nu am măsura impactul sprijinului, ci nivelul de educație al părinților, care poate varia considerabil). 

Din fericire, rezultatele studiului nostru experimental pe care am să le prezint în curând arată pentru prima dată că atunci când părinții sunt sprijinți cu o serie de materiale care să le permită să își ajute copiii cu temele pentru acasă, copiii pot face progrese substanțiale, contrazicând astfel rezultatele acestei meta-analize. Notă: La fel am făcut acum 3 ani când am arătat că puțină temă pentru acasă poate avea efecte benefice – rezultate care contrazic concluziile obținute în urma analizei datelor corelaționale din meta-analiza publicată de Cooper et al. (2007). Consecința a fost că studiul a devenit al treilea cel mai vizualizat articol din toate timpurile din The Journal of Experimental Education. 

Apoi, mai există problema meta-meta-analizei publicate de John Hattie, care este populară printre profesori, dar privită cu suspiciune în comunitatea științifică. De ce? Unele nereguli sunt dificil de explicat într-un limbaj care să nu fie prea tehnic, însă altele sunt mai ușor de înțeles. De exemplu, efectul vocabularului este estimat la 0.62, care este un efect foarte mic pentru programele care vizează învățarea unor cuvinte noi (care este peste 1.00 abatere standard, vezi Rogde et al., 2019), dar extrem de mare pentru programele de dezvoltarea a vocabularului care măsoară efectele de transfer la testele standardizate (aceste efecte sunt sub 0.1, vezi Cervetti et al., 2023). Adică, dacă predau unei grupe de elevi la biologie concepte noi referitoare la structura celulei (ex. citoplasmă, reticulul endoplasmatic), efectul învățării va fi foarte mare (mult peste 1 abatere standard) comparativ cu o grupă de elevi care nu au asistat la lecție (dar au jucat fotbal în curtea școlii). În schimb, dacă evaluez vocabularul academic al elevilor cu teste standardizate care nu includ cuvintele de vocabular predate la lecția de biologie (ex. susceptibil sau preponderent), efectul lecțiilor de vocabular asupra vocabularului general va fi foarte mic (sub 0.1, chiar și în urma intervențiilor desfășurate pe parcursul mai multor săptămâni de școală). În studiile noastre, noi am obținut efecte de transfer pe termen lung în testele standardizate de vocabular (0.28) în urma unui program intensiv de dezvoltare a vocabularului, dar trebuie să precizez că acest efect reprezintă mai degrabă o excepție decât o regulă. Însă faptul că se pun în același studiu ambele tipuri de efecte (ca să obținem un efect mediu de 0.62) este teribil de greșit, deoarece, în realitate, intervențiile de dezvoltare a vocabularului au printre cele mai mari efecte, dacă măsurăm învățarea cuvintelor noi de vocabular incluse în lecțiile predate. 

Un alt exemplu este faptul că orice intervenție care vizează învățarea de cunoștințe noi duce la efecte extrem de mari, iar aceste aspecte nu apar în meta-meta-analiza lui Hattie. De exemplu, atunci când am vizat creșterea cunoștințelor generale ale elevilor am obținut un efect imens, de 2.58 (am să detaliez despre acest experiment într-un articol viitor). 

În final, mai există problema calității studiilor (pentru că nu toate meta-analizele sunt la fel de riguroase). Meta-analizele foarte bune (care includ doar studii făcute foarte riguros) raportează efecte foarte mici. De exemplu, efectul mediu al studiilor experimentale în educație este 0.1 (Kraft, 2020). În schimb, dacă punem în aceeași ecuație rezultatele tuturor meta-analizelor (indiferent de calitatea studiilor lor), vom obține efecte mult mai mari – o altă critică adusă muncii lui John Hattie din partea reprezentanților comunității științifice, poziție prea puțin cunoscută de către profesori.

În concluzie, când citim rezultatele meta-analizelor este foarte important să le analizăm critic. Altfel, riscăm să ajungem la concluzii greșite sau să subestimăm (sau supraevaluăm) efectele pe care le vom avea atunci când predăm la clasă.

___

Despre autor:

Dacian Dolean este psiholog educațional, specializat în dezvoltarea limbajului și a alfabetizării timpurii. Are o experiență de peste 20 de ani ca profesor de învățământ primar, gimnazial, liceal și universitar în România și în SUA. Activitatea sa din ultimii ani s-a axat pe cercetare în domeniul alfabetizării și pe activități de formare a profesorilor din învățământul primar din SUA.

În prezent, este afiliat Universității Babeș-Bolyai ca director al unui proiect de cercetare care urmărește dezvoltarea alfabetizării copiilor din România, finanțat de EEA Grants. De asemenea, este membru în comitetul editorial al publicației Journal of Literacy Research.

___

Foto: © Dreamstime.com – Skypixel / Dreamstime.com sprijină educaţia din România şi oferă gratuit imagini stock prin care Edupedu.ro îşi poate ilustra articolele cât mai relevant posibil / Campania Back to school oferă posibilitatea oricărei școli, profesor sau elev să descarce imagini de calitate cu 50% discount.