Fontos, hogy hitelesek legyenek a visszajelzéseink

Melyek az Országos kompetenciamérés tartalmi elemei? Milyen mérési adatok keletkeznek a kompetenciamérésekből? Mire lehet ezekből következtetni?

A mérés a hatodik, nyolcadik és tizedik évfolyamot érinti. Ezeken az évfolyamokon minden tanulónak meg kell írnia a teszteket, ezzel viszont aznapra teljesítették is a tankötelezettségüket. A felmérés négyszer negyvenöt perc; az első fele szövegértés, a második fele matematika. A matematikai és szövegértési eszköztudást vizsgáljuk, de nem tantárgyi vonatkozásban, ez nem tantervi mérés. Úgy gondoljuk, hogy ezt a két műveltségi területet az egész iskola fejleszti, nem csak az egyes pedagógusok, tehát minden órán formálódik a szövegértés és a matematikatudás is. A szövegértésnél arra törekszünk, hogy a lehető legszélesebb skáláját lefedjük azoknak a szövegtípusoknak, amelyekkel a gyerekek találkoznak, a gázszámlától kezdve a plakátokon át az érvelő szövegekig, de szépirodalmi szövegekkel is dolgozunk. Három gondolkodási műveletet különböztetünk meg: az információ-visszakeresést, az értelmezést és a következtetések levonását.

A matematika esetében a felmérés anyaga közelebb áll a tantervhez a tartalmi területek és az elvégzendő gondolkodási műveletek kapcsán is. A matematikánál is arra törekszünk, hogy ne tankönyvjellegű feladatokat kelljen megoldani, hanem megpróbálunk valós helyzeteket modellezni. Elég hosszú a mérés, hatvan-nyolcvan oldalas a füzet, amit a gyerekeknek ki kell tölteni, körülbelül 120 kérdés van benne. Mivel a tanulók képességintervalluma is nagyon széles, vannak, akik félig töltik ki, és vannak, akik fél óra alatt befejezik az egészet. De nem csak kognitív kérdéseink vannak, mert az országos kompetenciamérés egyik lényege, hogy érvényesen összehasonlítható visszajelzést adjunk a gyerekek teljesítményéről. A teszten elért eredmény még csak az első lépés, amiből az látszik, melyik iskola teljesít jobban a másiknál abszolút értékben.

Az Országos kompetenciamérés objektív mutatókat biztosít az intézményeknek, ezzel lehetővé teszi, hogy a szülők kellőképpen megalapozott képet kapjanak, amely alapján össze tudják hasonlítani az iskolák teljesítményét. Milyen adatok, számítások, szempontok határozzák meg a kiemelkedő teljesítményű iskolákat, illetve hogyan válik láthatóvá, ha az átlagosnál nagyobb az adott helyen folyó pedagógiai munka fejlesztő hatása?

Mi elsősorban azt szeretnénk érzékeltetni, hogy a körülményekhez képest milyen hatása van az iskolában végzett pedagógiai munkának. Ezt úgy érjük el, hogy nemcsak a tesztet vesszük figyelembe, hanem a szülőkkel és a tanulókkal is kitöltetünk egy kérdőívet, amelyben a gyerekek szokásaira kérdezünk rá, illetve olyan információkra is, amelyekből mérőszámot készítünk a család társadalmi-szociális-gazdasági státuszára nézve. Egyrészt azt vizsgáljuk, hogy ez a státusz milyen hatást gyakorol a gyerek teljesítményére, másrészt megnézzük, hogy a családi háttér alapján milyen teljesítményt várnánk tőle, és ezzel szemben milyen teljesítményt nyújt a mérésen. Úgynevezett képességskálával dolgozunk, és ezt a képességskálát képességszintekre osztjuk. Egyébként van elérhető leírás a szintekről és arról, hogy melyik képességszintre eső gyereknek milyen képességei vannak (Az Országos kompetenciamérés tartalmi keretei,^[1] 16., 40. o.). Arra törekszünk alapvetően, hogy mindenki a saját kontextusában tudja értelmezni a teljesítményt.

Tehát elmondható, hogy erős az összefüggés a tanulók társadalmi státusza és iskolai teljesítménye között, olyannyira, hogy egy tanulócsoport átlagos családi háttere alapján megbecsülhető annak a csoportnak a várható tanulmányi teljesítménye. Mire kérdez rá a szülők által kitöltendő kérdőív, és hogyan azonosíthatók azok az iskolák, amelyek jobb eredményt érnek el, mint az tanulóik családi háttere alapján várható volna?

A kérdőívben pár kérdés jelenti a családiháttér-index alapját. Rákérdezünk a szülők végzettségére, az otthon található könyvek számára, az otthoni számítógép létére és internetcsatlakozásra, illetve arra, hogy van-e a gyereknek saját könyve (lásd: OKM Országos jelentés 2019,^[2]108. o.). Az iskolára vonatkozóan is számítunk egy családiháttér-indexet, és ehhez mérten adjuk vissza, hogy a kapott eredmény jobb-e vagy sem. Egy nagyon jó családiháttér-indexű iskolával is előfordulhat, hogy nem éri el a tőle várható kimagasló teljesítményt, és egy szerény hátterűvel is előfordulhat, hogy jobban teljesít, mint azt a társadalmi státusz alapján becsültük. Mi azoknak az iskoláknak a listáját hozzuk nyilvánosságra minden évben, amelyek felülmúlták az általunk becsült várható eredményüket, és akár a tanulói csoport társadalmi státuszához képest lettek jobbak, akár abból a szempontból, hogy a korábbi eredményeik alapján mit vártunk tőlük.

Hogyan lehet figyelembe venni a tanulók változó motivációját a tesztek kitöltésénél?

Gyakran éri kritika a mérést például abban a tekintetben, hogy a nyolcadikosoknak már nincs semmi motivációjuk, mivel úgyis elmennek az iskolából. Ezzel szemben meglepő módon azt tapasztaljuk, hogy ahogy haladunk felfelé az évfolyamokban, csökken az üresen hagyott válaszok száma, tehát hatodikban van a legtöbb meg nem válaszolt kérdés. Ha tehát azt tekintjük a motiváció egyik mérőszámának, hogy kitöltik-e a füzeteket, akkor azt látjuk, hogy minél idősebbek a gyerekek, annál valószínűbb, hogy ki fogják tölteni.

Milyen különbségek mutatkoznak a kiemelkedő teljesítmény és a tehetséggondozás tekintetében a 6 és 8 évfolyamos gimnáziumok, valamint a szakiskolák esetében?

Világszintű jelenség, hogy a társadalmi státusz és a teljesítmény között összefüggés van. Ami meglepő, hogy nálunk ez az összefüggés erősebb, mint máshol. Ahogy haladunk felfelé az évfolyamokon, a képességalapú szelekció a folyamat végére összefolyik a társadalmi alapú szelekcióval. A 6 és 8 évfolyamos gimnáziumok nemcsak teljesítményben különböznek nagyon, hanem erős társadalmi, gazdasági különbségek is láthatók. Ugyanez a helyzet a szakképzéssel is, ennek felértékelődéséért jelenleg nagyon sok intézkedés van folyamatban, de nagyon nehéz gyorsan változtatni. Az is erősen generálja ezeket a hatásokat, hogy a szülők sokszor már a negyedikes gyerekeknél elkezdenek azon tűnődni, hogy másik iskolába kéne vinni őket, és így iskolakörzetek között is keletkezhetnek különbségek, társadalmi és teljesítménybeli szempontból is. A központosítás az esélyegyenlőség felé szokott hatni, például a Klebelsberg Központ létrehozásával, ami előbb-utóbb meghozza gyümölcsét, de az állam ezzel kapcsolatban nem sokat tud tenni, hiszen a szülők döntései alapján változik az iskolák összetétele.

Az osztályzás gyakran visszatérő és megosztó kérdés. Hogyan árnyalják ezt a problémát a kompetenciamérés tapasztalatai?

Van adatunk arról, hogy az előző évben milyen jegyet kaptak a gyerekek matematikából, és ebből különböző következtetéseket tudunk levonni. Látjuk, hogy milyen eredménye van azoknak a gyerekeknek, akik kettest, hármast, négyest vagy ötöst kaptak az előző évben. Az adatok összehasonlításából lehet olyat eseteket látni, ahol az érdemjegy egyáltalán nem tükrözi a tanulók teljesítményét, de ez nincs mindig így. A mi visszajelzésünk arra szolgál, hogy a tanárok el tudjanak gondolkodni azon, hogy mire használják az osztályzást. Mert az is lehet, hogy az adott iskolában teljesen érvényes módon használják az osztályzást ­– de az iskolajelentésből nem mindig evidens, hogy mire. Vannak olyan iskolák is, ahol látszik az összefüggés a jegy és a teljesítmény között. Ha az egész adatbázist nézzük, azt látjuk, hogy a magyar pedagógusok meglehetősen összhangban osztályoznak a valós tanulói teljesítményekkel.

Mennyire egyenletes a gyerekek fejlődése?

Érdekes tapasztalat, hogyan változik az évfolyamok közti különbség. Matematikából nyolcadik és tizedik osztály között közel sincs akkora fejlődés, mint hatodik és nyolcadik között, sőt. Ez a szövegértés esetében kicsit más, ott egyenletesebb a három évfolyam közötti fejlődés. De ennek a kettőnek nem kell összehasonlíthatónak lennie; másképp működik a matematika és a szövegértés. Területileg és iskolatípus szempontjából is mérhető, mennyi a két év alatti fejlődés. Különböző rétegekről beszélhetünk az oktatásban, amelyek abban különböznek egymástól, hogy ki honnan indul, és nem feltétlenül abban, hogy ki milyen minőségű oktatásban részesül. Szenzációs minőségi pedagógiai munka van Magyarországon, de nem olyan könnyű pusztán az iskolában végrehajtott pedagógiai műveletekkel elősegíteni a fejlődést.

Hogyan vesznek részt a mérésben az SNI-s tanulók?

Sokfajta sajátos nevelési igény van, mi úgy állunk hozzá, hogy ha a gyerek fizikailag képes megírni a tesztet, akkor bátran írja meg. A felmentetteknek is visszajelzünk, kapnak tanulói jelentést a saját teljesítményükről, de az iskola átlagába nem számoljuk bele őket. Viszont rendelkezésre áll a FIT-elemző szoftver,^[3] amit az iskolák elérnek, tehát ha ők akarják, ki tudják számolni az átlagukat úgy is, hogy beleveszik az SNI-s tanulókat is. Szóba került, hogy kaphatnának külön kérdéssort, ha áttérünk a digitális mérésre, így jobban lehetne támogatni őket. Ez azért is összetett kérdés, mert nem tudhatjuk, milyen segítséget kapnak ténylegesen a teszt megírása közben, és fontos szem előtt tartani, hogy hitelesek legyenek a visszajelzéseink, célunk a munkaerőpiaci sikeresség előrejelzése is lenne.

Hogyan működik a feladatfejlesztés folyamata? Mennyiben befolyásolja azt a digitális átállás?

Van egy tartalmi keretünk, amelyről a beszélgetés elején volt is már szó. Májusban van a mérési időszak, és mi két évvel az adott mérés előtt, szeptemberben elkezdjük megíratni a feladatokat. Igyekszünk megcélozni 1000-1000 tesztkérdést mérési területenként. Ezt képzett feladatírók készítik, koordinátorok segítségével csiszolják őket, és amikor eldöntöttük, hogy melyik feladatokat akarjuk használni, akkor lektoráltatjuk őket, füzetekbe rendezzük, és májusban egy körülbelül 12.000 fős mintán kipróbáljuk. Statisztikusok kiszámolják, hogy melyik feladat mennyire nehéz, van-e olyan feladat, ami nem működik jól. Vizsgálják azt is, hogy az egyes feladatok és a teljes teszt között milyen összefüggések vannak. Mert ha azt látjuk, hogy azok a gyerekek, akik a teljes tesztet jól megoldották, de egy bizonyos feladatot elrontanak, akkor a feladatban van a hiba. Ezeknek a tapasztalatoknak a mentén válogatjuk ki a következő év főmérését. Jelenleg zajlik a digitális mérések lebonyolítására alkalmas weboldal, a tehetsegkapu.hu továbbfejlesztése, megvoltak az első digitális próbaméréseink novemberben természettudományból és médiaműveltségből. Lassan terjeszkedünk ebben az évben, májusban lesz szövegértés és matematika, illetve idegen nyelvből is lesz próbamérés, szintén digitálisan.

Ehhez van megfelelő apparátus az iskolákban?

Mi nemcsak a saját, magyar fejlesztésű méréseinkkel dolgozunk, hanem nemzetköziekkel is. A nemzetközi mérések között már 2009-ben is volt olyan, amit részlegesen digitálisan kellett lebonyolítani, illetve 2015 óta három nagy nemzetközi mérés is képernyőkön zajlott. Ezeket gond nélkül le tudtuk bonyolítani, de itt az a könnyebbség, hogy ezek mintaalapú mérések, és sokkal hosszabb a mérési időszak, azaz nem az egész ország összes hatodikosát kell egyszerre leültetni számítógépek elé. Most kezdtük el felmérni, hogy hogyan állnak az iskolák, keressük a különböző módokat, amelyekkel gördülékenyebbé tehetjük a folyamatot.