A 2004-es Országos kompetenciamérés eredményei

^[1]A tanulmány a 6., 8. és a 10. évfolyamon 2004-ben végzett teljes körű kompetenciamérés legfontosabb adatait mutatja be. A kompetenciamérések a tanulók szövegértési és matematikai kompetenciáit vizsgálják. Az olvasó a legfőbb eredmények mellett megismerkedhet a mérés néhány fontos metodikai elemével, többek között az egyes képességszintek követelményeivel és a megelőző években mért teljesítmények változásának követését biztosító mérésmetodikai eljárásokkal. A tanulmány betekintést ad a családi háttérváltozók tanulási teljesítményre gyakorolt hatásának vizsgálatába, továbbá az ennek alapján történő pedagógiai hozzáadott érték számításának módszereibe is.

A kompetenciamérések jellemzői

Az oktatási rendszer hatékonyságát mérő hazai vizsgálatok közül az Országos kompetenciamérések (OKM) egy-egy populáció tudását, képességeit tárják fel. A méréseknek kettős céljuk van: egyrészt a tanulók teljesítményének a megismerése, másrészt az iskolák mérési-értékelési gyakorlatának a kialakítása.

Az Értékelési Központ 2004 májusában bonyolította le a sorrendben harmadik kompetenciamérést, amely a 6., 8. és 10. évfolyamos tanulók szövegértési képességét és matematikai eszköztudását vizsgálta. A 2001 novemberében lebonyolított első mérés az 5. és a 9. évfolyamos tanulók tudását mérte fel a tanév és egyben egy-egy iskolaszakasz elején, a 2003. évi második felmérés pedig a 6.-osok és a 10.-esek teljesítményét vizsgálta a tanév végén.

A 2001-es és 2003-as vizsgálatban ugyanazok a tanulók vettek részt, teljesítményük fejlődési trendjét mégsem lehetett összehasonlítani, mert a két időpontban felvett tesztek nem voltak összevethetők egymással. A 2003-as és 2004-es év eredményei már összehasonlíthatók az ún. Core-teszt segítségével, amelyet reprezentatív mintán, évről évre megismételve veszünk fel. (A teszt tartalma változatlan és titkos.)

Mivel a kompetenciamérés azt vizsgálja, hogy a tanulók képesek-e a tudásukat alkalmazni, további ismeretszerzésre felhasználni, vagyis birtokában vannak-e annak az eszköztudásnak, amely további fejlődésükhöz nélkülözhetetlen, a felmérés tesztjei alapvetően nem a tantervi követelmények teljesítésére, hanem életszerű problémák, helyzetek megoldására irányultak. Ezért mindkét teszt a mindennapok jellemző helyzeteire és problémáira koncentrált, és a hétköznapi életből ismert gyakori feladatokat tartalmazott (pl. megrendelőszelvény kitöltése, hirdetés szövegének értelmezése vagy vásárlás, utazás, főzés, személyes pénzügyek intézése). A szövegértési teszt elbeszélő, magyarázó és dokumentum típusú szövegeihez kapcsolódó feladatok megoldásakor a tanulóknak műveletek sorát kellett végrehajtaniuk a konkrét információ visszakeresésétől a szöveg értelmének átfogó megértésén át a szöveg tartalmára és formájára való reflektálásig. A felhasznált szövegek között prózarészletek és különböző dokumentumfajták – például: listák, nyomtatványok – szerepeltek.

A matematikateszt is azokat a készségeket, képességeket vizsgálta, amelyek megmutatják, hogyan tudják a tanulók matematikai tudásukat felhasználni a mindennapokban. Például képesek-e kapott adatok alapján előzetes terveket, kalkulációkat készíteni, önállóan megoldani pénzügyi feladatokat, és eligazodnak-e a médiában megjelenő információk között (táblázatok, grafikonok, diagramok önálló értelmezése, egy adott jelenség többféle ábrázolásának integratív értelmezése). A mindennapokban ugyanis viszonylag ritkán kell tisztán matematikai problémákat megoldanunk, a matematikai ismereteket többnyire praktikus helyzetekben alkalmazzuk. A tesztben szereplő feladatok megoldása különböző nehézségű és bonyolultságú műveletek elvégzését igényelte. A tesztek összeállításában az is szempontként szerepelt, hogy a feladatok a matematika minél szélesebb területét lefedjék, és az egyes tartalmi területek a vizsgált évfolyamok sajátosságainak megfelelő arányban jelenjenek meg.

Mivel a kompetenciamérés célja volt az is, hogy az iskolák pontos képet kapjanak tanulóik teljesítményéről, és el tudják helyezni magukat a hasonló jellemzőkkel rendelkező iskolák között, a tesztek mellett igazgatói és tanulói kérdőívek kitöltésére is sor került. A kérdőívekre adott válaszok a tanulók családi körülményeinek és az iskolák sajátosságainak megismeréséhez szükséges legalapvetőbb információkat tartalmazzák. Ezek segítségével árnyaltabb elemzések készülhetnek a tanulók teljesítményéről, és megállapítható az is, hogy az iskola – a tanulók családi hátterét figyelembe véve – milyen eredményt ért el a felkészítésükben.

A felmérésre az ország összes általános és középiskolájában egységes feltételek között került sor. 3834 iskola 119 238 hatodikos, 113 154 nyolcadikos, valamint 111 061 tizedikes tanulója azonos időpontban töltötte ki a matematika- és szövegértés-feladatokat tartalmazó tesztfüzetet, a feladatok megoldására – a szövegértés és a matematika esetében egyaránt – kétszer 45 perc állt rendelkezésükre.

Az Értékelési Központ minden iskolából 20 tanuló tesztfüzeteit kérte be feldolgozásra, ez 53 850 hatodikos, 54 449 nyolcadikos és (a kevesebb iskola miatt) 29 816 tizedikes tanuló adatát jelenti.

A mérési metodika

A kompetenciamérés komplex, sokrétű elemzést igényel. A vizsgálat felépítése, szervezése, lebonyolítása, egyes lépései mind azt a célt szolgálták, hogy érvényes, statisztikailag korrekt következtetéseket tudjunk levonni a célpopuláció képességeiről, és hasznos információkat nyújtsunk az oktatáspolitikai döntéshozók és az iskolák számára egyaránt. E célt szolgálják az egyszerű statisztikai eszközökön túlmutató korszerű módszerek, amelyeket az adatok elemzése során használtunk. Ilyen például a képességmodell bevezetése, a tanulók képességszintekbe sorolása és az empirikus hibaszámítás.

Mintaválasztás

A mintaválasztás a korábbi kompetenciamérésekben használt módszerek szerint zajlott 2004-ben is. Bár az érintett évfolyamok minden tanulója kitöltötte a tesztet, a központi elemzés minden iskola legfeljebb 20 diákjának eredményei alapján történt. Azt, hogy melyik 20 diák tesztfüzetét és háttérkérdőívét kértük be az iskoláktól, irányított véletlen mintavétellel határoztuk meg. Ily módon a jobb és gyengébb képességűek közül is bekerültek a mintába tanulók. Ezzel az eljárással az egyszerű véletlen mintaválasztáshoz képest jobb becslést kapunk az iskola átlagos teljesítményéről.

Az adatvédelmi szempontokat figyelembe véve az Értékelési Központnak a tanulók személyes adataihoz, így a nevükhöz sincs hozzáférése. A diákok azonosítására egy ún. tanulói azonosító számot használunk. A tanárok a felmérési útmutatóban foglaltak szerint a felmérés előtt minden osztályban matematikaeredményeik (korábbi jegyeik, tanulmányi eredményük) szerint sorrendet állítottak fel a diákok között, a legjobb képességű diákkal kezdve a sort. Emellett az Értékelési Központ minden iskolában meghatározta, hogy a tanulói azonosítók közül – amelyek minden iskolában egymást követő számok voltak – melyek kerültek az egyes osztályokba. Ezt követően az osztályban az azonosítókat úgy osztották szét, hogy az előzetes lista első diákja kapta a legkisebb azonosítót, a második a következőt és így tovább.

A mintaválasztáshoz az egyes osztályok tanulóinak azonosítóit oly módon rendeztük, hogy a páratlan osztályok diákjainak azonosítóit növekvő, a páros osztályok diákjainak azonosítóit pedig csökkenő sorrendbe állítottuk. Ezután egy kezdeti azonosító véletlenszerű kiválasztására és a diákok számából következő lépésköz meghatározására volt szükség. A kezdeti azonosítót egyszerű véletlen mintavétellel választottuk, az összes azonosító egyenlő valószínűséggel kerülhetett kiválasztásra. A felállított listán a kezdeti azonosítótól mindkét irányba egyenletes lépésközzel haladva további 19 diák került be a mintába. Azokból az iskolákból, ahol 20 diáknál kevesebb volt az adott évfolyamon, mindenki bekerült a mintába.

Az elemzés során a 10. évfolyamon a különböző iskolatípusokat külön egységként kezeltük, tehát ha egy iskolán belül több képzési típusban tanulnak a diákok, akkor az egyes képzési típusokba tartozók közül külön-külön választottunk 20-20 diákot, és az iskola külön Iskolajelentést kapott róluk.

Súlyozás

Mivel minden iskolából csupán 20 tanuló adata áll rendelkezésünkre, a részt vevő tanulók eredményeit (az iskola adott évfolyamának létszámával arányosan) súlyozva értékeltük: így kaphattunk a teljes populáció szintjén torzítatlan becsléseket. A súlyok értéke a mintaválasztási eljárástól és az előre nem látható változásoktól, például a hiányzások számától függ.

Hibaszámítás

A statisztikai programok által számított standard hibák jelentős mértékben alulbecsülik a tényleges hibákat, hiszen ezek a becslések azt feltételezik, hogy a tanulók eredményei egymástól függetlenek. Ez a feltétel nyilvánvalóan nem teljesül: az egy iskolába járó tanulók eredményei a közös tanárok, közös tananyag, közös élmények miatt erősen összefüggnek. A becslések hibáinak számításához ezért a Jackknife ismételt mintavételi eljárást választottuk. Az eljárás lépéseiben a tanulókhoz tartozó súlyok szisztematikus változtatásával adunk becsléseket, majd ezek varianciájából számítjuk a becslés hibáját. Az iskola átlagának hibája szintén nem számolható a hagyományos képlettel a kis esetszám és az egy osztályba járó diákok eredményeinek összefüggése miatt, ezért bootstrap hibaszámítási eljárást alkalmaztunk.^[2]

Képességmodell

A tanulók képességeinek mérésére a teszten elért összes pontszám vagy a százalékos eredmények nem megfelelőek. Egyrészt az elért pontszám függ a teszt nehézségétől, azaz ugyanezek a tanulók egy másik, hasonló képességeket mérő teszten akár sokkal jobb vagy gyengébb eredményeket is elérhetnek, másrészt az összes pontszám nem lineárisan nő a tanulók képességeivel: egypontnyi különbség a kis pontszámot elérő tanulók között nem jelez ugyanakkora tudásbeli különbséget, mint egy pontszámnyi eltérés az átlagos eredményt elérők között. Ugyanígy az item (feladat) nehézségének mérésére sem alkalmas az itemre adott helyes válaszok száma vagy aránya. Ráadásul egy ilyen típusú pontozásnál nehéz értelmezni a tanulók képességei és az itemek nehézsége közötti összefüggéseket, hiszen nem ugyanazon a skálán mérjük őket. A tanulók képességei a pontszám vagy százalékos mérőszám növekedésével nőnek, az itemek nehézsége ezzel szemben csökken az őket megoldók számának növekedésével.

Ezért a tanulók tudásának mérésére a pszichometriában különböző képességmodelleket (Rasch-modell, kétparaméteres, illetve háromparaméteres modell) alkalmaznak a nemzetközi és hazai gyakorlatban.^[3]

Ezek valószínűségi modellek, azaz a tanulók képességét nem olyan határként kell elképzelnünk, amely egyértelműen elválasztja a számára „megoldható” itemeket a „megoldhatatlanoktól”. A tanuló képességétől és a feladat paramétereitől függő 0 és 1 közötti érték adja a tanuló eredményességének valószínűségét az adott feladaton.

A képességmérésben használt pszichometriai módszerek, matematikai modellek ismertetésével az a célunk, hogy megmutassuk a kompetenciamérés szakmai hátterét, azt a matematikai-statisztikai apparátust, amely többek között a mérés megbízhatóságát, hitelességét növeli.

Az általunk használt kétparaméteres modell minden tanulóhoz hozzárendel egy képességértéket (θ_i), és ezzel párhuzamosan minden egypontos itemhez hozzárendel két paramétert: a nehézséget (b_i) és a meredekséget (a_i). A nehézség azt mutatja, hogy a képességskála mely részén helyezkedik el az item, a meredekség pedig azt, hogy az item megoldási valószínűsége milyen gyorsan növekszik a tanulók képességének növekedésével. A paraméterek ismeretében az i. tanuló eredményességének valószínűségét a j. item megoldásában a következő képlet adja:

Az 1. ábrán egy egypontos item megoldási valószínűségének változását láthatjuk a képesség függvényében.

Az item nehézsége itt az a pont, ahol a két görbe metszi egymást, azaz ahol a tanuló sikerességének esélye 50 százalék. Egy nagyobb nehézségű, de ugyanilyen meredekséggel rendelkező item megoldási valószínűségét mutató ábra az itt bemutatott ábrától annyiban különbözik, hogy a görbék jobbra csúsznak a vízszintes tengely mentén, míg egy ugyanilyen nehézségű, de ennél nagyobb meredekséggel rendelkező item esetén a metszéspont koordinátái változatlanok maradnak, a görbék meredekebbek lesznek.

1. ábra • Egypontos item megoldási valószínűsége

2. ábra • Kétpontos item megoldási valószínűsége

3. ábra • A tanulók képességei standardizálás előtt

4. ábra • A tanulók képességei standardizálás után

A Core-teszt feladatai összekötő kapcsot képeznek, amellyel a 2004-es teszt eredményei a 2003-as skálára vetíthetők a 6. és 10. évfolyam esetében, így az eredmények egyszerűen összehasonlíthatók. A 8. évfolyamon a standardizálást 2004-ben végeztük el, hiszen ez az évfolyam először vett részt a mérésben.

Az egyes területek itemei ugyanezen transzformáció segítségével szintén elhelyezhetők a skálán, így a tanulók és itemek közötti jól értelmezhető viszony is megmarad, az item megoldási valószínűségére felírt képletek érvényessége nem sérül.

Képességszintek

A fenti standard pontok mellett az adatok elemzésében fontos szerepet játszanak a szakmai és statisztikai szempontok alapján meghatározott képességszintek. A képességszintek rendszerében egyrészt nyomon követhetjük a tanulók képességeloszlásának a változásait az egymás utáni években, másrészt árnyaltabban vizsgálhatjuk a tanulók és az iskolák háttérváltozóit is. Fontos megérteni, hogy a képességskála folytonos, nincsenek rajta természetes osztópontok. A képességszinteknek a bevezetése csupán abban segít, hogy a tanulókat képességük szerint kategóriákba sorolva meg tudjuk mondani, hogy legalább milyen képességeket tudhatnak magukénak a szintbe tartozó tanulók, és mi az, amiben elmaradnak a magasabb szinten található tanulóktól. A képességskálán meghúzott határvonalak segítségével tehát meghatározható, hogy az egyes határvonalakat elért tanulók milyen képességekkel rendelkeznek.

A kompetenciamérésben szövegértési képességük és matematikai eszköztudásuk alapján négy képességszintbe soroltuk a tanulókat. A képességszintek a képességek egyfajta hierarchiáját jelzik. Azok a tanulók, akik elérnek egy szintet, természetesen nem csupán az azon a szinten elvárható képességekkel rendelkeznek, hanem az alsóbb szintekhez tartozó képességeknek is a birtokában vannak. Így például az a tanuló, aki a harmadik szinten teljesít, értelemszerűen a második és az első szint követelményeinek is megfelel. Egy adott szinten lévő tanuló várhatóan a szinthez tartozó kérdéseknek legalább a felére helyes választ ad. A szintek meghatározása a PISA 2000 vizsgálatban használt módszerrel történt. A 6. és 10. évfolyamon a képességszintek és a feladatok nehézségszintjeinek határai nem változtak a 2003-ban rögzítettekhez képest. A 8. évfolyamon új nehézségszinteket és képességszinteket határoztunk meg.

A tanulók képességszintekbe sorolása több lépésből állt. A feladatok nehézségének megállapítása és a megoldáshoz szükséges műveletek meghatározása után a feladatok nehézségi szintekre osztása következett. A feladatok nehézségskáláján (ami megegyezik a tanulók képességskálájával) három határpontot határoztunk meg – a feladatok követelményeit is figyelembe véve –, és az itemeket a kialakított négy szint valamelyikébe soroltuk. Az első és a negyedik szint csak egy oldalról határolt. A határpontokat tudatosan úgy határoztuk meg, hogy a második és a harmadik szint intervalluma azonos hosszúságú legyen. Ezt követően a szint feladatainak megoldásához szükséges műveleteket összesítve és általánosítva meghatároztuk a szint követelményrendszerét.

A tanulók képességszintjét azon elv alapján határoztuk meg, hogy egy adott szint (pl. a 2. szint) leggyengébb tanulója várhatóan 50 százalékos eredményt érjen el az adott szintű (pl. 2. szintű) – azonos meredekségű, nehézségük szerint egyenletesen megoszló – feladatokból összeállított teszten. Tehát a tanuló szintje az a legmagasabb szint, amely szint feladatainak legalább a felét megoldaná képessége alapján. Ez az elv használható a 2. és a 3. szint esetén, de a két szélső szintnél nem, hiszen azoknál nem intervallum, hanem félegyenes tartalmazza a szint itemeit. Ezért ebben az esetben a tanulókra vonatkozó szint alsó határpontjának kiszámítása úgy történik, hogy a tanulók 2. és 3. szintjének alsó határpontjai közötti távolságot mérjük fel a 2. szint alsó határától balra, illetve a 3. szint alsó határától jobbra, a képességskála e pontjai lettek a tanulók 1., illetve 4. szintjének alsó határpontjai (5. ábra). Ily módon a képességskálát végül 5 részre osztottuk, a négy szint mellett az 1. szinttől balra található még egy félegyenes, amely az „1. szint alatti” tanulókat tartalmazza, ők a teszten elért eredményeik alapján még az 1. szint követelményeinek sem tettek eleget. Képességeikről, ismereteik természetéről nem kapunk átfogó képet, tudásuk megragadására a kompetenciamérésben használt tesztfeladatok nem alkalmasak.

5. ábra • A szintkialakítás folyamata

Az eredmények bemutatása

A 2003-as teszt adatainak feldolgozása és pszichometriai elemzése során egy 500-as átlagú 100-as szórású képességskálát alakítottunk ki a 6. és 10. évfolyamra vonatkozóan. A 8. osztályosok esetében a 2004-es eredmények alapján ugyanezt tettük.

A tanulók megoszlása a képességszinteken

Szövegértés

A kompetenciavizsgálatban felmért mindhárom évfolyam a szövegértési képesség fejlődésének más-más szintjét képviseli. Míg a hatodikosoknál (11 éveseknél) elsősorban az alapvető szövegértési műveletek elsajátításán, alkalmazásán van a hangsúly, addig a tizedikeseknél (15 éveseknél) már követelmény, hogy szövegértési képességeiket minél szélesebb körben tudják felhasználni a különféle élethelyzetekben. A 8. évfolyam – az általános iskola lezárásaként – átmenetet képez az alapfokú és középfokú oktatás között.

Az egyes képességszintek definíciója a három évfolyam esetén megegyezik, a különbség a szövegek összetettségében, az információk szövegbe ágyazottságának mértékében rejlik.

A 6., 8. és a 10. évfolyamok tanulóinak arányát az egyes képességszinteken a 6. ábra mutatja.^[4]

6. ábra • A tanulók megoszlása a képességszinteken (szövegértés)

A 2004-es kompetenciamérésben a 6. évfolyamos tanulók 4 százaléka, a 8. évfolyamosok 11 százaléka és a 10. osztályosok 6 százaléka teljesített az 1. szint alatt, vagyis nem tud eligazodni az egyszerűbb szövegek információi között sem. Ezek a diákok a legalapvetőbb szövegértési képességekkel sem rendelkeznek.

Az 1. szinten a tanulók 17, 21 és 24 százaléka (6., 8., 10. évfolyamosok) teljesített. Ők már képesek voltak a szövegbeli információk közötti egyszerű kapcsolatok felismerésére, valamint a szöveg főbb témájának és a szerző szándékának azonosítására ismert téma esetében, továbbá háttértudásukra támaszkodva a szöveg egy jellemzőjének értékelésére is. (Természetesen az itt leírt képességeknek a felsőbb szintek diákjai is birtokában vannak.)

A 2. szinten a 6. évfolyamos tanulók 29 százaléka található, ők már képesek voltak egyszerű szövegbeli kapcsolatok felismerésére, egyszerű kategóriák kialakítására és alkalmazására, illetve alacsonyabb szintű következtetések levonására a szöveg egy vagy több részéből. Felismerték a szöveg legfőbb gondolatát, a szerző szándékát, értelmezni tudták szöveg egy meghatározott részét, valamint háttértudásukra támaszkodva értékelni tudták a szöveg egy jellemzőjét. Erre a szintre a 8. évfolyamos tanulók 31 százaléka, a 10.-esek 36 százaléka került.

A 3. szinten a tanulók 32, 25 és 26 százaléka (6., 8., 10. évfolyamosok) teljesített. Ők képesek voltak az információk közötti kapcsolat megtalálására több szempont figyelembevételével, felismerték a szövegben a hasonló információkat, azonosították a kért információt, valamint kikövetkeztették, hogy mely információ tartozik relevánsan a feladathoz. Összefüggéseket ismertek fel, következtetéseket vontak le a szöveg egy részletére vagy egészére vonatkozóan, és a szövegrészeket egységbe tudták rendezni. Háttértudásuk segítségével értelmeztek egy szót, kifejezést, mondatot vagy a szöveg egészét egy kevésbé hétköznapi ismeretanyag vonatkozásában. Képesek voltak a szöveg egy jellemző tartalmi vagy formai jegyének értékelésére, és reflektálni tudtak a szövegre saját tudásuk, tapasztalatuk és gondolataik alapján.

A 4. szinten a tanulók 18, 12 és 8 százaléka (6., 8., 10. évfolyamosok) található. A szövegbe mélyen beágyazott információkat tudták azonosítani és elrendezni, amelyek közül némelyik nem szó szerint szerepel a szövegben. Képesek voltak olyan információk visszakeresésére, amelyek több kritériumnak felelnek meg; ki tudták következtetni, hogy mely információ tartozik relevánsan a feladathoz, és a hasonló jellegű információk közül kiválasztották és azonosították a megfelelőt. Képesek voltak bonyolult összefüggések feltárására egy számukra ismeretlen szövegben, a szövegrész és a szöveg egésze közötti kapcsolatok felismerésére, azonosítására; következtetések levonására a szöveg egy vagy több részéből, illetve a következtetések magas szintű értelmezésére. Értelmezni tudták a teljes szöveget, egy adott szövegrészt a szöveg egészének tükrében, a két- vagy többértelmű szövegrészeket, a várttal ellentétes elgondolásokat egy hosszabb és bonyolultabb szövegben. Háttértudásukra támaszkodva képesek voltak egy összetett szöveg tartalmi és formai jegyeinek kritikai jellegű megítélésére, a nyelvi árnyalatok értelmezésére, a szöveg egészének vagy részletének kritikai szempontú értékelésére, a szöveggel kapcsolatos hipotézisek felállítására.

Matematika

A képességszintek definíciója azonos minden évfolyamon, a különbségek a konkrét feladatok szintjén jelennek meg, hiszen az egyes korosztályok számára más számít ismerősnek, illetve ismeretlennek a feladatok szituációja, kontextusa tekintetében, és más tekinthető rutinnak vagy újszerűnek az alkalmazandó műveletek szempontjából.

A 6., 8. és 10. évfolyamok tanulóinak arányát az egyes képességszinteken a 7. ábra mutatja.

7. ábra • A tanulók megoszlása a képességszinteken (matematika)

A 2004. évi kompetenciamérésben a 6. osztályos tanulók 14 százaléka, a 8.-osok 13 százaléka és a 10.-esek 8 százaléka teljesített az 1. szint alatt. Az ő számukra nehézséget jelentett az alapvető matematikai ismereteket igénylő feladatok megoldása és az egyszerű számítások elvégzése is.

Az 1. szinten a 6. évfolyamosok 29 százaléka, a 8.-osok 26 százaléka és a 10.-esek 27 százaléka teljesített. Képesek voltak egyszerű, ismerős kontextusú feladatokat megoldani, amelyekből a szükséges információ könnyen kinyerhető és a megoldáshoz szükséges többnyire egyetlen lépés a feladat szövegéből kikövetkeztethető. El tudták végezni a jól begyakorolt számításokat, műveleteket, és fel tudták idézni a legalapvetőbb matematikai tényeket, tulajdonságokat. (Természetesen az itt leírt képességeknek a felsőbb szintek diákjai is birtokában vannak.)

A 2. szinten a 6. évfolyamosok 32 százaléka, a 8.-osok 33 százaléka, a 10.-esek 35 százaléka található. Ők képesek voltak arra, hogy az egyszerűbb szituációban megjelenő problémákat átlássák, az ismerős eljárásokat, algoritmusokat, képleteket megfelelően alkalmazzák, egyszerű adatokat megjelenítsenek, ábrázoljanak, valamint egyszerű műveleteket végrehajtsanak a különbözőképpen (pl. táblázatosan, grafikonon) megjelenített adatokkal.

A 3. szintet a 6. és 8. évfolyamos tanulók 19-19 százaléka, a 10.-esek 21 százaléka teljesítette. Ők képesek voltak bizonyos szituációk matematikai értelmezésére és a probléma megoldásához szükséges megfelelő stratégia kiválasztására, valamint modellek alkalmazására és az ehhez szükséges feltételek meghatározására. Különböző reprezentációkat tudtak alkalmazni és értelmezni, ezeket valós szituációval összekapcsolni. Képesek voltak arra, hogy megfogalmazzák és leírják gondolatmenetüket, értelmezésüket.

A 4. szintet mindössze a 6. évfolyamos tanulók 6 százaléka, a 8. és 10. évfolyamosok 9-9 százaléka érte el. Ezek a tanulók fejlett matematikai gondolkodásról és érvelésről tettek tanúbizonyságot. Képesek voltak önálló matematikai modell megalkotására összetett problémák esetében is, és rendelkeztek az általánosítás képességével. Ismereteiket magabiztosan alkalmazták újszerű probléma megoldásában, és értelmezni tudták a különböző reprezentációkat. Logikusan érveltek, és a probléma megoldásával kapcsolatos gondolataikat, értelmezéseiket megfelelően tudták kommunikálni.

A 2003. és 2004. évi mérés eredményeinek összehasonlítása

A 2004-es kompetenciamérésben lehetőségünk nyílt arra, hogy megvizsgáljuk a teljesítmények alakulását két egymást követő évben. A 6. és 10. évfolyam 2004. évi adatai ugyanis összevethetők a 2003. évi mérés eredményeivel. Az összehasonlíthatóságot a Core-teszt teszi lehetővé, amelyet az ország véletlenszerűen kiválasztott 150 iskolájában írnak meg évről évre. Segítségével a két mérés feladatai azonos nehézségi skálára kerültek, ezáltal nyomon követhető a tanulók átlagteljesítményének változása, illetve eloszlása az egyes képességszinteken. Az adatokat az 1. táblázat mutatja.

A 2003. és 2004. évi mérés szövegértési adatainak az összehasonlításából kiderül, hogy a 6. évfolyam esetében szignifikáns, de nem jelentős javulás tapasztalható az átlagteljesítményben, míg a 10. évfolyam esetén a különbség nem szignifikáns. A tanulók képességszintek szerinti eloszlásában egyik évfolyam esetében sem történt jelentős változás.

A matematika-átlagteljesítményben az egymást követő két évben a 6. évfolyamon statisztikai szempontból szignifikáns, de nem jelentős javulás tapasztalható, a 10. évfolyamon nincs szignifikáns különbség a tanulók összteljesítményében. A tanulók képességszintek szerinti eloszlásában egyik évfolyam esetében sem mutatkozik jelentős változás.

A háttérváltozók hatása a tanulói teljesítményekre

A tanulók teljesítménykülönbségeinek értelmezését segíti a tanulók családi hátterének, illetve iskolájuk legfontosabb jellemzőinek a megismerése. Ezek segítségével megítélhetjük, hogy a tanulási eredmény elérésében mekkora szerepe van egyrészt a családi környezetnek, másrészt az iskolának. A vizsgálathoz a tanulók és az iskolaigazgatók által kitöltött kérdőívek szolgáltattak adatokat.

Családi jellemzők

Általános tapasztalat, hogy a családi háttér jelentős mértékben befolyásolja a tanulók teljesítményét. A családi környezet fontossága elsősorban a család szocializációs szerepéből fakad, amely megalapozza a tanuló életszemléletét, értékrendjét, tanulási motivációját. A családi körülmények tanulmányozásakor egyrészt a szülők iskolai végzettségét, másrészt a család tulajdonában lévő javakon keresztül a család anyagi helyzetét és az otthoni tanulást segítő eszközök meglétét vizsgáltuk.

A magasabb szülői végzettség általában magasabb tanulói teljesítménnyel jár együtt. A szülők iskolai végzettségének befolyásoló szerepe elsősorban nem azáltal nyilvánul meg, hogy a magasabb végzettségű szülő könnyebben tud segíteni a tanulásban, sokkal inkább abban, hogy nagyobb elvárásokat támaszt gyereke tanulmányi eredményével és várható iskolai végzettségével szemben, és ennek érdekében nagyobb erőfeszítéseket is hajlandó tenni, mint az alacsonyabb végzettséggel rendelkező szülők.

A kedvezőbb anyagi helyzet az iskolán kívüli tanulás jobb feltételeit is biztosítja a jobb lakáskörülmények és a fogyasztás magasabb színvonalának közvetett hatása mellett.

Az egyes családi jellemzők egymással is szoros kapcsolatban vannak, hatnak egymásra és egymás hatását tovább erősítik. A szülők iskolai végzettsége például szoros kapcsolatban áll a családban található könyvek számával, a család anyagi helyzetével, de befolyásolja a gyerek tanulási motivációját, a választott iskola típusát és minőségét is. A családi jellemzőket a köztük lévő szoros kapcsolat miatt célszerű egy közös mutatóba összevonni. Ez a mutató a tanuló hozottérték-indexe (HÉI), amelyet a szülők iskolai végzettsége, illetve a család anyagi helyzetét jellemző tárgyak és a tanulást segítő eszközök léte vagy hiánya alapján alakítottunk ki. A HÉI fejezi ki a tanulási háttér minőségét, a tanuló lehetőségeit, amelyhez képest megállapítható az iskola által hozzáadott pedagógiai érték. A hozzáadott pedagógiai érték vizsgálatakor nem az iskolák kimeneti eredményeit (továbbtanulási vagy nyelvvizsgaeredmények) tekintjük az iskolai siker fokmérőjének, nem eszerint rangsoroljuk őket, hanem azt értékeljük, hogy a tanulók milyen teljesítményt érnek el szocioökonómiai hátterük tükrében.

A számításoknál törekedtünk arra, hogy olyan univerzális indexet hozzunk létre, amely általánosan használható minden évfolyamon, és az elkövetkező évek felméréseiben is. A tanulói háttérkérdőív kérdései közül többváltozós lineáris regresszióval és faktorelemzéssel választottuk ki azokat a változókat, amelyek mind a szövegértési, mind a matematikateszt esetében leginkább befolyásolták a tanulók eredményeit a vizsgált évfolyamokon. Ezek a következők: a szülők iskolai végzettsége, a család könyveinek száma; a tanuló rendelkezik-e saját könyvekkel; a család birtokában van-e számítógép, illetve autó. E változók különböző súllyal vett összege a hozottérték-index. Az értelmezés megkönnyítése érdekében az index értékét lineáris transzformációval 0 átlagúvá és 1 szórásúvá alakítottuk külön-külön, mindhárom évfolyamon. Ez persze azt is eredményezi, hogy a három évfolyam indexértékei nem hasonlíthatóak össze, például egy 0 HÉI-vel rendelkező 10. évfolyamos tanuló valamennyire jobb háttérrel rendelkezik, mint egy 0 HÉI-vel rendelkező 6.-os. A közös elemekből álló és megegyező súlyú indexképzésre azért volt mégis szükség, mert így az évfolyamokon belül sokkal egyszerűbbé válik az adatok értelmezése, ha pedig az évfolyamok vagy a következő évek méréseinek eredményeit szeretnénk összevetni, még mindig visszatérhetünk a közös, standardizálás előtti alakhoz.

A 2. táblázatban található néhány példa arra, hogy mit jelenthet, ha egy tanuló 0, –1, illetve 1 HÉI-vel rendelkezik a 6., 8., illetve 10. évfolyamon, azaz mit jelent, ha átlagos, 1 szórásnyival az átlag alatti, illetve 1 szórásnyival az átlag feletti hozottérték-indexszel rendelkezik.

A hozzáadott pedagógiai érték számítása

A kompetenciamérések során kísérletet tettünk arra, hogy az iskolák teljesítményét a tanulók családi háttere alapján jellemezzük. A hozzáadott pedagógiai érték azt méri, hogy az iskola jobb, hasonló vagy gyengébb eredményt ért-e el, mint a hasonló hátterű diákokat oktató, „átlagos” iskolák. A hozzáadott pedagógiai érték független attól, hogy a teljesítmény meghaladja az országos átlagot, vagy alatta marad annak. Például az 500-as országos átlagértékhez képest 450 pontot teljesítő iskola 40 pontot adhatott 410 pontos becsült teljesítményértékéhez, és lehet, hogy az 570 pontos eredményt elérő iskola 35 ponttal elmarad 605 pontos becsült teljesítményétől.

A lineáris regresszió használatával minden iskola esetében meg tudjuk becsülni, hogy tanulói hogyan teljesítettek a hozottérték-indexhez viszonyítva, az országos adatok alapján elvárt eredményhez képest. A lineáris regressziók esetén abból az alapfeltevésből indulunk ki, hogy a vizsgált háttérváltozó lineáris módon hat a képességre, azaz a háttérváltozó függvényében ábrázolva a képességeket, a pontok egy egyenes mentén helyezkednek el. Az ettől való eltérések pedig a háttérváltozótól független hatások következményei. Tehát ebben az esetben az iskola átlagos teljesítményét két komponensre bontottuk fel: a hátteréből adódó várható teljesítményre, valamint a szocioökonómiai hatásoktól független tényleges teljesítmény és a várható teljesítmény különbségére (amelyet hozzáadott pedagógiai értéknek nevezünk). Ez a különbség több dologból eredhet, például az iskola képes kompenzálni a családi háttérből eredő esetleges hátrányokat, vagy hátrányos helyzetű tehetséges diákokat oktat, ezek a tényezők ugyanis nem mérhetők a HÉI-vel.

A 8. ábrán a regressziós egyeneseket ábrázoltuk az egyes tesztek esetében. Feltüntettük az egyes iskolákat is: az iskolát jelző pont x-koordinátája a diákok átlagos hozottérték-indexe, y-koordinátája pedig a diákok átlagteljesítménye. Az egyenesekről leolvasható, hogy egységnyi növekedés a HÉI értékében átlagosan mekkora teljesítménynövekedést von maga után. Megfigyelhetjük azt is, hogy az iskolák hogyan helyezkednek el az egyeneshez képest. A regressziós egyenes felett található iskolák jobban teljesítettek, mint amit átlagos hozottérték-indexük alapján vártunk, tehát jobb eredményt sikerült elérniük, mint az iskolák többségének, ha azonos hátterű tanulókkal dolgoztak volna. Az eredményességnek sok oka lehet: az iskola felszereltsége, a tanárok felkészültsége, a tanulók motiváltsága, a felvételi szelekció, és szerepet játszhat benne a mintavételi és mérési hiba is. Az egyenes környezetében található iskolák tanulói a várakozásoknak megfelelően teljesítettek, az egyenes alatt található iskolák tanulói pedig eredménytelenebbek voltak annál, mint ami hátterük alapján várható lett volna.

8. ábra • A HÉI és a teljesítmény kapcsolata, valamint az iskolák elhelyezkedése a regressziós egyeneshez képest

Iskolai jellemzők

A mérés során megvizsgáltuk azokat a legfontosabb iskolai jellemzőket, amelyek magyarázzák az iskolák átlagteljesítményében mutatkozó különbségeket. Azt, hogy az iskola milyen mértékben tud hozzájárulni a különböző háttérrel és ismeretekkel rendelkező tanulók tudásának gyarapításához, alapvetően az iskola oktatási rendszeren belül elfoglalt helye és a működését befolyásoló körülmények határozzák meg. A teljesítményeket ezért régiók, településtípus és képzési típus szerinti bontásban is vizsgáltuk.

Az ország régiói közül a legjobb teljesítményeket a nyugat-dunántúli, a közép-magyarországi és a közép-dunántúli, a leggyengébbeket az észak-magyarországi és az észak-alföldi régiók érték el. A szélső értékek között matematikából a 6. évfolyamon 24, a 8.-on 29, a 10.-en pedig 28 pontnyi különbség van. Szintek szerint a legtöbb esetben átlagosan több mint 10%-kal magasabb a kettes szint alatt teljesítők aránya az észak-magyarországi és az észak-alföldi mint a három legmagasabb teljesítményt elért régióban. A szintek definíciói alapján azt mondhatjuk, hogy a kettes szint alatt teljesítő tanulók nem rendelkeznek a mindennapi életben való tájékozódáshoz szükséges képességekkel. Arányuk elsősorban a 10. évfolyamos tanulóknál jelent problémát, ahol az olyan körülmények befolyása, mint a tesztelési szituáció vagy a feladatok szokatlan volta kevésbé meghatározó, mint 6. és 8. osztályban, és az iskolának kevesebb tere van e tanulók felzárkóztatására, mint az alsóbb évfolyamokon.

A teljesítmények sorrendje hasonlóságot mutat az egyes térségek fejlettségét jellemző gazdasági mutatókkal, illetve a régió átlagos életkörülményeivel, amelyeket jelen esetben a HÉI reprezentál. Általában a legjobban és a leggyengébben teljesítő régiók rendelkeznek a legmagasabb, illetve a legalacsonyabb HÉI-vel.

Az iskolák székhelyéül szolgáló település típusa szerint is jelentős különbségeket találunk a tanulók teljesítményében. A nagyobbtól a kisebb települések felé haladva fokozatosan csökken a tanulók teljesítménye, és a hátrány a magasabb évfolyamok felé haladva nő. A 6. évfolyamon több mint másfélszer, a 8. évfolyamon több mint kétszer, a 10. évfolyamon pedig több mint háromszor kisebb egy községi iskolába járó tanuló esélye arra, hogy a képességskála felső két szintjét elérje, mint egy budapesti iskolába járó diáknak. (Bár ez utóbbi esetben figyelembe kell venni, hogy középfokon községekben a tanulók mindössze 2,1 százaléka tanul, mint ahogy arról sem szabad megfeledkeznünk, hogy a középfokú iskolák közül a gimnáziumok túlnyomórészt a nagyobb településeken – a fővárosban és a megyeszékhelyeken – találhatók.) Egy községben tanuló véletlenszerűen kiválasztott gyerek matematikából minden évfolyamon nagyobb valószínűséggel teljesít az alsó két, mint a felső két szinten. A teljesítménybéli különbségek összefüggnek azokkal a sajátosságokkal, amelyek az egyes településtípusokat jellemzik. A közigazgatási szempontból magasabb státusú települések iskoláiban általában magasabb a tanulói hozott érték a szülők jobb munkalehetőségeinek, a felsőfokú végzettséggel rendelkezők nagyobb arányának és a részben ezekből fakadó további előnyöknek köszönhetően. Ezzel szemben a községi iskolák hatékonyságát a kedvezőtlen szociális, foglalkoztatási és demográfiai viszonyok mellett az iskolák elégtelen felszereltsége és a megfelelő képzettségű pedagógusok hiánya is befolyásolhatja.

A különböző települések iskoláiba járó tanulók hozottérték-indexét vizsgálva azt látjuk, hogy a teljesítmények és a HÉI ugyanazt a mintázatot mutatják: a közigazgatási szempontból alacsonyabb beosztású települések felé haladva mindkettő értéke fokozatosan csökken. Ha azonban a HÉI-t állandó szinten tartjuk, a korábbi évek tapasztalataihoz hasonlóan, azt látjuk, hogy az azonos HÉI-vel rendelkező tanulók teljesítménye között a 6. és a 8. évfolyamon nincs szignifikáns különbség aszerint, hogy mekkora településen járnak iskolába. A HÉI és a teljesítmény közötti lineáris összefüggés paraméterei a 6. évfolyamon alig különböznek az egyes településtípusok esetében. A 8. évfolyamon elsősorban az alacsony és a magas HÉI-vel rendelkezők esetében valamivel jobban elkülönül egymástól a különböző településen lakó tanulók teljesítménye, de szignifikáns különbségekről ebben az esetben sem beszélhetünk. Mivel – mint már utaltunk rá – középfokon községben a tanulók mindössze 2,1 százaléka tanul, a 10. évfolyamosok teljesítményét az iskolatípussal összefüggésben elemeztük.

A 10. évfolyam esetében a tanulók teljesítményében tapasztalt különbségek jelentős része az iskolák közötti szinten jelentkezik. A tanulók teljesítményét alapvetően meghatározza az iskola típusa, amelyet a középfokú oktatásba való jelentkezéskor a tanulók választanak, képességeikre, motivációjukra vagy szüleik elvárására való tekintettel. Egy gimnáziumba járó tanuló várhatóan magasabb teljesítményt fog elérni, mint egy szakközépiskolába és még inkább, mint egy szakiskolába járó társa.

A gimnazisták és a szakiskolás tanulók között az elért teljesítményekben több mint másfél szórásnyi, szövegértésből 155, matematikából 153 pontnyi különbség van. Bár a gimnáziumok és a szakközépiskolák között is jelentős a különbség, az iskolatípusok közötti teljesítménykülönbséget láthatóan az határozza meg, hogy az iskola a képzés végén milyen végzettséget ad a tanulóinak. Míg a gimnazistáknak több mint a fele, a szakközépiskolásoknak a negyede a felső két szinten teljesít, addig a szakiskolásoknak csak kevesebb mint 3 százaléka ér el ilyen eredményt, és több mint 70 százaléka teljesít a 2. szint alatt.

A tanulók által választott iskolatípus szoros összefüggést mutat a HÉI nagyságával. A legkisebb HÉI-vel rendelkező tanulók nagy része szakiskolába, a legmagasabb indexszel rendelkezők elsősorban gimnáziumba járnak. A 2003-as kompetenciamérés adatai azt mutatták, hogy az érettségi a gimnazisták mindössze 5,9 százaléka számára jelenti az elérni kívánt legmagasabb végzettséget szemben a szakközépiskolások 34,1 százalékával, a többiek a felsőfokú végzettséget jelölték meg. A magas HÉI-vel rendelkező tanulók tehát elsősorban a felsőoktatásba való bejutást nagyobb eséllyel támogató gimnáziumot választják, az alacsony indexértéken elhelyezkedők viszont inkább egy szakma elsajátítására koncentrálnak, míg a közepes indexértékkel rendelkezők minimális célként az érettségit és egyfajta szakmai képzettséget választanak leginkább, amely a későbbi felsőfokú végzettség elérésének lehetőségét is nyitva hagyja.

A hozottérték-index nagysága tehát erősen befolyásolja az iskolaválasztást. Kérdés, hogy a tanuló teljesítménye az index meghatározott értékének vagy inkább az iskola által hozzáadott pedagógiai értéknek köszönhető. Ha az azonos HÉI-vel rendelkező, különböző képzésben részt vevő tanulók teljesítményét összehasonlítjuk, a különbségek továbbra is szignifikánsak maradnak. Az ugyanolyan otthoni körülményekkel rendelkező gimnazista és szakiskolás közül a gimnazista nagy valószínűséggel jobb eredmények elérésére képes. Persze e mögött nemcsak a gimnáziumi oktatás hatékonysága állhat, hanem az a tény is, hogy a gimnáziumok nagyobb számban vonzzák a tehetségesebb diákokat.

Az oktatási rendszer hatékonyságát mérő vizsgálatok, ilyen az Országos kompetenciamérés is, mind a szakmai, mind a szélesebb közvélemény körében kezdenek elfogadottá válni. A tanárok, tanítók számára ugyanis pontos visszajelzést adnak arról, hogy az iskola milyen eredménnyel közvetíti a társadalom által elvárt tudást, másrészt elősegítik a tanárok mérési-értékelési kultúrájának fejlődését. A mérések fontosak az oktatáspolitika irányítói számára is: az elemzett adatokból képet kaphatnak a tanítás-tanulás hatékonyságáról, a tananyag érvényességéről, így ezek alapján hozhatják meg döntéseiket a szükségesnek ítélt változtatásokról.