Az iskolai teljesítménymérések feldolgozására szolgáló programok

^[1]Bevezetés

Az ITEM-szoftvercsomagok - bár fő funkciójuk a tanulói teljesítmények mérése és az ennek nyomán alakuló adatbázisok kezelése - az adott iskola teljes tanuló- és pedagógus-nyilvántartását is kezelni tudják, és hatékonyan szolgálhatják a pedagógiai folyamat fejlesztését az adott intézményben. Az ITEM-programok működését hézagpótlónak tartom a mai magyar közoktatásban.

A mai magyar értékelési rendszer

Jelentősége vitathatatlan mind a közoktatás-irányításban, mind a minőségbiztosításban, mind az esélyegyenlőség terén.

"Az alapvető problémát az okozza, hogy megfelelő külső értékelési vagy belső önértékelési rendszer hiányában sem az egyes iskolák, sem pedig azok fenntartói nem kapnak visszajelzést arról, hogy mennyire sikeresek a veszélyeztetett vagy szociális értelemben alacsony státusú gyermekek felzárkóztatására irányuló erőfeszítéseik." (Halász 2000, 353.)

Az idézet nemcsak az értékelés jelentőségét, hanem a megfelelő értékelési rendszer hiányát is megfogalmazta ezen a területen.

 

Kinek a feladata a pedagógiai értékelés?

"Az egyes közoktatási intézmények szakmai munkájának értékelése az intézményfenntartók felelőssége." (1993. évi LXXIX. törvény a közoktatásról 102. § 2. bekezdés.) "Az iskolafenntartó a törvény értelmében háromféle eszközt alkalmazhat a feladat ellátására: (a) felhasználhatja a külső szakértők által végzett értékelések és mérések eredményeit, (b) önértékelést tartalmazó beszámolót kérhet az intézménytől, és (c) kikérheti az iskolaszék véleményét. (...)" (Halász 2000, 73.)

 

Ki végzi?

"Egy 1999-ben végzett kutatásból kiderült, hogy az elmúlt 10 évben a fenntartók 29%-a semmilyen intézményi ellenőrzést nem végzett. (...) A fenntartók által végzett összes intézményi ellenőrzés (...) átlagosan 27%-a volt szakmai jellegű." (Halász 2000, 73.)

"(A fenntartóknak) az iskolák szakmai eredményeiről általában nincs információjuk, ilyen információkat az oktatási költségvetés kialakításakor nem vesznek figyelembe." (Halász 1997, 68.)

 

Mennyire megbízhatóak az eredmények?

Nagyon kevés fenntartó végez szakmai jellegű értékelést, mégis előfordulnak ilyen vizsgálatok. Érdemes tehát megnézni, mennyire alkalmasak arra, hogy megalapozzák a költségvetési és egyéb döntéseket.

"Megfelelő adatok híján a tanulmányi teljesítmények időbeni változásait nem tudtuk kellően megbízható módon értékelni. Erre akkor lenne lehetőség, ha több olyan iskola lenne, amelyben több év elteltével, hasonló osztályokban és ugyanolyan eszközökkel megismételik a tanulmányi teljesítmények mérését." (11.) "a teljesítményeket mindig csak egy-két kiválasztott tantárgyban vizsgálhattuk; ezért nem biztos, hogy az adatok átfogó képet adnak a tanulói teljesítmény egészéről, a teljesítményeket egy-egy településnek mindig csak néhány iskolájában vizsgálhattuk, ezek az iskolák nem biztos, hogy a település egészét megfelelően reprezentálják, a tanulói teljesítményeket mindig az iskolák egyik véletlenül kiválasztott osztályában mérték: ez az osztály nem biztos, hogy az iskola egészét reprezentálja. ( ) a különböző időpontokban mért tanulói teljesítmények összehasonlítását megnehezíti, hogy ezeket csak kivételesen vizsgálták ismételten ugyanabban az iskolában." (14.) (Halász 1997.)

 

Ki igényli?

Úgy gondolom, örvendetes dolog, hogy a szakmai mérésekre mégis van igény a magyar közoktatásban. Ezt bizonyítja a következő adat.

"Az (megyei) intézetektől megrendelt mérések száma az 1998/99-es tanévben összesen 1667 volt. Többségüket az oktatási-nevelési intézmények rendelték meg (88,7%). (...) Jellemző, hogy az igényelt mérések 92%-a általános iskolai tanulókra irányult." (Halász 2000, 78.)

 

Milyen típusú értékelés a jellemző?

Holisztikus vagy analitikus?

Az iskolaértékelés hazánkban zömében holisztikus, személyközi értékelés. Ugyanakkor a társadalom egyre bizalmatlanabb ezzel a fajta értékeléssel szemben, analitikus, kvantitatív értékekkel akarná alátámasztani. Csakhogy, míg a holisztikus értékelésnek a pedagógushoz szóló üzenete az, hogy "te értesz hozzá, hiszen a tanári mesterség része az értékelés tudománya", addig az analitikus azt üzeni neki, hogy "nem értesz ehhez, tanuld meg a matematikai statisztikát". (Horváth Zs. 2001.)

 

Kritérium- vagy normaorientált?

A pedagógiai értékelés mára külön diszciplínává vált, amelynek több szintje, típusa és elmélete létezik. A mai magyar iskolákban a normaorientált értékelés jellemző, mellyel kapcsolatban az oktatási esélyegyenlőség szorgalmazóinak a következő a véleménye:

"Az (...) osztály ťszociális átlagáhozŤ mérő értékelés nemcsak hogy nem képes az egyes gyermekek nevelési szükségleteihez való alkalmazkodásra, de fel is erősíti azok tanulási eredményekben megmutatkozó hatását." (Halász 2000, 347.)

A kritériumorientált tesztelmélet a változások vizsgálatára épül. A pedagógiai folyamat döntő kérdése itt az, hogy hol tart az egyén a fejlődésben.

"...egyre nagyobb figyelmet kap az a szempont, hogy a teljesítményeket (...) egy-egy tanuló vagy iskola esetében saját maguk korábbi teljesítményéhez viszonyítsák. Más szóval a hozzáadott értéket vizsgálják." (Halász 2000, 307.)

Ez a módszer nemcsak a differenciált nevelésben lehet jelentős, hanem természetesen a minőségértékelésben is, hiszen az iskola, a pedagógus munkája csak így állapítható meg. Ahhoz azonban, hogy bármit tudjunk mondani a változásról (hozzáadott értékről), az kell, hogy a mérés ne egyszeri alkalom legyen, és az értékelési pontok összekapcsolhatók legyenek. Az egyre tekintélyesebb adatbázis kezelése pedig nem képzelhető el számítógép, adatbázis-kezelő program nélkül.

A pedagógusnak tehát a matematikai statisztikán kívül a számítógép, az adatbázis-kezelő program használatát is meg kell tanulnia. Ha így van, valószínűleg reménytelen a helyzet, mert az a módszer, hogy nem az iskolák, hanem a fenntartók megbízásából nem a pedagógusok, hanem a szakértők végzik a méréseket, nem képes megoldani a legfontosabbat: a rendszeres, tanulónkénti teljesítménykövetést minden területen. Márpedig egyedül ez biztosíthatja azt a lehetőséget, hogy a változást értékelhessük, és a megfelelő pillanatban beavatkozhassunk az esetleg megbicsakló fejlődésbe.

Mire van szükség?

A megoldás lehetősége: ITEM1 és ITEM2 programok

Koncepció

Úgy gondoljuk, hogy csak annak a mérésnek lehet értelme, amelynek a pedagógusok számára konkrét konzekvenciája van. Az, hogy egy iskola a matematikaeredményekben a 13. egy körzetben, önmagában nem értelmezhető. Ha a pedagógusnak módjában áll tanulónként megvizsgálni a sikertelenség okát, összehasonlítani az eredményeit a központi mutatókkal, akkor kiderülhet, mi a teendője, és akkor még időben jött figyelmeztetés lehet minden összevetés.

Hogy milyen eredményeket érhetünk el egy gyerekcsoporttal, azt számos tényező határozza meg. A pedagógiában általában háttértényezőkként vagy szocioökonómiai státusként összefoglalt mutatók jelentősen befolyásolhatják az eredményeket, ezért általában minden méréshez háttérkérdőíveken gyűjtik ezeket az adatokat. A körzetről általában nagyon sok információ kerül ilyenkor napvilágra, amelyek azonban nem kapcsolódnak az iskolai tantárgyi eredményekhez. Az ITEM-koncepcióban nem az a nóvum tehát, hogy figyeli ezeket, hanem hogy képes összekapcsolni a háttérre vonatkozó adatokat az adott iskolai teljesítménnyel.

A legújabb kutatások szerint már elegendő csak az anya (szegedi műhely) vagy csak az apa (Szociológiai Intézet) végzettségének a figyelembevétele ahhoz, hogy reálisan értékelhetők legyenek az eredmények. Mi a két szülő közös végzettségi kategóriáját (Sáska Géza), a település- és iskolatípust, valamint a nemet is számításba vesszük. Utóbbit szó szerint kell érteni: a szülői végzettségek számmal kifejezett értékeinek átlaga a mérési adattal együtt jut el a regionális központba, hogy ott a teljesítmények ezek szerint legyenek feldolgozhatók. Míg az iskola a tanulók, osztályok teljesítményeinek a követésére, a regionális központ az iskolák teljesítménykövetésére képes.

A külső és belső értékelés olyan harmonikus ötvözetét akartuk létrehozni, amelyben a belső értékelés a meghatározó elem. Ehhez lehetővé kellett tennünk, hogy a mérés pedagógiai eszközzé válhasson, amelynek azonban elengedhetetlen feltétele volt, hogy ne igényeljen matematikai statisztikai és számítógépes kompetenciát.

 

Adatbázis

Az adatbázis olyan strukturált tárolás, amely lehetővé teszi az új információk megfelelő helyre való kapcsolását és az új adatok értékeléséhez a régiek gyors visszakeresését.

Iskolai adatbázis tanulói teljesítmény értékeléséhez (ITEM1)

adatok típusa	az adatbázis adatai
	induláskor bekerülők	működés közben bekerülők
Az intézmény adatai	Település- és iskolatípus, pedagógusadatok, osztályok, tantárgyak osztályonként, tanulócsoportok.	Adatváltozások
A tanuló szociokulturális	Név, nem, születési adatok, évfolyam, osztály, iskolába iratkozás dátuma, szülők iskolai végzettsége.	Adatváltozások
Háttere		A teszt alapadatai (téma, itemszám és taxonomikus megoszlás, reliabilitás, szórás, hibaszázalék, nehézségi index) és tanulónkénti standard pont­szám, értelmi műveleti szintenkénti százalékos eredmények, a mérés idején érvényes tantárgyi osztályzatok.
A tanuló tantárgyi felkészültsége		Az iskolából való távozás dátuma (és helye).
Kérdőívvel névtelenül		A kérdőív alapadatai (téma, kérdésekhez tartozó pontszámok és konkrét témák, lehetséges tematikus kérdéscsoportok).
Gyűjthető adatok		A kérdések és kérdéscsoportok szerinti százalékos eredmények.
		Százalékos eredmények osztályonként a háttéradatok (a szülők végzettsége és a gyerek tanul­mányi átlaga) szerint is.

 

Regionális adatbázis iskolai teljesítmény értékeléséhez (ITEM2)

adatok típusa	az adatbázis adatai
	induláskor bekerülők	működés közben bekerülők
Az intézményhez tartozó iskolák adatai	Kódok, nevek, tanított tantárgyak	Adatváltozások
A tanulók szociokulturális háttere		Az iskolákból érkező, tesztre vonatkozó alapadatok és a (azonosítóval jelölt) tanulónkénti standard pontszám, értelmi műveleti szintenkénti százalékos eredmények, tantárgyi osztályzatok. A mért tanulókhoz tartozó háttéradatok.
A tanuló tantárgyi felkészültsége
Az iskolai teljesítményekmutatói		Tantárgyankénti standard pontszámok. Háttéradatokhoz tartozó tantárgyi teljesítmények. Az eredmények tantárgyi osztályzatonként.

 

Néhány képernyő

Két képernyőt választottam ki, mert a programok felhasználóbarát volta talán ezen a két központi jelentőségű képernyőn figyelhető meg a legközvetlenebbül mind programozási, mind statisztikai szempontból.

Az első képernyőn a teszt témáját és Bloom taxonómiaszintjeinek kezdőbetűjét írhatjuk minden itemhez (itemek karbantartása). Utóbbi nem kötelező, de azt a lehetőséget kínálja, hogy - ha beírjuk - ilyen szempontból is követheti a gyerekek teljesítményének változását az idők során.

A második képernyőn a teszteredmények (0 vagy 1 pontok) beírása után a jobb oldalon sorakozó gombokra klikkelve "dolgozhatjuk fel" a teszteket.

A tesztlapok bevitele

A tesztek feldolgozása

 

Néhány eredmény

A feldolgozás első eredményei a mérési jegyzőkönyvek.

Az 1. jegyzőkönyv a csoport itemenként elért pontszámait, az értelmi műveleti szintenkénti eredményeket és a teszt összes olyan mutatóját tartalmazza, amelyet a klasszikus tesztelmélet vizsgálni szokott.

A 2. jegyzőkönyv a 0-ra és 500-ra standardizált eredményeket mutatja be.

 

Néhány diagram

1. ábra

2. ábra

 

A tanuló eredményei időrendben

3. ábra

 

Az iskolák teljesítménye időrendben

4. ábra

 

A gyerekek teljesítményének követése a szülők végzettségének a tükrében

5. ábra

6. ábra

Összegzés

A hetvenes években világszerte megszületett a felismerés, hogy a tömeges iskolázás által felvetett problémák nagy része csak helyi szinten oldható meg. Ezért készültek a magtantervek, decentralizálódott az oktatás, megkezdődött a minőségbiztosítás hazánkban is.

Itt az ideje, hogy belássuk, a pedagógiai értékelés is csak helyi szinten (is) működve képes a tanulók változásának nyomon követésére, amely a minőségi oktatás-nevelés, a differenciálás és így az esélyegyenlőség biztosításának fontos feltétele. Az autonóm iskola és az iskolák szuverenitását nem sértő, de indokolt döntéseket hozó fenntartó számára sem képzelhető el más megoldás.

Irodalom

Benedek István: Feladatok, kompetenciák változása az intézményvezetői gyakorlatban. Új Pedagógiai Szemle, 1998. 10. sz.

Halász Gábor (szerk.): Az oktatás minősége és az önkormányzati oktatásirányítás, 1997. OKKER.

Halász Gábor (szerk.): Jelentés a magyar közoktatásról. Budapest, 2000, OKI.

Horváth Zsuzsa: Az értékelés holisztikus és analitikus szempontjai. Előadás az Oktatás - Kutatás - Értékeléscímű felolvasóülésen. Szeged, 2001. április 20.

Footnotes

1. ^ A cikk az V. Közoktatási Vezetésfejlesztési és Vezetőképzési Konferencián elhangzott előadás szövegének szerkesztett változatát tartalmazza (2001. 05. 02.).