A vizsgafeladat fejlesztésének folyamata és kritériumai

A minőség fogalma a vizsgáztatásban

A pedagógiai mérés szakterülete hihetetlenül sokat fejlődött az elmúlt évtizedekben. Olyan módszerek és technikák állnak már rendelkezésünkre, amelyekre 10-15 évvel ezelőtt még nem gondoltunk, olyan problémákat próbálunk megoldani, amelyeket korábban észre sem vettünk, és olyan minőségi elvárásokat támasztunk a mérőeszközökkel szemben, amelyekre korábban nem volt példa. A vizsgák, illetve a pedagógiai mérőeszközök minőségéről is sokat tudunk, és a nagy nemzetközi mérések, illetve a különböző vizsgák tapasztalatai alapján elég jól azonosíthatók azok a módszerek, amelyekkel egy mérés különböző fázisaiban javítani lehet a minőségen. Természetesen minden esetben alapos mérlegelést igényel, hogy a rendelkezésre álló lehetőségek közül melyeket lehet vagy érdemes ténylegesen alkalmazni az adott szituációban.

Egy viszonylag közismert területről származó példa érzékeltetheti a problémát: milyen eszközökkel lehet a vizsgadolgozatok értékelésének minőségét befolyásolni. Szervezési szempontból a legegyszerűbb megoldás, ha a felkészítő tanár maga értékeli a dolgozatokat, központi útmutató nélkül (így értékelték korábban az érettségi dolgozatokat is). Ennél megbízhatóbb eredmények érhetők el, ha a tanárnak egy központi értékelési útmutató is a rendelkezésére áll, amely egyrészt segíti a munkáját, másrészt megköti a kezét. Megbízhatósági szempontból magasabb fokozatot jelent, ha nem a felkészítő tanár értékeli a dolgozatokat, hanem egy külső értékelő, hiszen a felkészítő tanár nehezen tud elszakadni a többéves együttműködés tapasztalatától, nehezen tudja az adott vizsgán született eredményeket függetleníteni a tanuló korábbi, folyamatos teljesítményétől, továbbá bizonyos értelemben a saját munkáját is minősíti, amikor a tanítványa vizsgadolgozatát értékeli. Az értékelés minőségén sokat lehet javítani az értékelők képzésével, és még megbízhatóbb az eredmény, ha két értékelő vesz részt a munkában, egymástól függetlenül dolgozva, egymást is ellenőrizve és szükség esetén korrigálva. Természetesen sok további körülmény és feltétel is segítheti az értékelés megbízhatóságát, de az említettek alapján felállíthatunk egy kicsit leegyszerűsített minőségi skálát (1. ábra).

1. ábra • Az értékelés minőségi elemei

Az 1. ábrán jól látható, hogyan javítható az értékelés megbízhatósága, ám egyúttal emelkedik az értékelés költsége, és a szervezés is bonyolultabbá válik. A költségek és a szervezési háttér igénye nem minden elemnél növekszik azonos mértékben. Míg például a központi értékelési útmutató elkészítése a vizsgafeladatok kidolgozásához képest nem igényel jelentős befektetést, addig a vizsgáztatói képzés, különösen ha sok vizsgáztató érintett, már komoly ráfordítással jár, a kettős javítás pedig értelemszerűen megduplázza a költségeket.

Egy új vizsga bevezetésekor tehát az igények és a lehetőségek alapos mérlegelése alapján kell megtalálni az adott helyzetnek legmegfelelőbb szakmai eljárásokat. Nyilvánvalóan nem tekinthetjük tehát az egyik vagy a másik megoldást egyedüli jó lehetőségnek, de arra mindenképpen szükség van, hogy a vizsgát alkalmazók és felhasználók tisztában legyenek azzal, hogy ezen a skálán hol helyezkedik el a választott eljárási mód, és ennek milyen következményei lehetnek. Tehát ha alapvetően pedagógiai okból, de a szervezés megkönnyítése miatt is úgy döntenek – mint például a középszintű érettségi vizsga esetében –, hogy a felkészítő tanár értékel a központi útmutató segítségével, akkor megbízhatósági szempontból viszonylag alacsony fokozatot választottak, tehát érdemes ennek a következményeit elemezni, és a felmerülő problémák kezelésére felkészülni.

A vizsgafeladatok jellemzői

Az új érettségi vizsga lebonyolítási rendje kialakult már, ugyanakkor a vizsgaanyagok előkészítésének folyamata sok szempontból kialakulatlan még. Érdemes tehát a korábbi példa alapján végiggondolni, hogy milyen minőségi elemek léphetnek be a folyamatba, ehhez milyen ráfordítások szükségesek, illetve milyen kockázatokat jelent, ha a vizsgafeladatok előkészítésekor megelégszünk a minőségi skála valamelyik alacsonyabb fokozatával.

Magyarországon eddig is volt érettségi vizsga, ezt és a felvételi vizsgát is hasonló módon készítették elő. Ebben a tradicionális vizsga-előkészítési folyamatban egy szakmai bizottság kapott megbízást a feladatsorok összeállítására, a bizottságban részt vevő szakemberek valamilyen szakmai logika alapján felosztották az anyagot, megírták a feladatokat, és kölcsönösen ellenőrizték egymást. Ebben a rendszerben mindig teljes feladatsorok készültek, mindig az éppen következő vizsgát készítették elő, és ezért a logisztikai feladatok időigénye volt a meghatározó. Azaz megbízható ráhagyásokkal megtervezték, hogy mennyi időt igényel a feladatok szállítása, csomagolása, nyomtatása, és a fennmaradó időt lehetett a szakmai munkára fordítani. A szakmai fejlesztőmunkán belül tehát nem azonosítottak szakaszokat, és nem rendeltek hozzá időszükségletet.

A kérdés tehát az, hogy ez a „klasszikus” vizsgakészítési mód az új érettségi vizsga esetében is alkalmas-e a feladatsorok előkészítésére. A kérdés megválaszolásához először a feladatokat kell alaposabban szemügyre vennünk. Az érettségi vizsgára jellemző új szemlélet, a képesség- és készségmérés előtérbe kerülése nagyon komoly hatással van a vizsgán felhasznált feladatok tulajdonságaira is. Az egyik újdonság, hogy sok feladatforrásanyag alapján készül, ez lehet valamilyen szöveg, amelynek a megértése vagy elemzése a feladat. Mindenképpen fontos azonban megemlíteni, hogy a szövegértési feladatok nemcsak az anyanyelvi vagy az idegen nyelvi feladatsorokban kaptak helyet, hanem más tantárgyakban is. Például a természettudományokban is találhatók olyan feladatok, amelyek megoldásához egy szöveget kell megérteni és értelmezni. A másik lehetőség, hogy a kiinduló forrás alapján valamilyen szövegalkotási feladatot kell megoldani, és erre szintén nem csak a nyelvi feladatsorokban van példa. Forrásanyagok lehetnek még a képek, ábrák, karikatúrák vagy grafikonok. A megfelelő forrásanyag megtalálása mindenképpen szakértelmet igényel, és többnyire idő- és eszközigényes feladat.

Sok feladat kapcsolható valamilyen reális élethelyzethez: a feladatban valamilyen konkrét életszerű problémát írnak le, a vizsgázónak pedig az a dolga, hogy a tanult ismereteket alkalmazva megoldja ezt a problémát.

A vizsga alapjául részletes dokumentáció szolgál, így a vizsgafeladatok egyik fontos jellemzője, hogy egyértelműen kapcsolódnak a vizsgakövetelményekhez. A részletes vizsgakövetelmények léte ugyanis kötelezettséget jelent a vizsgafeladatok készítői számára: minden egyes feladatról meg kell tudni mondani, hogy mit mér. A feladatok mérési céljának meghatározásához a feladatok nagyon alapos tartalmi elemzésére van szükség, és ez az eljárás nagyon tudatos, szakszerű feladatfejlesztői magatartást igényel.

A feladatok több képességszintet mérnek, a feladatsorok feladattipológiailag sokkal változatosabbak, mint korábban, és sok nyitottabb feladattípust tartalmaznak. A feladatok készítői számára az is komoly kötelezettséget jelent, hogy a vizsgához központi értékelési útmutató tartozik. Ezért ugyanis minden egyes feladathoz olyan értékelési útmutatót kell készíteni, amelynek segítségével az értékelő tanár minden felmerülő megoldást kezelni tud. Ez a kötelezettség pedig éppen a nyitottabb feladatoknál sok nehézséggel jár, mert ezek a feladatok állásfoglalást, rövid vagy hosszabb szöveges választ igényelnek, ezért sok értékelési problémát vetnek föl.

Végezetül a feladatok fontos jellemzője, hogy általában sok részből állnak (például utasítás, szöveg, ábra, válasz helye, az értékeléshez fenntartott hely), és ezek egymáshoz kapcsolódásának is jelentősége van. A feladatok vizuális megjelenési formája tehát jelentősen eltér a korábbiaktól.

A vizsgafeladatok jellemzőiből következik, hogy a feladatkészítés során számtalan olyan hibalehetőség is megjelenik, amely a korábbi feladatsorok esetében nem jelentett komolyabb veszélyt. A hibalehetőségek előzetes számbavétele azért fontos, mert a feladatkészítési folyamatot úgy kell megtervezni, hogy lehetőséget teremtsen a lehető legtöbb hiba előzetes kiszűrésére, így azok ne a vizsgaanyagok felhasználásakor bukkanjanak fel meglepetésszerűen.

A feladatok első változatainak elkészülte után nagyon gyakran azzal kell szembesülni, hogy a felhasznált forrásanyag nem alkalmas a feladatkészítéshez, illetve hasonlóan gyakori jelenség, hogy a feladatban vázoltreális élethelyzet vagy tevékenység nem jó (nem felel meg a vizsgázók életkori sajátosságainak, vagy komoly háttértudást igényel). E két gyakori hibának komoly jelentősége van a vizsgakészítés szempontjából, mert általában nem javítható, tehát ha a forrásanyag vagy az alaphelyzet nem jó, akkor a feladatot többnyire ki kell selejtezni. Az ilyen típusú „veszteségre” eleve számítani kell, tehát a szükségesnél több feladatot kell íratni.

Mivel a feladatok sok esetben valamilyen szituációba ágyazva jelennek meg, az utasítások, feladatleírások általában bonyolultabbak, ezért gyakran előfordul, hogy a feladat félreérthető, azaz nem világos a vizsgázó számára, hogy mi a teendője.

A feladatok vizsgakövetelményekhez kapcsolódása miatt nagyon tudatos vizsgakészítői magatartásra van szükség: minden egyes feladatnál tisztázni kell annak mérési célját, és azt alaposan mérlegelni kell a feladatsorok szerkesztésekor is. Ez egyben a feladatok egyik leggyakoribb – igaz többnyire rejtett – hibája is: a feladat mást mér, mint amire szánták (például háttértudást vagy más képességterületet), vagy nem azonosítható a mérési célja. A „laikus” vizsgakészítés egyik jellemzője, hogy egy-egy tetszetős forrásanyaghoz egy-egy látványos vagy érdekes feladat készül, majd az ilyen módon összegyűlt anyagot szerkesztik feladatsorrá anélkül, hogy a mérési céllal alaposabban foglalkoznának. A tudatos vizsgakészítés fő ismérve azonban éppen az, hogy a mérési célból kiindulva próbál eszközöket és technikákat találni ahhoz, hogy pontosan azt mérje meg, amit a vizsgakövetelményekben célul tűzött ki.

A feladatok több képességszintet mérnek, és ez is komoly veszélyforrást jelent: az elkészült feladat szintje nem mindig felel meg a vizsgaleírásban megfogalmazott követelményeknek. Ha a mérés tartalom alapú, akkor az eltérő szintek még önmagukban nem jelentenek komoly hibaforrást, hiszen a megfelelő listák alapján ellenőrizhető, hogy az adott feladat – témája alapján – melyik szinthez tartozik. Ha azonban képességeket kívánunk mérni különböző szinteken, akkor nagy a tévedés kockázata. Egy-egy feladat nehézségi szintje csak alaposabb elemzéssel, illetve kipróbálással határozható meg.

Nagyon gyakran előfordul a mérésre szánt feladatoknál, hogy a feladatnak esetleg nincs egyértelmű megoldása, vagy a megadott megoldáson kívül más is elképzelhető. Ez viszonylag könnyen ellenőrizhető is, hiszen ha többen megoldják a feladatot, akkor kiderül, hogy a felmerült megoldási lehetőségek egybeesnek-e az értékelési útmutatóban megadottal. Az új érettségi esetében az ilyen típusú hibák előfordulásának lényegesen nagyobb a kockázata, hiszen a feladatsorok több nyitott feladattípust tartalmaznak, márpedig ezeknél nagyobb a több megoldás valószínűsége, azaz gyakran számítani lehet arra, hogy a leggondosabb előkészítés mellett is megjelennek újabb változatok.

Az új érettségiben nemcsak a tanulók tevékenysége bonyolultabb, hanem az értékelő tanáré is. A mérőeszközök feladattipológiai gazdagodása azt is jelenti, hogy az értékelőtől többféle tevékenységet várnak el, az új vizsga sok esetben a korábbitól jelentősen eltérő értékelési technikákat és attitűdöket igényel. Az értékelési útmutatók ezért bonyolultabbak és hosszabbak, és ebből komoly félreértések is adódhatnak.

További számtalan hibalehetőség képzelhető el még. Ezek közül kiemelkedik például az, hogy a vizuálisan terheltebb, zsúfoltabb feladatok esetében megnő az olyan típusú hibák esélye, ahol a különböző feladatrészek egymáshoz való viszonya nem áttekinthető, vagy nincs elég hely a feladat megoldására stb. Érdemes ezért a feladatsorok külső szerkesztését önálló szakasznak tekinteni, ahhoz megfelelő korrektúrafázisokat rendelni és a munkához szakembereket igénybe venni.

A feladatkészítés folyamata

A felsorolt hibalehetőségek alapján joggal merülhet fel a kérdés, hogyan lehet a vizsgakészítés folyamatát úgy kialakítani, hogy még nagyobb esély legyen a feladatok tökéletesítésére. Jól látható ugyanis, hogy bizonyos feladatkészítési hiányosságok egyszerű ellenőrzéssel is felfedezhetők, de vannak olyan nehezebben feltárható területek, mint például a mérési cél, a feladat szintje, az elfogadható megoldások köre, amelyek tökéletesítése alaposabb elemzést igényel. A korábban leírt tradicionális vizsgakészítési mód a nyilvánvaló hibák ellenőrzésére alkalmas ugyan, de általában nem teszi lehetővé a rejtettebb hibák feltárását, így alapvetően bizonytalan vizsgaminőséget eredményez. A különböző vizsgakészítő intézmények tapasztalata, továbbá a nagy nemzetközi mérések gyakorlata alapján megfogalmazhatók olyan módszerek, amelyekkel a folyamat megbízhatóbbá tehető (2. ábra), és az itt felsorolt elemek jó részét az érettségi vizsga fejlesztése során ki is lehetett próbálni.

2. ábra • A feladatkészítés minőségi elemei

Az egyik nagyon fontos lehetőség a feladatfejlesztési folyamat és a feladatok minősége érdekében a bizottsági munka teljes átértelmezése. A vizsgafejlesztés során ezt bizottsági lektorálásnak neveztük, amelynek semmi köze a lektorálás hagyományos értelméhez (valaki elolvas egy produktumot, leírja róla a véleményét, majd visszaadja a szerzőnek). Ebben a folyamatban a hagyományos vizsgakészítési eljáráshoz képest lényegesen többször találkoznak a bizottság résztvevői, és egy-egy megbeszélés során kevesebb feladattal foglalkoznak. Így jut idő a feladatok alaposabb elemzésére. Ráadásul ez az eljárás arra is lehetőséget teremt, hogy egy-egy feladatot különböző elemzési szempontok alapján többször is kézbe vegyünk, illetve a munka természetes velejárója, hogy módosítások esetén a feladat újra és újra a bizottság elé kerül. Az érettségi vizsga fejlesztése során nem volt ritkaság, hogy egy-egy feladat 5-6-szor is a bizottság elé került, mielőtt véglegesítettük.

Sok helyen alkalmazzák a többlépcsős fejlesztési folyamatot is. Ennek egyik leglényegesebb eleme, hogy nem feladatsorokat készítenek elő, hanem először csak különálló feladatokat. A feladatsorok összeszerkesztésére csak akkor kerül sor, amikor a feladatok önmagukban, tehát a környezetük ismerete nélkül már jónak tekinthetők. Ilyen módon elkerülhető számtalan minőségi kompromisszum: gyakran előfordul ugyanis, hogy a feladatsorok szerkesztésekor egy-egy feladat fogyatékosságát egy másik feladattal próbálják kompenzálni. E folyamat másik fontos eleme, hogy több szakember többféle minőségben vesz részt a munkában, és különböző fázisokban kapcsolódnak be, amikor is „friss szemmel” tudják nézni a feladatot. Például van olyan szakember, aki feladatokat ír, mások egy-egy részterülethez feladatokat lektorálnak és átdolgoznak, vagy az átdolgozást irányítják, és végül adott a feladatkészítő bizottság, amely már az összes feladatot ellenőrzi és elemzi a korábbi módon, és később a felhasználáshoz szükséges teljes feladatsorokat is összeszerkeszti. Ezen a módon sokkal könnyebb kiszűrni a félreérthető megfogalmazásokat, továbbá a sok új szakember új szempontokat hoz a folyamatba, és ettől a rejtett hibák is könnyebben észrevehetők.

A feladatok kipróbálásával is nagyon sokat lehet javítani a minőségükön. A kipróbálás során esély van arra, hogy a félreérthető megfogalmazásokat észrevegyük, és a rejtettebb feladatkészítési hibákra is fény derülhet (például kiugróan könnyű vagy nehéz itemek egy feladaton belül, nem egyértelmű itemek). A kipróbálás további jelentősége, hogy az értékelési útmutatón is sokat lehet javítani. A dolgozatokból gyűjteni lehet a megadottól eltérő megoldási lehetőségeket, olyan példákat, amelyek az értékelőknek problémákat okoztak, vagy adott esetben egyértelműen nem elfogadható megoldásokat jelentettek. A feladat előkészítése során a tanárok természetesen igyekeznek minden lehetséges megoldást feltárni, de természetesen a tanulói példák ettől jelentősen eltérhetnek. A nyitottabb feladatok (például esszé) értékelését nagyban segíthetik olyan „etalondolgozatok”, amelyeken a tesztkészítők demonstrálni tudják a különböző minőségi szinteket, az értékelő tanárok pedig ezekhez tudják viszonyítani a konkrét dolgozatokat.

A kismintás kipróbálással információ szerezhető a feladatok nehézségéről és a megoldásukhoz szükséges időről is. Igazán megbízható adatokat erről azonban csak a feladat nehézségének mérése nyújthat. Ez abban különbözik a kipróbálástól, hogy nagyobb, reprezentatív mintán próbálják ki a feladatokat, és igényesebb a feldolgozási mód is. Meg kell jegyezni azonban, hogy ez az eljárás annyira költséges, hogy érettségi vizsgát sehol sem készítenek ilyen módon. Ilyen típusú mérésre tehát az érettségi vizsga fejlesztése során sem került sor.

A vizsga értékelési rendszerének minőségi fokozatairól megállapítottuk, hogy a különböző minőségi elemek költségnövekedéssel és szervezési igénnyel járnak, mindez érvényes a vizsgakészítésre is. Ráadásul a többlépcsős fejlesztési folyamat bevezetése szemléletileg is teljesen mást feltételez, mint a „klasszikus” vizsgakészítési eljárás: ugyanis a feladatkészítés szakmai részét hosszú folyamatként értelmezi, fázisokra bontja, és az egyes fázisokhoz külön-külön rendel hozzá idő- és eszközigényt. Ezt a folyamatot gyakorlatilag úgy kell elképzelni, hogy a vizsgaközpontban folyamatosan sok feladat készül, azaz különböző vizsgaidőszakok előkészítése zajlik párhuzamosan, és sok szakember folytat egymáshoz kapcsolódóan különböző tevékenységeket. Ebben a folyamatban lényegesen korábban kezdik meg az előkészítést, természetes például, hogy a feladatíró által készített feladatokat adott esetben csak másfél-két év múlva használják fel a vizsgához. További fontos jellemző, hogy lényegesen több feladatot kell készíttetni ebben a rendszerben. Egyrészt a folyamatos minőségellenőrzés során elég sok feladatot ki kell selejtezni, másrészt az elkészült jó, adott esetben kipróbált feladatokból nem lehet automatikusan összeszerkeszteni egy-egy feladatsort.

Jól látható tehát, hogy a feladatok minőségét mindenképpen az segíti elő, ha a folyamat, amelyben készülnek, egyre hosszabbá és bonyolultabbá válik. Ez természetesen felveti a titkosság kérdését. Ösztönösen azt gondolhatnánk, hogy a titkosság igénye miatt a feladatkészítési folyamatot minél zártabbá, rövidebbé és egyszerűbbé kell tenni. Azt is figyelembe kell azonban vennünk, hogy ezen a módon lehet a legkevésbé jó feladatokat készíteni. Mivel a korábban említett minőségjavító módszereket sok vizsgán alkalmazzák, vannak olyan technikák, amelyekkel a titkosság kezelhető. Ebből a szempontból is nagyon előnyös a többlépcsős fejlesztési folyamat, hiszen például a feladatok kipróbálásának fázisában még egyáltalán nem látható, hogy az adott feladatok mikor és milyen feladatok társaságában kerülnek be egy feladatsorba. Sok helyen a kismintás kipróbálásokat például úgy végzik, hogy a tanulók nem is tudják, milyen célból kell megoldaniuk az adott feladatokat.

A fentiekből jól látszik, hogy a feladatsorok készítésekor alkalmazott minőségjavító módszerek jelentős változtatásokat igényelnek, ezeknek idő- és eszközigényük van, ami anyagi következményekkel jár. A gondolatsor utolsó elemeként vegyük tehát számba, milyen kockázatot kell vállalni akkor, ha a minőségi skálának valamilyen okból az alján maradunk, azaz nincs mód vagy szándék arra, hogy jelentősen eltérjünk a hagyományosnak tekinthető vizsgakészítési eljárástól. A feladatok lehetséges hibáinak elemzésekor kiderült, hogy több olyan rejtett hiba is előfordulhat, amelyeket egy egyszerű ellenőrzés nem feltétlenül tár fel. Ha a feladatnak ugyanis problematikus a szintje, a mérési célja, a forrása, a kiindulásul felhasznált reális élethelyzet, akkor többnyire olyan rejtett hibákkal állunk szemben, amelyek nem láthatók első ránézésre, ennek ellenére a feladat látszólag lehet jó, egyértelműen megoldható. Azaz egy egyszerű ellenőrzéssel ezek a hibák többnyire nem fedezhetők fel, és csak alaposabb elemzés tárhatja fel a súlyosabb problémákat. A „klasszikus” vizsgakészítési módszerben azonban általában nincs mód alaposabb elemzésre, ehhez hosszabb ideig tartó bizottsági szakaszra van szükség.

A rejtett hibákon túl további problémát jelent az is, hogy ha a feladatkészítők nem kapnak elegendő időt, akkor általában a felmerülő problémákat nem tudják szakszerűen megoldani, és „kreatív” problémamegoldásokhoz folyamodnak, ami általában jelentősen rontja a vizsgaminőséget. Márpedig a hagyományos rendszerben maradva mindenképpen a vizsgakészítésre szánható idő lerövidülésére kell számítani, hiszen az új érettségi rendszerben évente három vizsgaidőszak van.

Nézzünk néhány tipikus „kreatív” problémamegoldást. Utaltunk arra a jelenségre, hogy ha a feladathoz felhasznált forrásanyag nem megfelelő, akkor a feladatot általában nem lehet megmenteni. Ha azonban a feladatkészítő nincs abban a helyzetben, hogy a feladatot kiselejtezze, mert például nincs másik feladat, amelyet a helyére illeszthet a feladatsorba, akkor előfordul, hogy módosítja a forrást, és ilyen módon teszi használhatóvá a feladatot. Ez azonban különösen a szövegértési, szövegelemzési feladatoknál jelenthet nagyon jelentős problémát a mérési célok vonatkozásában. Mivel a vizsgázó képességeit valós élethelyzetben kívánjuk vizsgálni, ebből a szempontból lényeges, hogy az autentikus forráson ne változtassunk, ha azonban módosítjuk a forrást (például részben átírjuk a szöveget), akkor tulajdonképpen a valóságot igazítjuk a mérési céljainkhoz, és ez alapvetően ellentmond a vizsga alapelveinek.

Szintén gyakran fordul elő, hogy egy-egy feladat túl könnyű vagy túl nehéz. Bizonyos határok között természetesen van lehetőség a feladatnehézség módosítására, de sokszor ez sem elegendő. Ilyen esetekben az a szakszerű megoldás, ha az adott helyre más feladatot illesztünk a feladatsorba, ha azonban erre a feladatkészítőnek nincs módja, akkor szoktak élni a „kiegyenlítési” technikával, azaz a feladatsorba egy nehéz feladat mellé egy könnyűt szerkesztenek be. Ez abból a szempontból még védhető is, hogy ilyen módon a feladatsor átlagos teljesítettsége valószínűleg megfelelő lesz, hiszen a nehéz feladatot a vizsgázók várhatóan rosszul oldják majd meg, tehát alacsony teljesítettséget kapunk kicsi szórással, míg a könnyű feladat esetén ennek a fordítottja várható: magas teljesítmény, kicsi szórással, tehát az eredmények semlegesítik egymást. Azonban elég nyilvánvaló, hogy azokat a képességterületeket, amelyekre a két, egymást kiegyenlítő feladat vonatkozik, nem mérjük meg, így ezekről a területekről nem lesz információnk. Ilyen értelemben tehát a két feladat teljesen fölösleges a feladatsorban.

Gyakran előfordul, hogy a fejlesztési folyamat során kiderül, egy feladatnak több megoldása is van, és ilyenkor az újabb megoldást természetesen fel kell venni az értékelési útmutatóba. A feladatkészítési gyakorlat azonban azt mutatja, hogy ha ez ugyanazzal a feladattal többször is előfordul (azaz újabb és újabb megoldások merülnek fel), akkor a feladatot vagy annak érintett részét törölni kell, mert nagy az esély arra, hogy a felhasználáskor további megoldások születnek majd. Ilyen esetekben a „kreatív” problémamegoldás azt jelenti, hogy az útmutatóba még több megoldást vesznek fel, ezekkel a feladatokkal azonban általában baj van a vizsga során. Ilyenkor ugyanis olyan megoldásokkal szembesülhetnek az értékelők, amelyeket az útmutató nem tartalmaz. Ilyen helyzetekben pedig az értékelők két módon járnak el: egy részük elfogadja, hiszen a megoldás jó, bár az útmutatóban nem szerepel, más részük pedig nem fogadja el, mert – az előírásoknak megfelelően – az útmutatóhoz tartja magát. Ez tehát azt jelenti, hogy ugyanaz a vizsgázói megoldás két különböző értékelőnél különböző következménnyel és pontszámmal jár.

Ehhez hasonló jelenség, amikor egy feladat vagy annak egy része többszöri javítás ellenére sem jó. Ilyenkor is érdemes kihagyni a vonatkozó részt. Ha erre nincs mód, akkor általában módosítgatják a feladatot a lehetséges leadási határidőig, ám nagy valószínűséggel továbbra is félreérthető marad. Ilyen feladatok alkalmazása során nagyon sok olyan hibás tanulói megoldás születhet, amelyet a vizsgafeladat rossz minősége okoz, ez pedig a vizsgázó számára kifejezetten hátrányos.

Az érettségi vizsga fejlesztése során többször volt mód és szükség vizsgaanyagok készítésére (próbamérések, próbavizsgák), és ezek előkészítése különböző körülmények között történt, ezért a gyakorlatban is ellenőrizni tudtuk, hogy a felsorolt technikák hogyan változtatnak a feladatok minőségén. Az utólagos feladatelemzések alapján egyértelműen megállapítható, hogy amikor nem volt mód vagy idő ezeknek a bonyolultabb és hosszadalmasabb eljárásoknak az alkalmazására, akkor rosszabb volt a feladatok minősége. A rosszabb feladatminőség pedig többnyire egyfajta igazságtalanságot jelent: a tanuló azért hibázik, mert félreértett valamit, vagy pontot veszít – bár jó a megoldása –, mert a dolgozatát értékelő tanár hibázott.

Ez is arra utal tehát, hogy ha szervezési vagy anyagi okból az új érettségi vizsga feladatkészítési folyamatát nem sikerül megváltoztatni, akkor jelentős minőségi kockázatot kell vállalni. Tudomásul kell venni ugyanis, hogy a vizsgaleírások önmagukban nem garantálják a vizsgaminőséget. A vizsga tartalmának és formájának szakszerű leírása nem helyettesítheti azt a szakértelmet, amely a vizsgafeladatok készítéséhez szükséges. Ebből egyértelműen következik, hogy létre lehet hozni olyan feladatokat, akár teljes feladatsorokat is, amelyek ugyan megfelelnek a vizsgaleírásnak, de bizonytalan a mérési céljuk, a szintjük, az értékelésük, és ezeket nem lehet kiszűrni a vizsgaleírásokkal való egyszerű összevetés alapján.

A bizonytalan minőségű feladatsorok ráadásul nagyon erősen befolyásolhatják a vizsgáról alkotott képet is. Bármennyire szeretnénk ugyanis, hogy a felkészítő tanárok elsősorban a vizsgaleírásokból tájékozódjanak, sokszor inkább az éppen lezajlott vizsgák feladatsorai alapján teszik ezt. Azaz nem a részletes vizsgadokumentációt használják a tanulók felkészítéséhez, nem a kitűzött tanítási céljukat, a felhasznált tananyagokat és az alkalmazott módszereket vetik össze a vizsgadokumentációval, hanem az éppen lefutott feladatsorokat végeztetik el mechanikusan a tanulókkal, és ennek alapján fogalmaznak meg vizsgamegoldási stratégiákat. Ilyen értelemben a bizonytalan minőségű feladatsorok a felhasználók számára akár „felül is írhatják” a vizsgaleírásokat.

Ezért van szükség arra, hogy többet foglalkozzunk a feladatkészítés folyamatával és a feladatok minőségi kritériumaival. Az új feladatkészítési rendszer kialakításakor fontos lenne részletesen leírni azt a szakmai folyamatot, amelyen a feladatoknak át kell haladniuk, és olyan ellenőrzési lehetőségeket kellene beépíteni a folyamatba, amelyek garanciát jelenthetnek a vizsgaminőségre.