Tiskovky označeny tagem ‘maturita z českého jazyka’

V podkladech pro tiskovou zprávu EDUinu vydanou dne 11. března 2019 s titulkem Analýza propadovosti – Hodnotitelé na školách dosahují stabilnějšího výsledku jsem se dopustil chyby, za kterou se čtenářům ještě jednou omlouvám. Spočívala v tom, že jsem hodnocení písemných prací z češtiny, které žáci psali v roce 2013 jako součást společné části maturitní zkoušky, zahrnul pod centrální hodnocení organizované Cermatem, ačkoli práce byly tehdy hodnoceny na školách. Zdrojová data jsem proto přepočítal. Jaké jsou tedy správné číselné výsledky téže jednoduché analýzy? Budou-li interpretovány stejně jako poprvé, co z původní tiskové zprávy už neplatí? A co naopak platí i nadále?

  1. Počty hodnocení na školách a v Centru se změnily ze 3 a 3 na 4 a 2

Původně stejné počty se tedy změnily na nepoměr, v němž srovnávání přestalo být korektní. U čtyř hodnocení totiž existuje ze zřejmých důvodů více příležitostí, aby maximální výkyv mezi jejich výsledky byl větší než u hodnocení dvou – zde například kvůli třikrát delšímu časovému rozpětí.

  1. Jaké jsou nové hodnoty maximálních výkyvů ve výsledcích hodnocení?

Největší výkyv propadovosti při hodnocení na školách je mezi začátkem a koncem čtyřletého období 2013–2016 a činí 0,86 procentního bodu. Rozdíl mezi oběma hodnotami propadovosti centrálního hodnocení za období 2017–2018 činí 0,50 procentního bodu. Po přepočtu velikosti těchto maximálních výkyvů na průměrný počet 66 693 žáků za sledované období 2013–2018 to znamená maximální výkyv 572 propadlíků při školním hodnocení a maximální výkyv 329 propadlíků při hodnocení centrálním.

  1. Důsledky pro titulek tiskové zprávy

Čistě technicky z toho vyplývá, že informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ není pravdivá. Korektnější srovnání ovšem bude možné už po letošním jarním kole. Přál bych maturantům, aby naznačený „trend“ meziročního nárůstu propadovosti při centrálním hodnocení nepokračoval. Bude-li však pokračovat, informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ jako interpretace těchto jednoduchých dat už za dva měsíce zase pravdivá bude. Rozdíl v propadovosti za tři ročníky by totiž činil 1,00 procentního bodu, a byl by tedy větší než maximální výkyv 0,86 procentního bodu zjištěný u čtyř ročníků hodnocení na školách.

  1. Důsledky pro argumentaci, že spory kvůli počtům propadlíků jsou absurdní

Zatímco původní rozdíl mezi počty propadlíků, které odpovídají maximálním výkyvům, činil 587 žáků, nyní činí pouze 243 žáků (572 – 329 = 243). Ukazuje se tedy, že zmíněné spory jsou z tohoto hlediska ještě výrazně absurdnější. Tento hlavní argument tiskové zprávy proto získal na síle.

  1. Tatáž argumentace vyjádřená jinými slovy

Protože jsem z komentářů pod tiskovou zprávou nabyl dojmu, že některým diskutujícím unikla podstata argumentace, dovolím si ji vysvětlit podrobněji.

Pokud je mi známo, neexistují žádné veřejně dostupné informace o dvojím nezávislém hodnocení reprezentativních vzorků písemných prací, které by umožnily korektně srovnat výsledky práce hodnotitelů na školách s výsledky práce centrálních hodnotitelů. Provedení takových hodnocení jsem v minulosti několikrát navrhoval, ale marně. Ukazatele typu „počet propadlíků“, případně „počet podaných odvolání“ jsou totiž jen velmi dílčí (například odvolání může podat každý maturant – důležité je, kolika odvoláním je nakonec vyhověno a z jakých důvodů). Počty propadnuvších prvomaturantů jsou nicméně veřejně dostupné v souvislé časové řadě a – upřímně řečeno – hodně žáků zajímá hlavně to, aby nepropadli.

Na jediné mně známé dvojí hodnocení vzorku písemných prací, jež ovšem pokládám za nekorektní, se odvolávala důvodová zpráva k novele školského zákona, kterou se s účinností od jara 2017 vrátilo hodnocení písemných prací do Centra. Tisková zpráva citovala má slova, jimiž jsem použitý argument označil za zfalšovaný. Odkaz na důvody, které pro to mám, je uveden na konci.  Z dnešního pohledu je pak možné dodat, že argument byl vyvrácen rovněž samotným návratem k centrálnímu hodnocení v roce 2017.

Tisková zpráva srovnávala rozdíl mezi maximálními výkyvy centrálního a školního hodnocení, který se zmenšil a po opravě činí pouhých 242 žáků. Centralisté volají po větším počtu propadlíků, který pokládají za přiměřenější úrovni některých písemných prací, s nimiž se při centrálním hodnocení setkávají. Absurditu sporů mezi centralisty a decentralisty spatřovala tisková zpráva v tom, že ve zdánlivě objektivním maturitním testu z češtiny jde o řádově větší výkyvy. Například v roce 2017 upravily dosud neznámé osoby bodování nejméně pěti uzavřených úloh. Podle tehdejšího ředitele Cermatu neexistují pro bodování úloh žádná pravidla. Cermat přitom zjevně nedodržuje ani zadání ministerstva školství, které požaduje meziročně srovnatelnou náročnost maturitního testu. Lze se o tom snadno přesvědčit v oficiálních analýzách výsledků maturitní zkoušky. Zmíněná úprava vedla ke změně v počtu propadlíků o 4 379 žáků. To je – po přepočtu na stejné počty maturujících žáků – dvacetkrát (!) více, než činí rozdíl ve výkyvech hodnocení písemných prací, o který se přou centralisté s decentralisty.

Za svými slovy citovanými na konci tiskové zprávy EDUinu z 11. března 2019 si proto i nadále stojím.

————————————————————————————————————————

Odůvodnění, proč nebyla oficiální argumentace pro návrat k centrálnímu hodnocení korektní,
naleznete například ZDE.

Tisková zpráva tehdejšího ředitele Cermatu, v níž konstatoval, že pro bodování testových úloh neexistují žádná pravidla, byla zveřejněna ZDE.

Oficiální grafy trendů vývoje výsledků maturitních testů z češtiny jsou na straně 12 analytického materiálu uveřejněného ZDE.

 

Přečtěte si celý článek

V Praze 11. 3. 2019 – Návrh novely školského zákona, která vrací hodnocení písemných prací do škol, vyvolal podrážděné reakce centralistů. Oficiální data zveřejněná na stránce www.novamaturita.cz ovšem ukazují, že v případě slohových prací z češtiny je ministerský návrh oprávněný. Meziroční výkyvy podílu propadlíků jsou totiž při hodnocení ve školách přibližně třikrát menší než při hodnocení v centru. Hodnocení na školách je tedy předvídatelnější a lépe odolává vnějším tlakům. Naznačuje to jednoduchý rozbor propadovosti provedený Oldřichem Botlíkem, který se dlouhodobě věnuje měření výsledků vzdělávání.

Vnější tlak na změny v počtu úspěšných či neúspěšných maturantů je patrný při pohledu na počty propadnuvších maturantů v jednotlivých letech, a to v různých částech společné části maturitní zkoušky. V souvislosti s písemnými pracemi lze poukázat například na rok 2017: bylo žádoucí prokázat, že centrální hodnotitelé nezachraňují před propadnutím maturanty, jejichž práce byly „na hraně“.

Níže uvádíme tabulku týkající se písemných prací z češtiny. V centru (Cermat) se hodnotilo v roce 2013 a potom znovu v letech 2017 a 2018 (šedý podklad), ve školách v období 2014–2016. Největší rozdíl mezi procenty propadovosti vyprodukovanými centrem činil 1,33 %, zatímco hodnocení na školách mělo výkyvy jen do rozsahu 0,45 %, tedy takřka třikrát menší (3 × 0,45 = 1,35).

Je užitečné představit si, co to znamená v počtech žáků. Protože v období 2013–2018 se pořád měnily počty žáků, kteří písemnou práci psali, je v následující tabulce uveden přepočet na průměrný počet žáků za období 2013–2018, a to se stejnými procenty propadovosti. Průměr je větší než počty žáků v posledních čtyřech ročnících. Největší rozdíl mezi počty propadlíků vyprodukovaných centrem činil 886 žáků, zatímco hodnocení na školách mělo výkyvy jen do rozsahu 299 žáků. Což je zase přibližně třikrát méně.

Obhájci centrálního hodnocení písemných prací z českého jazyka se tedy ve skutečnosti přou o pouhých 587 žáků (886 – 299 = 587), kteří nepropadli. Chtějí totiž, aby takoví žáci v důsledku návratu hodnocení do centra propadali. Přitom i zdánlivě objektivní maturitní test (neboť většinu „hodnocení“ provádí počítač) nabízí případným manipulacím v centru mnohem větší prostor. Například na jaře 2017 provedly dosud neznámé osoby meziroční změnu hodnocení nejméně pěti testových úloh standardního formátu, v jejímž důsledku propadlo v testu 5 896 žáků. Bez této změny by jich v testu propadlo 10 275, což je o 4 379 žáků více. Změna byla provedena v úlohách, kde byla možná technicky, a vedla například k tomu, že náhodným tipováním bylo možné získat 1 bod s pravděpodobností 15/16. Tím mj. zcela popřela oficiální důvod zavedení tzv. částečně otevřených úloh, jímž bylo zabránit úspěchu při náhodném tipování. V úlohách bez nabídky, v nichž žáci tvoří odpověď sami, se totiž tipovat nedá.

Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „U hodnocení písemných prací z češtiny se vždy mluvilo jen o spravedlivosti hodnocení těch žáků, jimž hrozilo propadnutí. Pohled na oficiální data ovšem potvrdil, že argumenty, které pomohly prosadit návrat hodnocení do centra počínaje rokem 2017, byly zfalšované: rozdíl v počtech propadlíků totiž nestojí za řeč. Při  hodnocení na školách zmizí nejen dodávání výsledků v posledních hodinách před ústní zkouškou. Zásadní změnou je především posílení odpovědnosti hodnotitelů: budou moci (a současně muset) svým žákům ukázat, které případné nedostatky jejich slohových prací vedly k horšímu hodnocení.

Bob Kartous, vedoucí analýzy a komunikace EDUin, řekl: „Opakovaně se ukazuje, že manipulace s hodnocením jednotlivých částí společné části maturit mají postupný cíl: nenápadně zvyšovat počet neúspěšných maturantů. Meziroční změny v hodnocení testů i v hodnocení písemných prací vedou v konečném důsledku k naplňování takového zadání. Samotný fakt narůstajícího počtu neúspěšných maturantů je poté naprosto diletantsky interpretován jako snižující se úroveň maturantů a je zneužíván k argumentaci pro zavádění dalších restrikcí, jako je cut-off score v přijímacích zkouškách na SŠ. Navrhovaná změna hodnotit písemné práce z českého jazyka ve školách může dílčím způsobem snížit tento uměle vyvolaný tlak a nespravedlnost, nicméně jde spíše o kosmetickou změnu. V případě maturitní zkoušky je nutné uvažovat o mnohem rozsáhlejších změnách, jak navrhujeme například v Auditu vzdělávacího systému v ČR.“

Přečtěte si celý článek

Bez zdrojových dat není možné analyzovat obtížnost zadání maturitní zkoušky a hodnotit objektivně úspěšnost maturantů

Praha 28. srpna  – Cermat by měl zpřístupnit anonymizovaná zdrojová data získaná během maturitních zkoušek i autorská odůvodnění správných řešení testových úloh, myslí si Oldřich Botlík, matematik a spoluautor projektu Kalibro. V otevřeném dopise vyzývá ministryni školství Kateřinu Valachovou, aby se zasadila o větší transparentnost státní maturity. Bude tak možné nejen předcházet negativním dopadům chyb a nejednoznačných zadání, které se v testech pravidelně objevují, ale především lépe porozumět výuce ve školách – jejím úspěchům i případným nedostatkům.

Anonymizace zdrojových dat je technicky triviální operace. Jednoduché je rovněž umístění anonymizovaných zdrojových dat na internet, aby si je kdokoli mohl kdykoli stáhnout a zkoumat podle vlastního uvážení.

Oldřich Botlík, spoluautor projektu Kalibro, v dopise uvedl: „Především navrhuji zpřístupnit anonymizovaná zdrojová data, tedy prvotní údaje o tom, jak jed­notliví (anonymní) žáci řešili každou z úloh maturitních testů, případně jak hodnotitelé posoudili přítomnost hodnocených znaků v písemných pracích. A to současně se zpřístupněním maturitních protokolů. Podle druhého návrhu by měl Cermat zveřejňovat současně s klíčem správných řešení rovněž jejich odůvodnění.“

Otevřený dopis ke stažení ZDE.

Plné znění otevřeného dopisu:

V Praze dne 21. srpna 2015

Vážená paní ministryně,

obracím se na Vás kvůli problému provázejícímu společnou část maturitní zkoušky od jejího spuště­ní ve školním roce 2010/11. Věřím, že se kromě dalších potíží českého školství budete zabývat také odstraněním nedostatků v procedurách zkoušky. Zbytečně poškozují konkrétní maturanty, podko­pávají důvěru mladých občanů a širší veřejnosti ve státní instituce a snižují prestiž maturity. Stát upírá svým občanům možnost samostatně posoudit, zda byly testové úlohy zadány korektně, zda maturitní testy vyhovují uznávaným standardům a zda mají srovnatelnou obtížnost jak navzá­jem, tak v dnes již pětileté časové řadě. Případně takové posouzení ztěžuje. Veřejnost k tomu nepotřebuje autoritativní stanoviska Cermatu a schvalovacích komisí, nýbrž objektivní informace. Ty jsou zatím nedostupné.

Proto Vám, veřejně, předkládám dva konstruktivní návrhy. Oba jsou podle mého názoru snadno a rychle proveditelné technicky. Jejich uskutečnění nevyžaduje změnu zákonů a vlastně téměř nic nestojí. Vrcholný politik, který se o ně zasadí, podpoří rozvoj otevřené občanské společnosti. Dá tím najevo svůj jasný politický názor, že veřejná správa má být co nejkvalitnější službou občanům.

Především navrhuji zpřístupnit anonymizovaná zdrojová data, tedy prvotní údaje o tom, jak jed­notliví (anonymní) žáci řešili každou z úloh maturitních testů, případně jak hodnotitelé posoudili přítomnost hodnocených znaků v písemných pracích. A to současně se zpřístupněním maturitních protokolů. Podle druhého návrhu by měl Cermat zveřejňovat současně s klíčem správných řešení rovněž jejich odůvodnění. Zatím to nedělá, i když autoři úloh jistě dodávají autorská řešení a jejich odůvodnění společně se zadáními. Odůvodňování odpovědí je cestou ke skutečnému porozumění nejen ve výuce. Posun od interního odůvodňování k veřejnému přivede autora úlohy k více pohledům na zadání, k případnému doladění formulací a v důsledku rovněž k preciznímu výběru a řazení argumentů dokazujících, že „správná“ odpověď je skutečně správná a jiná taková neexistuje.

Anonymizace zdrojových dat spočívá v odstranění identifikátorů žáků a v nahrazení identifikátorů škol několika kódy širokých skupin oborů studia. V obou případech se jedná o technicky triviální operace. Jednoduché je rovněž umístění anonymizovaných zdrojových dat na internet, aby si je kdokoli mohl kdykoli stáhnout a zkoumat podle vlastního uvážení. Data byla koneckonců pořízena z prostředků státního rozpočtu a představují velmi hodnotný zdroj didaktických informací, k tomuto účelu zřejmě nevyužívaný: veřejnost k nim nemá přístup. Zpřístupnění nebrání ani zákony. Anonymizovaná zdrojová data neobsahují osobní údaje. Nové ustanovení školského zákona, paragraf 183c omezující přístup k některým informacím, se týká jen reakce povinné osoby na žádost podanou podle zákona o svobodném přístupu k informacím. Daty disponuje MŠMT ČR, neboť je podle § 80 odst. 1 školského zákona správcem výsledků společné části maturitní zkoušky.

Během uplynulých čtyř let došlo v informovanosti o výsledcích společné části maturitní zkoušky k výraznému pokroku. Cermat dnes provozuje informační systém, který se velmi podobá tomu, jak Český statistický úřad informuje o výsledcích voleb. Ovšem se dvěma podstatnými nedostatky: maturitní systém je naplňován se zpožděním a obsahuje pouze agregovaná data, tedy například výsledky celých testů. Maturitní test však má složitější strukturu než hlasovací lístek pro volby třeba do Poslanecké sněmovny. Učitele, autory učebnic, pracovníky pedagogického výzkumu a občas i širokou veřejnost zajímají rovněž informace na úrovni jednotlivých úloh – nikoli celých testů.

Příkladem, kde chybějící informace způsobují problémy, je úloha 22 o papírové čepici z letošního testu Matematika, na jejíž správné řešení existují v odborné komunitě dva rozdílné názory. Ani odborná veřejnost ovšem neví, jak úlohu řešili žáci. Neví také, proč se vlastně autor úlohy domníval, že jeho řešení je jediné správné. Cermat a validační komise obvykle veřejně nezdůvodňují téměř nic – jejich rozhodnutí o kvalitě testových úloh, správných řešeních a způsobilosti testů jsou z velké části nepřezkoumatelná. Podle judikujícího usnesení rozšířeného senátu Nejvyššího správního soudu z 19. 8. 2014 bude v konečné instanci rozhodovat soud, který své rozhodnutí zdůvodnit musí. Než však k tomu případně dojde, vznikají vážné škody, jejichž výčtem jsem svůj dopis začal.

Sporné či jinak nekvalitní úlohy se ovšem v maturitních testech vyskytují opakovaně a i při sebepečlivější kontrole se to bude stávat rovněž v budoucnosti. Cesta k omezení negativních dopadů chyb, které se nepodaří odhalit včas, nevede přes popírání či bagatelizování nedostatků, přes utajování důležitých informací a úporné hájení nedostatečně podložených stanovisek. Vede přes výrazně vyšší transparentnost všech procedur, jež společnou část maturitní zkoušky provázejí. Proto je třeba zajistit, aby se veřejná diskuse o maturitních úlohách mohla opírat jak o podrobná data získaná během zkoušky, tak o autorská odůvodnění, korigovaná případně validační komisí. A to vzápětí po zpřístupnění maturitních protokolů.

 

Vážená paní ministryně, k prověření detailů obou návrhů máte nepochybně lepší možnosti než já. Nejspíš se přitom setkáte s námitkami, že to nejde. Podobně ovšem před pěti lety „nešlo“ umístit na internet znění testů a před čtyřmi „nešlo“ zveřejnit složení validačních komisí. Zcela také selhala tříletá strategie MŠMT ČR v soudních sporech s maturanty: názor Cermatu (a ministerstva školství) na správnost řešení testových úloh bude před soudem i nadále pouze názorem žalované strany. Ke svým návrhům se proto nad relevantními námitkami rád vrátím a pomůžu hledat průchodné řešení.

S pozdravem

Oldřich Botlík

Přečtěte si celý článek