Tiskovky označeny tagem ‘CERMAT’

Přečtěte si rozbor aktuálního stavu a hlavních argumentů k otevírání dat ze státních zkoušek. EDUin se zvyšování transparentnosti společné části maturitní zkoušky a jednotných přijímacích zkoušek věnuje dlouhodobě. Tiskovou zprávu k tématu najdete ZDE, starší články a tiskové zprávy si můžete přečíst ZDE. Analýza je dostupná ke stažení ve formátu PDF.

  1. Pojmy a termíny

(A) Agregovaná data (podle Cermatu anonymizovaná data) – de facto informace o úspěšnosti jednotlivých úloh (resp. podúloh), obvykle tvořené informací o tom, kolik žáků vybralo jednotlivé nabízené položky, případně získalo 0, 1, 2, 3, 4 body v úlohách s tvorbou odpovědí.

(B) Částečně anonymizovaná prvotní data (podle Cermatu položková data) – každému žákovi odpovídá jeden záznam, žák má obvykle anonymní identifikátor (číslo), doplněný v některých případech o znak skupiny škol (gymnázium, SOŠ, SOU s maturitou, nástavby); záznam je tvořen částí kódovou a částí bodovou; v části kódové je u uzavřených úloh informace o vybrané položce (například A, B, C, …, nebo ANO či NE apod.), u úloh s tvorbou odpovědi je pouze kód odpovídající v zásadě uděleným bodům; v části bodové je „překlad“ kódů do bodového zisku.

Podle publikačního kalendáře se agregovaná, resp. částečně anonymizovaná prvotní data zveřejňují vždy k 31. 7.

Tento text se nezabývá tzv. výsledkovým portálem s celkovými výsledky celých škol, krajů, skupin oborů a jen částečně se dotýká analytických zpráv, které začal Cermat publikovat po změně vedení. Jde v něm primárně nikoli o výsledky celých testů (a třeba jednotlivých škol či jejich různých skupin), nýbrž o výsledky jednotlivých úloh a podúloh a jejich souvislosti.

  1. K argumentu „nemůžeme více zveřejňovat z důvodu ochrany osobních údajů“

Analogie s volebními daty

Český statistický úřad zveřejňuje na svých stránkách volební výsledky ve dvou verzích. Pro běž­ného uživatele jde o rozklikávací zdroj informací, ve kterém se uživatelsky vstřícným a pochopitel­ným způsobem může dostat třeba až k tomu, jak příslušné volby dopadly v jeho volebním okrsku. Pro odborně zdatnějšího uživatele má formu tzv. otevřených dat, která snadno umožňují strojové zpracování. Rozklikávací verze nemá v nástrojích Cermatu přímou analogii, neboť ani jeho agrego­vaná data (A) nejsou v uživatelsky vstřícné podobě – chybí v nich nejen uživatelský komfort, ale například také informace o tom, která nabízená položka v multiple-choice úlohách je správná. Jistou analogií volebních otevřených dat jsou částečně anonymizovaná prvotní data (B).

Analogie s volebními daty je užitečná také při uvažování o míře rizika, že zachování určitého údaje (například pohlaví) může v některých případech umožnit identifikaci žáka. Je třeba si uvědomit, že riziko je extrémně nízké a jde o střet základního práva na ochranu osobnosti s dalšími základními právy (právo na vzdělání a právo na informace, včetně práva na přiměřené informace o činnosti státních orgánů). Ústavní soud rozhoduje v případě střetu více základních práv důsledně tak, že je třeba pečlivě zvážit důležitost ochrany každého z nich. Právo na tajné hlasování u voleb zaručuje Listina základních práv a svobod. Když ale v malé vesničce dají všichni oprávnění voliči hlas stejné straně, z dat ČSÚ lze zjistit, jak volil Jan Novák, který tam žije. V posledních volbách do Sněmovny málem došlo k tomu, že se poslancem stal někdo, koho občané nezvolili. To by byl průšvih dotýka­jící se samotné podstaty demokratického státu. Příčinou bylo nezapočítávání přednostních hlasů udělených kandidátům, jejichž jména byla na druhé straně hlasovacího lístku. Veřejně dostupná a přiměřeně anonymizovaná volební data tomu pomohla zabránit – ovšem za cenu velmi malého rizika pro pana Nováka. Podobně je tomu například s uváděním informace o pohlaví žáků v anonymi­zovaných prvotních datech. Zatím tam není, ale být by tam měla, protože její přínos vyváží extrém­ně malé riziko, že kvůli tomu dojde k identifikaci výsledků Jana Nováka.

Závěr: Vymlouvat se, že data nelze zveřejňovat z důvodu, že by na nějaké malé škole nebo oboru mohl někdo identifikovat výsledky konkrétního žáka je přehnané a zavání účelovým alibismem. Jednak je to málo pravděpodobné, za druhé existuje analogie se zveřejňováním volebních výsledků, kde to nijak nevadí.

Data mají sloužit k vyšší transparentnosti, demokratické kontrole, zkvalitňování celého procesu a konkrétního znění úloh a tím i k vyšší důvěře společnosti v celý proces státního testování. Tento vyšší zájem převažuje nad zcela marginálním rizikem identifikace výsledků nějakého konkrétního žáka a tímto prizmatem by se k tomu, dle našeho názoru, mělo MŠMT postavit a využít tak mj. externí expertní analýzu (viz též následující právní rozbor).

  1. Právní stav

Východiskem je odstavec 4 článku 17 Listiny základních práv a svobod, který říká: Svobodu projevu a právo vyhledávat a šířit informace lze omezit zákonem, jde-li o opatření v demokratické společnosti nezbytná pro ochranu práv a svobod druhých, bezpečnost státu, veřejnou bezpečnost, ochranu veřejného zdraví a mravnosti.

Dává vlastně návod, jak posuzovat ustanovení zdánlivě silného § 183c školského zákona, které říká: Údaje získané při přípravě nebo zjišťování výsledků vzdělávání podle § 74, 78, § 171 odst. 2 a § 174 odst. 2 písm. a) a údaje vytvořené kombinací nebo vzájemným srovnáním těchto údajů právnická osoba nebo organizační složka státu, která s těmito údaji nakládá, neposkytuje žadatelům o informace podle zákona o svobodném přístupu k informacím, pokud údaje vypovídají o:

  1. a) výsledcích jednotlivých dětí, žáků a studentů,
  2. b) průměrných nebo souhrnných výsledcích za školu nebo více škol nebo za jinak vymezenou skupinu dětí, žáků nebo studentů,
  3. c) srovnání výsledků mezi školami nebo jinak vymezenými skupinami dětí, žáků nebo studentů,
  4. d) obsahu a formě zadání, která dosud nebyla využita v ukončeném zjišťování,
  5. e) připravovaných nebo používaných nástrojích pro zjišťování a zpracování výsledků vzdělávání.

Je vcelku zjevné, že bezpečnost státu, veřejnou bezpečnost, ochranu veřejného zdraví a mravnosti nemůže ohrozit poskytnutí žádného údaje spadajícího pod § 183c. Ochranu práv a svobod druhých může ohrozit poskytnutí údajů spadajících pod a), pokud by vypovídaly o výsledcích konkrétních (identifikovatelných) osob, a dále poskytnutí údajů spadajících pod d) a snad též e), neboť by to mohlo ohrozit spravedlivost zkoušek (například prozrazením obsahu jen někomu). Poskytnutí agregova­ných dat (A) a částečně anonymizovaných prvotních dat (B) pod § 183c zjevně nespadá, a to ani v případě, že částečně anonymizovaná prvotní data obsahují znak skupiny škol (gymná­zium, SOŠ, SOU s maturitou, nástavby) nebo údaj o pohlaví žáků (viz bod 2).

Proto také MŠMT již několikrát poskytlo částečně anonymizovaná prvotní data z přijímacích zkou­šek nebo z maturitní zkoušky na základě žádosti podle zákona o svobodném přístupu k informacím (dále jen Infozákon), a to včetně znaku skupiny škol (gymnázium, SOŠ, SOU s maturitou, nástavby).

Poznámka: K údaji o pohlaví viz dále.

Důležité je rovněž ustanovení § 2 odst. 4 správního řádu: Správní orgán dbá, aby přijaté řešení bylo v souladu s veřejným zájmem a aby odpovídalo okolnostem daného případu, jakož i na to, aby při rozhodování skutkově shodných nebo podobných případů nevznikaly nedůvodné rozdíly.

Závěr: Je zřejmé, že nechce-li se MŠMT dopustit porušení tohoto ustanovení správního řádu, resp. lhůty pro poskytnutí informace v Infozákoně, mohou být termíny zveřejnění dat uvedené v publikačním kalendáři (což je dokument bez jakékoli právní závaznosti vůči veřejnosti) výrazně překonány žádostí o poskytnutí příslušných dat podanou dostatečně včas podle Infozákona. Proto je zveřejňování dat vhodné automaticky rozšířit i o znak skupiny škol a pohlaví žáka.

  1. Zbytečné utajování ničí důvěru

Práce Cermatu je od spuštění státní maturity v roce 2011 provázena neochotou poskytovat veřejno­sti relevantní informace. V prvním ročníku bylo dokonce podáno trestní oznámení na statutární zástupce EDUinu za zveřejnění znění zadání právě použitých maturitních testů. Zprávy o výsled­cích státní maturity měly téměř pokaždé jinou strukturu a pracovaly dokonce s datovými soubory získanými v různých letech podle různých kritérií – nemožnost sestavit věrohodné datové řady byla očividná. V některých letech nedošlo ani ke zveřejnění klíčů správných řešení, jindy se Cermat snažil utajit manipulaci s hodnocením uzavřených úloh. Například na jaře 2017 došlo tímto způso­bem k umělému snížení obtížnosti testu o 4,6 %, což vedlo k tomu, že prvomaturantů propadlo namísto 10 275 jen 5 896. J. Zíka napsal, že „s ohledem na zkušenosti z minulých období maturitní zkoušky lze vždy očekávat záměrnou nebo nevědomou dezinterpretaci zveřejněných dat“. Byl to však on, kdo například ve dvou ročnících sdělil veřejnosti jen část pravdy: že v maturitním testu Matematika došlo k mírnému zlepšení průměrné úspěšnosti za všechny žáky. Neprozradil už ovšem, že se současně zhoršili jak gymnazisté, tak negymnazisté a ke zlepšení průměru za všechny žáky došlo jen díky tomu, že mezi nimi přibylo gymnazistů.

K pohlaví žáků

Jedním ze základních požadavků na jednotné testy (přijímací i maturitní) je, že nesmějí zvýhodňo­vat některé pohlaví. Podle oficiálních Cermatu dosáhly na jaře 2018 v přijímacích testech na osmi­letá gymnázia dívky o 2,1 procentního bodu lepšího výsledku v českém jazyce, ovšem v matematice byl naopak výrazně lepší průměrný výsledek chlapců. Rozdíl tam činil 5,8 procentního bodu. Je samozřejmě důležité vědět, v jakých typech úloh byly rozdíly mezi oběma pohlavími nejmenší a největší – například kvůli tomu, aby se na to mohli zaměřit učitelé. A také kvůli tomu, aby se podobný nedostatek v následujících přijímacích testech už nevyskytoval. MŠMT ovšem žádost o částečně anonymizovaná data s údajem o pohlaví odmítlo s odůvodněním, že taková data nejsou k dispozici, protože se tím nikdo nezabýval. Buď to není pravda, anebo k analýzám výsledků přistupuje Cermatu zcela diletantsky. Zatímco analytická zpráva Cermatu za první dva ročníky jednotných přijímacích zkoušek člení souhrnné výsledky testů i podle pohlaví, v letošních signálních výsledcích jednotných přijímaček už údaje o pohlaví chybějí. To budí podezření, že rozdíly výsledků mezi pohlavími jsou ještě větší než v minulém roce.

Podobně trapně se vyvíjela situace kolem letošní úlohy č. 11 maturitního testu z matematiky. Nejprve vyšlo najevo, že Cermat utajil jak před externími členy své vlastní validační komise, tak před členy Nezávislé odborné komise MŠMT pro posouzení maturitního testu z matematiky skutečnost, že uznával nejen odpověď (pouze) 248º uvedenou v klíči, ale také odpověď 248º a 112º. Počet žáků, kterým pro úspěšné složení zkoušky chyběl 1 bod v úloze 11 a současně uvedli odpo­věď (pouze) 112º, však prý kvůli způsobu zpracování není znám. Ačkoli je to velmi důležité a šlo o „ruční“ zkontrolování odhadem 300 naskenovaných záznamových archů. To vyvolává nejrůznější domněnky kvůli tomu, že podle některých odborníků měla být uznávána rovněž odpověď (pouze) 112º. Opravdu nebyli tito žáci identifikováni? A pokud skutečně nebyli, neměl by být změněn způsob vyhodnocování otevřených úloh, aby pracnost opravy nebránila průchodu spravedlnosti?

Závěr: Popisované problémy zbytečně oslabují důvěru odborné i laické veřejnosti. U mnohých učitelů vyvolávají dokonce frustraci (viz například diskuze pod články na webu eduin.cz nebo ceskaskola.cz nad spornou otázkou č.11 z letošní matematiky). Jsme přesvědčeni, že otevírání dat by tento problém řešilo, a je to tudíž v zájmu společnosti i MŠMT. Dle argumentů výše je nezbytné do zveřejňovaných kategorií anonymizovaných dat zařadit i pohlaví žáka.

  1. Současný stav

Přehled zveřejňovaných dat a termínů – porovnání jednotných přijímacích zkoušek a společné části maturitní zkoušky

druh informace – termín zveřejnění přijímačky maturita
znění testů (zadání) – v den použití ano ano
pracovní verze klíče správných řešení – v den použití ne ne
prac. verze odůvodnění správných odpovědí – v den použití ne ne
prac. verze vysvětlení, co úlohy ověřují – v den použití ne ne
defin. verze klíče správných řešení – v den odeslání výsledků ano ano
defin. verze odůvod. správ. odpovědí – v den odeslání výsledků ne jen matematika
defin. verze vysvětlení, co úl. ověřují – v den odeslání výsledků ne ne
agregovaná data – v den odeslání výsledků ne ne
část. anonymiz. prvotní data – v den odeslání výsledků ne ne
agregovaná data – 31. 7. ano ano
část. anonymiz. prvotní data – 31. 7. ano ne

Závěr:

Odůvodnění správných odpovědí bylo letos na jaře zveřejněno poprvé, kvitujeme alespoň nějaký posun.

Není zřejmé, proč existuje rozdíl mezi přijímačkami a maturitou u částečně anonymizovaných prvotních dat zveřejňovaných k 31. 7. Agregovaná data by měla být zveřejňována v uživatelsky vstřícné podobě – podobně jako rozklikávací volební data. Položky s šedým pozadím buď nejsou zveřejňovány vůbec, nebo zveřejňovány jsou, ale pozdě – měly by být zveřejňovány v uvedeném termínu.

Žlutě označená pole – přijímačková (na 4leté obory) ani maturitní data neobsahují znak skupiny škol (gymnázium, SOŠ, SOU s maturitou, nástavby) a neobsahují ani údaj o pohlaví. Z hlediska ochrany osobních údajů to nemůže být problém u dat přijímačkových, u dat maturitních přinejmenším u prvomatu­rantů (jde o veliké soubory).

  1. Ukázka odůvodnění správných odpovědí a vysvětlení, co úloha ověřuje

Co se stane, když dítě usne?  (zapiš čísla všeho, co se opravdu stane)

Přestane:

  1. dýchat.
  2.   slyšet.
  3.   růst.
  4.   vytvářet sliny.
  5.   vytvářet moč.
  6.   trávit potravu.
  7.   mu pracovat mozek.
  8.   odpovídat na otázky.
  9.   mu obíhat krev v těle.

Poznámka: Žák tedy mohl odpovědět třeba 2,3,7,8 – věděl, že nabídka úlohy může mít víc správných položek, ale jejich počet předem neznal.

Odůvodnění (správné položky tučně):

  1. Člověk dýchá i ve spánku, můžeme slyšet oddechování a pozorovat pohyby hrudníku.
  2. Člověk slyší i ve spánku – větší hluk ho probudí.
  3. Lidské buňky se dělí i ve spánku. Novorozenec většinu času prospí, přesto velmi rychle roste.
  4. Sliny se vytvářejí i ve spánku, což můžeme u dětí pozorovat (poslintaný polštář).
  5. Moč se vytváří i během spánku – ráno obvykle potřebujeme na záchod. Malé děti se někdy v noci počurávají.
  6. Potravu trávíme i ve spánku – ráno máme opět prázdný žaludek a hlad.
  7. Mozek pracuje i ve spánku, zpracovává nabyté informace a řídí základní tělesné procesy.
  8. Člověk ve spánku nereaguje vědomě na vnější podněty. Může sice třeba pohnout nohou,
    když ho polechtáme na chodidle, ale neví o tom.
  9. Krev v těle obíhá i ve spánku, můžeme pozorovat pulsování cév. Bez přísunu kyslíku do mozku, což obstarává právě okysličená krev, bychom během několika minut zemřeli.

Vysvětlení, co úloha ověřuje

Cílem úlohy bylo odhalit chybné představy žáků o funkcích těla ve spánku. Například dýchání bude nejspíš jednoznačně posuzováno jako funkce, která ve spánku trvá, zatímco u sluchu, práce mozku, vytváření slin a trávení mohou být výsledky horší. Žáci nejspíš zamění tyto funkce za jejich vědomé, aktivní použití: naslouchání, uvažování či jezení. Úloha zjistí, do jaké míry si žáci uvědomují, že velká část tělesných procesů je řízena zcela nezávisle na našem vědomém úsilí o ně, a probíhá tedy i ve spánku.

Je třeba upozornit, že vysvětlení, co úloha ověřuje, je něco jiného než příslušnost úlohy k určitému tématu v RVP nebo v katalogu požadavků, kterou zachycuje tzv. specifikační tabulka. Jako příklad lze uvést úlohu č. 9 z letošního přijímacího testu pro deváťáky, v níž měli žáci najít v odstavci o 883 znacích tři podstatná jména, která se skloňují podle vzoru „růže“. Velmi podstat­nou součástí úlohy je přečtení relativně dlouhého textu, který ovšem žák musí kvůli dalším úlohám číst nejméně ještě jednou, protože v nich jde o porozumění obsahu. Úloha č. 9 tedy ověřuje znalost vzorů pro skloňování podstatných jmen jen u těch žáků, kteří se nenechají otrávit její nesmyslností.

Zmiňovaný text:

Zásadní poznatky geniální vědec získal díky studiu pěnkav. Všiml si rozdílů v jednotlivých populacích těchto ptáků, které žily na různých galapážských ostrovech. Vypozoroval, že tvar a velikost jejich zobáku jsou přizpůsobeny dostupným zdrojům potravy. Některé pěnkavy pomocí svého drobného zobáku snáze zkoumaly květy, jiné pěnkavy měly silný zahnutý zobák jako papoušek a drtily jím oříšky. Na každém ostrově se u pěnkav vyvinuly znaky nejlépe zajišťující přežití druhu. Po návratu z výpravy Darwinovi trvalo více než dvacet let, než plně pochopil, že právě pobyt na Galapágách je klíčem k porozumění evoluci. Svou evoluční teorii představil v roce 1859. V díle O vzniku druhů přírodním výběrem vysvětlil, že organismy se postupně přizpůsobují měnícím se podmínkám prostředí a že přežijí jen ty, které se na změny nejlépe adaptují. Jeho myšlenky posunuly vědecké poznání o značný krok vpřed.

  1. Proč jsou navrhované změny užitečné

Prvním univerzálním odůvodněním výše uvedených návrhů je veřejná kontrola práce Cermatu a předcházení chybám, kterým opakovaně nedokázal zabránit – v případě státní maturity je letos (viz Matematika, úloha č. 11) i dříve často buď maskoval, nebo prostě ignoroval. Pokud bude zřejmé, že v případě klíče správných odpovědí, odůvodnění správných odpovědí i vysvětlení, co úlohy ověřují, jde při zveřejnění v den testování o pracovní verze, nebudou případné nedostatky většině lidí vadit. Bude však zřejmé, co autor každé jednotlivé úlohy sledoval a jak si představoval správné řešení. Pokud někdo objeví chybu (byť jen domnělou), upozorní na ni a Cermat bude mít dost času se upozorněním zabývat tak, aby – pokud se podezření prokáže – nedostatky nepronikly do oficiálních výsledků žáků. Například matematická úloha č. 11 byla podezřelá již v den zveřejnění testu. Až do zveřejnění klíče správných řešení však nebylo zřejmé, zda jde o nedostatek zadání, nebo naopak o záměr (odvést pozornost od druhého správného řešení 112º).

Druhým univerzálním odůvodněním výše uvedených návrhů je užitečnost pro výuku. Za pro­středky státního rozpočtu vzniká, vlastně jako vedlejší produkt, veliké množství informací pro učitele a didaktiky odpovídajících předmětů, často poměrně překvapivých. Cermat mj. disponuje velmi bohatou (a před veřejností skrytou) databází odpovědí žáků na úlohy s tvorbou odpovědí. Tzv. agregovaná data (A) obsahují vlastně jen informaci o úspěšnosti úloh, resp. o četnosti nabízených odpovědí. Kolik učitelů matematiky ovšem tušilo, že následující triviální úlohu z maturitního testu Matematika správně vyřeší pouze 15,7 % maturantů (z necelých 17 tis. žáků)?

Čerpadla

Nádrž se plní několika stejně výkonnými čerpadly. Dvě čerpadla by prázdnou nádrž naplnila za x hodin (x > 0). Vyjádřete v hodinách, za jak dlouho by prázdnou nádrž naplnilo n čerpadel (n Є N).

Tzv. částečně anonymizovaná prvotní data (B) umožňují hlubší analýzy. Lze například zkoumat, jak si žáci úspěšní v úloze o čerpadlech počínali v jiných úlohách testu. Jaká část z nich byla nadprů­měrně úspěšná? Byli úspěšnější chlapci, nebo dívky? Atd.

  1. Další návrh

Z písemného vyjádření MŠMT i Cermatu vyplývá, že vyhodnocování úloh testu Matematika s tvorbou odpovědi probíhá způsobem, při kterém se ztrácí řada informací, které jsou cenné jak pro vlastní vyhodnocení, tak pro školy při práci s výsledky. Výsledkem vyhodnocování (například úlohy č. 11) je pouze informace, zda žák uvedl hodnotu pokládanou za správnou, uvedl hodnotu pokládanou za nesprávnou, případně neuvedl hodnotu žádnou. Jenomže cennou informací je především to, které hodnoty žáci uváděli a kolik takových žáků u každé hodnoty bylo. Často se z nich totiž dají zpětně rekonstruovat postupy, kterými k nim žáci dospěli. Zvláště úlohy směřující pouze k číselnému výsledku by vlastně vůbec neměly být předmětem „ručního“ hodnocení, neboť je pomalé, nákladné a navíc v případě chyby v pokynech pro hodnotitele musí být opakováno od samého počátku. Algoritmy pro rozpoznávání obrazců jsou už mnohem dokonalejší než v roce 2011 a vzhledem k tomu, že záznamové archy jsou skenovány, vlastně nic nebrání tomu, aby číselné hodnoty v odpovědích žáků byly rozpoznávány strojově a zaznamenávány v prvotním datovém souboru. Kontrolu rozpoznání svých odpovědí může provést každý žák prostřednictvím internetu.

  1. září 2019 Za EDUin

Miroslav Hřebecký, programový ředitel

 

Přečtěte si celý článek

Praha, 24. června – EDUin ve spolupráci s nezávislými matematiky se několik týdnů intenzivně věnuje chybě v didaktickém testu z matematiky, který připravuje CERMAT v rámci státní maturity. Je nepochybné, že zadání úlohy č. 11 nebylo správně formulované, a tak umožnilo více možností, než organizátor zkoušky původně zamýšlel. Maturanti, kteří nečetli mezi cermatími řádky, jsou penalizováni. Ignorace CERMATu a dosavadní nedostatečná snaha ministerstva školství napravit situaci jsou nepřijatelné vzhledem k významu, jaký má maturita pro budoucnost mladého člověka. Proto EDUin žádá sérii kroků, které by měly zlepšit důvěru ve zkoušku a narovnat chybu, za níž se dosud stát zdráhá přijmout patřičnou odpovědnost.

V didaktickém testu z matematiky vyžaduje úloha č. 11 po maturantovi, aby na základě znalosti úhlu o velikosti 112° vypočítal velikost úhlu druhého. Zadání definuje, že jde o dva různé úhly, nikoliv však dva různě veliké úhly. Zatímco CERMAT tedy očekával, že maturant vypočítá druhou velikost s výsledkem 248°, nedostatečnou formulací fakticky žádal o vypočtení velikosti druhého úhlu, který může mít stejnou velikost jako úhel původní, a přitom musí být úhlem jiným, tedy ležícím jinde.
Z matematického pohledu je proto správně nejen oficiálně platné řešení 248°, ale také 112° a řešení obsahující obě uvedené velikosti.

Člen nezávislé komise MŠMT pro posouzení testu Eduard Fuchs tvrdil, že „jde o nepochopení standardní školské terminologie“, v níž se úhel zaměňuje s velikostí úhlu, pročež je jediným správným řešením 248°. Nad zněním úlohy a správnou odpovědí se rozhořela odborná polemika. Fuchsovo stanovisko podpořil bývalý předseda JČMF Josef Kubát, opoziční stanovisko zastává profesor Václav Chvátal, matematik s vědeckou praxí z několika zahraničních univerzit. U řešení správného znění úlohy se štěpí i názor učitelů matematiky.

Ministerstvo školství později uvedlo, že Cermat – bez vědomí členů jeho komise – uznával rovněž odpověď obsahující obě velikosti: 112 a 248 stupňů. Maturanti, kteří odpověděli výsledkem 112°, mají nicméně z úlohy nadále 0 bodů. EDUin považuje za alarmující, že nedošlo k opravě chyby a že není zřejmé, jak a zda vůbec se ministerstvo a CERMAT k poškození žáků postaví. Je běžnou praxí, aby se uznalo širší pojetí správných odpovědí, je-li nad zadáním odborná polemika. V neposlední řadě dochází k opětovnému zpochybnění důvěry veřejnosti a zejména maturantů vůči CERMATu, navíc jen rok od odvolání bývalého ředitele za chybu v testu z češtiny.

EDUin na základě zmíněného vyzývá MŠMT, aby stav napravilo a:

  1. znovu přezkoumalo a obodovalo didaktické testy z matematiky a uznalo všechny tři možné odpovědi u úlohy č. 11 (tj. 248°; 112°; 248°a 112°),
  2. zveřejnilo počet maturantů, kteří v úloze č. 11 odpověděli výsledkem jen 112°,
  3. zveřejnilo počet maturantů, kteří v úloze č. 11 odpověděli jen 112° a k úspěšnému složení testu jim scházel 1 bod (bez požadované změny hodnocení tedy propadli) a
  4. zavedlo dlouhodobě žádaná opatření, jimiž lze podobným situacím předcházet, to jest zveřejňovat interpretovaný klíč odpovědí a anonymizovaná data o odpovědích bezprostředně po vyhodnocení a zveřejnění výsledků zkoušky.

Miroslav Hřebecký, programový ředitel EDUin, řekl: „Opět se ukazuje, že v procesu státních maturit dochází k chybám v zadání a klíči správných řešení úloh. Kontrolní procesy se tak i přes loňskou změnu na postu ředitele CZVV ukazují nadále jako nedostatečné. To jasně dokládá, že je třeba zvětšit míru veřejné kontroly nad vznikem úloh. S osudy mladých lidí si nelze tak lehkovážně zahrávat, jde o budování jejich elementární důvěry ve stát a demokratickou společnost a toto může být první a fatální zkušenost čerstvě dospělého člověka s úředním mechanismem.“

Matematik Oldřich Botlík řekl: „Někteří učitelé chápou vzdělávání v matematice spíš jako drezúru: jde jim o to, aby se žákovi spustily v hlavě automatismy vyvolané rozpoznáním znaků typových úloh. O to ale ve skutečné matematice tolik nejde – tam jde naopak o hluboké přemýšlení o významu základních pojmů, uvědomování si jejich vzájemných souvislostí a vytváření nových pojmů.“

Přečtěte si celý článek

Profesor Václav Chvátal poskytl EDUinu vyjádření ke sporu mezi O. Botlíkem a E. Fuchsem, členem Nezávislé odborné komise MŠMT

Praha, 20. června 2019 – Se snahou vyjasnit spor o korektnost zadání úlohy 11 v maturitním testu z matematiky oslovil EDUin profesora Václava Chvátala a požádal ho o stanovisko.

V reakci na předchozí tiskovou zprávu EDUinu, v níž jsme na základě sporu o znění jedné maturitní úlohy upozorňovali na systémové chyby maturity, jak Cermat, tak MŠMT trvají na tom, že zadání úlohy bylo správné. Rozporují tedy názor Oldřicha Botlíka. Proto jsme oslovili profesora Václava Chvátala, který působil mj. na univerzitách McGill, Stanford a Université de Montréal. Profesor Chvátal ve svém stanovisku konstatuje: S plným vědomím rizika, že doc. RNDr. Eduard Fuchs, CSc. i mne označí za nechápajícího školskou matematiku, prohlašuji, že se plně ztotožňuji s názory v Botlíkově článku. Sám bych je nedokázal vyjádřit líp.

Plné znění stanoviska profesora Václava Chvátala ZDE.

Krátký medailon prof. Václava Chvátala ZDE.

Václav Chvátal, matematik, řekl: „Už na středních školách by učitelé matematiky měli v žácích pěstovat návyk vědět, o čem mluví. Uvědomovat si přesně, co znamenají pojmy, se kterými pracují. Pravým opakem je snažit se odbýt mnohoznačnost mávnutím ruky.“

Bob Kartous, vedoucí komunikace EDUin, řekl: „Je zjevné, že profesor Chvátal má za sebou vědeckou kariéru na úrovni světové matematické extratřídy. Jak tedy vlastně probíhalo rozhodování o maturitní úloze 11, jehož závěry V. Chvátal zásadně zpochybnil? Nemělo by ministerstvo kvůli spravedlivému posouzení výkonů maturantů jmenovat do své komise skutečné odborníky?“

 

Přečtěte si celý článek

Na základě čerstvých informací z MŠMT o úloze 11 maturitního testu z matematiky upozorňujeme na čtyři klíčové problémy státní maturitní zkoušky

Praha, 18. června 2019 – Ministerstvo vyhovělo žádosti Oldřicha Botlíka z iniciativy Maturitní data – odtajněno a objasnilo, jak hodnotitelé Cermatu postupovali při vyhodnocování sporné úlohy v maturitním testu z matematiky. Na tomto základě upozorňujeme na čtyři klíčové problémy centralizované maturitní zkoušky, které se stále nepodařilo vyřešit.

Z odpovědi ředitele odboru středního a vyššího odborného vzdělávání a institucionální výchovy MŠMT Petra Bannerta vyplývá, že Cermat bodoval odpovědi na úlohu 11 jinak, než zveřejnil v klíči správných řešení. Neinformoval o tom členy schvalovacích komisí ani nedokáže sdělit, kolika  maturantů se změna týká a kolika maturantům neuznal další částečně správnou odpověď na úlohu 11. Upozorňujeme proto na čtyři systémová pochybení, která se dlouhodobě nedaří napravit.

  • Cermat nezpracovává odpovědi na podobné úlohy tak, aby mohl včas odhalit, že z hlediska maturantů není zadání jednoznačné. Všechny odpovědi, které autor úlohy pokládá za nesprávné, dostávají stejný kód – „podezřelý“ výsledek se tedy ztratí v množství ostatních a jeho dodatečné uznání vyžaduje vynaložení obrovského množství ruční práce.
  • Cermat nedodává schvalovacím komisím podklady v takové podobě, aby jim umožnil kvalifikované posouzení korektnosti testů. V tomto případě komise nedostaly ani informaci, že Cermat uznával také další odpověď, a někteří jejich členové dokonce veřejně popírali její správnost.
  • Cermat rozhoduje bez řádného odborného zdůvodnění, které odpovědi uzná a neuzná za správné. Fakticky tedy svévolně rozhoduje také o tom, kdo v maturitním testu propadne a nepropadne.
  • Cermat nezveřejňuje důležité informace včas, přitom by praxe otevřeného informování pomohla vyřešit mnohé spory výrazně rychleji. Debata o možných řešeních úlohy 11 mohla proběhnout ihned po zveřejnění testů, pokud by už v té době byl k dispozici klíč správných odpovědí se vzorovým řešením testu.

Bob Kartous, vedoucí komunikace EDUin, řekl: „Dlouhodobě vyzýváme Cermat a ministerstvo školství, aby současně se zadáním testů byla zveřejněna i zdůvodnění správných odpovědí u jednotlivých úloh, klíč správných řešení a co nejdříve také anonymizovaná maturitní data. Kdyby nás vyslyšely, mohli jsme si ušetřit přetahování o to, zda zadání úlohy 11 bylo korektní a zda úloha poškodila maturanty. Místo toho jsme svědky, že Cermat na probíhající debatu vůbec nereagoval a ministerstvo ofi­ciálně sděluje, že příslušná data nejsou a ani nebudou k dispozici.“

Přečtěte si celý článek

Dohadování, zda zadání úlohy č. 11 v maturitním testu z matematiky poškodilo, či nepoškodilo žáky, může ministerstvo školství ukončit snadno a rychle

Praha, 24. května 2019 – Probíhající polemika mezi Oldřichem Botlíkem z iniciativy Maturitní data – odtajněno a Eduardem Fuchsem a Josefem Kubátem z Jednoty českých matematiků a fyziků o korektnost zadání jedné z úloh v letošním maturitním testu z matematiky má snadné řešení. Zveřejnění, kolik maturantů odpovědělo na úlohu způsobem, který zmiňují kritici zadání.

Na otázku, zda úloha poškodila maturanty, případně kolik jich bylo, lze snadno odpovědět. Stačí, když Cermat nahlédne do dat z maturitní zkoušky, která má k dispozici. Je na něm, aby zveřejnil, kolik maturantů opravdu odpovědělo, že velikost úhlu, na níž se dotazuje úloha č. 11 v maturitním testu z matematiky, je 112°. A kolik z nich na základě této odpovědi přišlo o bod a kvůli tomu u zkoušky propadli.

Je evidentní, že i přes zpřísněnou kontrolu a pozornost, kterou dvě odborné komise úlohám věnují, se může sporné zadání vyskytnout. Navíc je možné, že Cermat nesbírá data takovým způsobem, aby uměl rychle odpovědět na otázku, kolik maturantů zvolilo tuto variantu odpovědi. Letošní maturitní kauza opět ukazuje, jak by celé věci pomohlo, kdybychom měli včas k dispozici jak anonymizovaná maturitní data, tak zdůvodnění, proč autoři úloh považují za správnou odpověď právě tu, kterou uvádí maturitní klíč správných řešení.

Bob Kartous, vedoucí komunikace EDUin, řekl: „Dlouhodobě vyzýváme Cermat a ministerstvo školství, aby spolu se zadáním testů byla zveřejněna informace, co přesně jednotlivé testové úlohy ověřovaly, a co nejdříve také anonymizovaná maturitní data. Pokud by to už dnes bylo zvykem, mohli jsme si ušetřit přetahování o to, zda zadání úlohy č. 11 bylo korektní a zda úloha poškodila maturanty. Místo toho jsme svědky, že Cermat na probíhající debatu ani nezareagoval a není vůbec jisté, zda má příslušná data k dispozici. Cermat letos poprvé zveřejnil vzorová řešení matematických úloh, což je výrazným posunem k lepšímu. Například u vzorového řešení úlohy 11 je nyní jasně vidět, kde je sporné místo.“

Přečtěte si celý článek

Iniciativa Maturitní data – odtajněno upozorňuje na chybně zadanou úlohu v maturitním testu z matematiky a na chybějící řešení v klíči správných řešení

Praha, 15. května 2019 – Oldřich Botlík z iniciativy Maturitní data – odtajněno upozornil v článku zveřejněném na stránkách eduin.cz na chybné zadání jedné z úloh letošního maturitního testu z matematiky. Upozorňuje tím na rozpor se závěry Nezávislé odborné komise MŠMT, podle níž jsou letošní maturitní testy bez chyb. Článek zároveň znovu připomíná návrh zveřejňovat zdůvodnění správných odpovědí na jednotlivé úlohy.

Ve včerejší tiskové zprávě Ministerstva školství konstatuje Nezávislá odborná komise pro maturitní zkoušku, že v zadání letošních maturitních testů nenašla žádnou chybu. Text Oldřicha Botlíka toto tvrzení rozporuje a upozorňuje na zadání úlohy č. 11 v maturitním testu z matematiky, v němž měli maturanti určit velikost úhlu. Vysvětluje, proč tato úloha neměla jedno, ale dvě správná řešení.

Dnes zveřejněný klíč správných řešení potvrdil, že Cermat druhé správné řešení neuznával. Problém je v nejednoznačném zadání úlohy. Cermat letos poprvé zveřejnil vzorová řešení testových úloh, za což mu patří uznání. Vzorové řešení úlohy 11 ovšem bohužel nedostatečně analyzovalo zadání, a proto ignorovalo druhé správné řešení 112°. Obecně však jde o cestu, jak výskyt podobných chyb omezit.

Měli bychom také vědět, kolik maturantů zvolilo onu „chybnou“ odpověď 112° a kolik z nich tedy bylo poškozeno. To bohužel zatím může zjistit pouze Cermat, protože ke zveřejnění četností odpovědí žáků i anonymizovaných zdrojových dat dojde podle publikačního kalendáře maturit až koncem července 2019.

Celý text s titulkem V zadání maturitního testu z matematiky byla chyba najdete ZDE.

Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „Vyzývám Cermat a ministerstvo školství, aby zveřejnily počet maturantů, kteří vybrali v úloze č. 11 maturitního testu z matematiky variantu odpovědi 112°, případně obě správná řešení 112° a 248°. Pak budeme vědět, kolik studentů chybně zadaná úloha reálně poškodila. Mí oponenti mi předhazují ,každoroční projevy hnidopišství´. Ďábel bývá ale často ukryt v detailu. Až v Cermatu začnou přistupovat k vlastním úlohám s pokorou a k odpovědím maturantů s empatií, rád si podobné články odpustím. Zatím však státní maturita každoročně poškozuje nevinné žáky, jimž stát navíc upírá informace, které mohou využít ke své obraně. A s tím se smířit nehodlám.“

 

 

Přečtěte si celý článek

Pokud bychom se na základě jednotných přijímacích testů chtěli něco dozvědět o znalostech žáků v češtině a matematice, musel by Cermat zveřejnit podrobná data

Praha, 1. května 2019 – Co říká včerejší informace Cermatu, že letos dosáhli uchazeči o čtyřleté maturitní studium v testu z matematiky průměrného výsledku 43,1 %? Je to hodně, nebo málo? Proč se současně zhoršili v češtině o 3,2 procentního bodu oproti loňskému roku? Podobné otázky kolující veřejným a mediálním prostorem jsou typickým příznakem zmatené debaty o vzdělávání. Nic takového totiž z podobných údajů vyvozovat nelze.

Aby diskuse o těchto otázkách měla nějaký smysl, musel by Cermat zveřejnit anonymizovaná data přijímacích testů, nebo alespoň hodnoty průměrné úspěšnosti jednotlivých úloh. Je na místě se ptát, proč se tak nestalo. Novináři i veřejnost by o takové informace určitě stáli.

Cermat letos poprvé zveřejnil zadání přijímacích testů vždy ve stejný den, kdy je žáci psali. Klíče správných řešení zpřístupnil současně s rozesláním individuálních výsledků školám, až na datech zkontroloval, že je všechno v pořádku. Nezveřejnil ovšem průměrné hodnoty výsledků u jednotlivých úloh, natožpak anonymizovaná data. Ačkoli je nepochybně má. Příležitost zkvalitnit debatu o tom, jak mají přijímací zkoušky vypadat, tak opět propásl. Smysl má diskuse nad zadáními jednotlivých úloh a nad tím, jak úspěšně se s nimi žáci vyrovnali. Debata nad průměrnými výsledky jednotlivých testů a jejich meziročními změnami je zavádějící, neboť nemůže jít o debatu o tom, co přesně žáci umějí či neumějí. Je pouze debatou o tom, jak se letos Cermatu podařilo či nepodařilo nastavit obtížnost jednotlivých testů.

Je také třeba si uvědomit, že úkolem těchto testů není ověřit znalosti a dovednosti žáků jako v případě testů maturitních. Hlavním úkolem přijímacích testů je vytvořit žebříček uchazečů, který pomůže školám rozhodnout o jejich přijetí či nepřijetí. Ten je kritériem, které musejí brát v úvahu.

Právě v souvislosti s proměnlivou obtížnosti testů je dobré připomenout další argument, proč by bylo problematické zavést centrálně stanovenou nepodkročitelnou bodovou hranici – tzv. cut off score. Za situace, kdy se meziročně liší průměrné výsledky v testech i o více než sedm procentních bodů, by to znamenalo, že by se na maturitní studium v jednotlivých letech dostaly skupiny žáků vybrané každý rok s velmi rozdílnými nároky. I při stejné velikosti populačních ročníků by se jejich počty lišily třeba o pět až osm tisíc, aniž by rozdíl nějak souvisel s jejich skutečnými znalostmi a dovednostmi. Je to ilustrativní případ, jak citlivá jsou podobná opatření vzdělávací politiky a jaké nezamýšlené důsledky mohou mít.

Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „Zveřejněnými čísly Cermat jen odvádí pozornost. Otázkou je, od čeho. Namísto zpřístupnění relevantních dat ve chvíli, kdy to veřejnost opravdu zajímá, nás zásobuje nesmysly. Z průměrných výsledků meziročně nesrovnatelných testů nevyplývá, zda se znalosti žáků zlepšily, nebo zhoršily. Nevyplývá z nich ani nic o tom, co přesně děti umějí a neumějí. Cermat takové informace samozřejmě má, ale učitelům a veřejnosti je poskytuje s velkým zpožděním.“

Přečtěte si celý článek

Praha, 8. dubna – Ministerstvo školství minulý měsíc poslalo do připomínkového řízení návrh školského zákona, který vyjímá ústní a písemnou zkoušku společné části maturitní zkoušky z kompetence CERMATu. Staly by se opět odpovědností jednotlivých škol. Centrálně by se zadávaly a hodnotily už jen maturitní didaktické testy. Rovněž by se ve všech maturitních oborech mělo na jaře 2022 sjednotit zavedení povinné maturity ze tří předmětů, a to češtiny, cizího jazyka a matematiky. EDUin na základě odborné debaty, kterou minulý týden uspořádal, upozorňuje na nedostatky záměru. Zejména na to, že jde jen o dílčí úpravu konceptu, jenž je nutné významně přepracovat na základě cílů stanovených strategií 2030.

Ministerstvo školství chce přesunutím písemné práce (slohovky) a ústní části dle svých slov posílit vazbu mezi učiteli na dané školy a žáky-maturanty. Z dostupných dat, která ukazují úspěšnost na školách během hodnocení vlastními učiteli a centrálně, vyplývá, že učitelé jdou svým maturantům naproti. To se týká zejména škol, kde je v centrálně hodnoceném didaktickém testu vysoká neúspěšnost. Ministerstvo v rámci detailního hodnocení dopadů návrhu zákona přímo předpokládá, že snížení možné neúspěšnosti v těchto dvou zkouškách pomůže zmírnit nárůst propadlíků, jenž vznikne, až bude zavedena povinná maturita z matematiky.

„Je otázkou, zda nejde o hledání pragmatické cesty, jak se vyrovnat s potenciálně vysokým počtem neúspěšných maturantů. To by byl skutečně technokratický cynismus,“ říká vedoucí komunikace EDUin Bob Kartous.

Ministerstvo současně doplňuje, že návrh má jít naproti dvouúrovňové stavbě kurikula, které předpokládá, že každá škola bude mít do určité míry jiný obsah vzdělávání, tudíž i jiné výstupní zkoušky.

Praktický problém se může skrývat ve financování přenosu odpovědnosti na školy. Ministerstvo školství v důvodové zprávě uvádí, že v důsledku odlehčení práce v CERMATu by se po roce 2021 mělo uspořit zhruba 21 milionů korun. Návrh neuvádí, jak bude finančně kompenzována práce učitelů, kteří budou mít povinnost žákovské slohy opravovat.

Byť návratem k hodnocení ve školách dojde z velké části je snížení formalizace hodnocení písemných prací a k posílení faktoru znalosti individuality maturanta, kromě možné snahy učitelů pomáhat svým žákům lze očekávat i nárůst rozdílů v přístupu k výuce. Zatímco na řadě škol může změna vést k pokroku a zavedení například argumentačních esejí či větší čtenářské reflexi v ústní části, nic nebude omezovat další školy, aby se zde vrátily k memorování a netvůrčím slohovým útvarům.

V neposlední řadě jsou uzpůsobení zkoušek žákům s hendikepem, jako je třebas dysgrafie nebo dyslexie. Školy by po změně zákona ztratily podporu, kterou nyní CERMAT v tomto ohledu vyvíjí, proto je důležité se ptát, zda by tito žáci nepřišli k újmě snížením spravedlivosti zkoušky.

„Vzhledem k přípravám Strategie vzdělávací politiky do roku 2030 a změnám v rámcových vzdělávacích programech je nejasné, jak s tím snaha uvolnit centralizaci maturit souvisí. Je skutečné možné, že má jít jen o kompenzaci předpokládaného růstu propadlíků, příp. možnost ušetřit. Maturitu i jiné high stakes zkoušky je třeba pojmout jako prostředek k tomu, jak posílit důraz na žádoucí obsah a formu vzdělávání, což v současné podobě naplňováno není. Proto by reforma maturit měla být mnohem hlubší a měla by jít ruku v ruce se stanovenými cíli strategie 2030. Současný koncept nepodporuje stanovené cíle vzdělávání a je třeba se zamyslet nad tím, jak by vlastně výstupní zkouška na SŠ měla vypadat. Nabízí se pojetí maturit jako dlouhodobého projektu, jenž je uzavřen obhajobou. Takové pojetí mnohem více posiluje komplexitu přípravy a dává tím školám zcela odlišné zadání,“ uzavírá Kartous.

Přečtěte si celý článek

V podkladech pro tiskovou zprávu EDUinu vydanou dne 11. března 2019 s titulkem Analýza propadovosti – Hodnotitelé na školách dosahují stabilnějšího výsledku jsem se dopustil chyby, za kterou se čtenářům ještě jednou omlouvám. Spočívala v tom, že jsem hodnocení písemných prací z češtiny, které žáci psali v roce 2013 jako součást společné části maturitní zkoušky, zahrnul pod centrální hodnocení organizované Cermatem, ačkoli práce byly tehdy hodnoceny na školách. Zdrojová data jsem proto přepočítal. Jaké jsou tedy správné číselné výsledky téže jednoduché analýzy? Budou-li interpretovány stejně jako poprvé, co z původní tiskové zprávy už neplatí? A co naopak platí i nadále?

  1. Počty hodnocení na školách a v Centru se změnily ze 3 a 3 na 4 a 2

Původně stejné počty se tedy změnily na nepoměr, v němž srovnávání přestalo být korektní. U čtyř hodnocení totiž existuje ze zřejmých důvodů více příležitostí, aby maximální výkyv mezi jejich výsledky byl větší než u hodnocení dvou – zde například kvůli třikrát delšímu časovému rozpětí.

  1. Jaké jsou nové hodnoty maximálních výkyvů ve výsledcích hodnocení?

Největší výkyv propadovosti při hodnocení na školách je mezi začátkem a koncem čtyřletého období 2013–2016 a činí 0,86 procentního bodu. Rozdíl mezi oběma hodnotami propadovosti centrálního hodnocení za období 2017–2018 činí 0,50 procentního bodu. Po přepočtu velikosti těchto maximálních výkyvů na průměrný počet 66 693 žáků za sledované období 2013–2018 to znamená maximální výkyv 572 propadlíků při školním hodnocení a maximální výkyv 329 propadlíků při hodnocení centrálním.

  1. Důsledky pro titulek tiskové zprávy

Čistě technicky z toho vyplývá, že informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ není pravdivá. Korektnější srovnání ovšem bude možné už po letošním jarním kole. Přál bych maturantům, aby naznačený „trend“ meziročního nárůstu propadovosti při centrálním hodnocení nepokračoval. Bude-li však pokračovat, informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ jako interpretace těchto jednoduchých dat už za dva měsíce zase pravdivá bude. Rozdíl v propadovosti za tři ročníky by totiž činil 1,00 procentního bodu, a byl by tedy větší než maximální výkyv 0,86 procentního bodu zjištěný u čtyř ročníků hodnocení na školách.

  1. Důsledky pro argumentaci, že spory kvůli počtům propadlíků jsou absurdní

Zatímco původní rozdíl mezi počty propadlíků, které odpovídají maximálním výkyvům, činil 587 žáků, nyní činí pouze 243 žáků (572 – 329 = 243). Ukazuje se tedy, že zmíněné spory jsou z tohoto hlediska ještě výrazně absurdnější. Tento hlavní argument tiskové zprávy proto získal na síle.

  1. Tatáž argumentace vyjádřená jinými slovy

Protože jsem z komentářů pod tiskovou zprávou nabyl dojmu, že některým diskutujícím unikla podstata argumentace, dovolím si ji vysvětlit podrobněji.

Pokud je mi známo, neexistují žádné veřejně dostupné informace o dvojím nezávislém hodnocení reprezentativních vzorků písemných prací, které by umožnily korektně srovnat výsledky práce hodnotitelů na školách s výsledky práce centrálních hodnotitelů. Provedení takových hodnocení jsem v minulosti několikrát navrhoval, ale marně. Ukazatele typu „počet propadlíků“, případně „počet podaných odvolání“ jsou totiž jen velmi dílčí (například odvolání může podat každý maturant – důležité je, kolika odvoláním je nakonec vyhověno a z jakých důvodů). Počty propadnuvších prvomaturantů jsou nicméně veřejně dostupné v souvislé časové řadě a – upřímně řečeno – hodně žáků zajímá hlavně to, aby nepropadli.

Na jediné mně známé dvojí hodnocení vzorku písemných prací, jež ovšem pokládám za nekorektní, se odvolávala důvodová zpráva k novele školského zákona, kterou se s účinností od jara 2017 vrátilo hodnocení písemných prací do Centra. Tisková zpráva citovala má slova, jimiž jsem použitý argument označil za zfalšovaný. Odkaz na důvody, které pro to mám, je uveden na konci.  Z dnešního pohledu je pak možné dodat, že argument byl vyvrácen rovněž samotným návratem k centrálnímu hodnocení v roce 2017.

Tisková zpráva srovnávala rozdíl mezi maximálními výkyvy centrálního a školního hodnocení, který se zmenšil a po opravě činí pouhých 242 žáků. Centralisté volají po větším počtu propadlíků, který pokládají za přiměřenější úrovni některých písemných prací, s nimiž se při centrálním hodnocení setkávají. Absurditu sporů mezi centralisty a decentralisty spatřovala tisková zpráva v tom, že ve zdánlivě objektivním maturitním testu z češtiny jde o řádově větší výkyvy. Například v roce 2017 upravily dosud neznámé osoby bodování nejméně pěti uzavřených úloh. Podle tehdejšího ředitele Cermatu neexistují pro bodování úloh žádná pravidla. Cermat přitom zjevně nedodržuje ani zadání ministerstva školství, které požaduje meziročně srovnatelnou náročnost maturitního testu. Lze se o tom snadno přesvědčit v oficiálních analýzách výsledků maturitní zkoušky. Zmíněná úprava vedla ke změně v počtu propadlíků o 4 379 žáků. To je – po přepočtu na stejné počty maturujících žáků – dvacetkrát (!) více, než činí rozdíl ve výkyvech hodnocení písemných prací, o který se přou centralisté s decentralisty.

Za svými slovy citovanými na konci tiskové zprávy EDUinu z 11. března 2019 si proto i nadále stojím.

————————————————————————————————————————

Odůvodnění, proč nebyla oficiální argumentace pro návrat k centrálnímu hodnocení korektní,
naleznete například ZDE.

Tisková zpráva tehdejšího ředitele Cermatu, v níž konstatoval, že pro bodování testových úloh neexistují žádná pravidla, byla zveřejněna ZDE.

Oficiální grafy trendů vývoje výsledků maturitních testů z češtiny jsou na straně 12 analytického materiálu uveřejněného ZDE.

 

Přečtěte si celý článek

Praha, 20. září – Centrum pro zjišťování výsledků vzdělávání (Cermat) má od května letošního roku novou ředitelku, veřejnosti ale zatím nepředstavilo žádné organizační změny, které jsou v jeho kompetenci. Do zásadnějších návrhů by se ani pouštět nemělo – jeho role je jen servisní. Změny v podobě maturitní zkoušky by podle ministra školství Roberta Plagy měly být výsledkem veřejné diskuse, odborné i politické. Poukazujeme proto na slabá místa zkoušek, které Cermat připravuje, a nabízíme řešení. Výrazná zlepšení jsou potřeba zejména v komunikaci Cermatu s veřejností po skončení testování.

Přestože sjednocené zkoušky mají vést k vyšší spravedlnosti a rovnému přístupu v ověřování znalostí, v oblastech, které níže popisujeme, Cermat dlouhodobě pracuje proti zájmům žáků, jejich učitelů i veřejnosti. Je zásadní, aby byly přijaty kroky, které zvýší informovanost a transparentnost procesů u zkoušek, na jejichž výsledcích závisí vzdělávací i karierní cesty českých žáků.

  • Chybějící řešení úloh s komentářem. Klíč správných řešení ke svým testům Cermat nezveřejňuje s řádným odůvodněním, které by u každé úlohy dokazovalo jak správnost (jediného) oficiálního řešení, tak její soulad s Katalogem požadavků. Dokud nebude mít Cermat takové odůvodnění předem, je třeba počítat s chybami v zadání. Zveřejnění návrhu klíče i komentáře k úlohám současně se zněním testů (tj. v den zkoušky) nebude pokládáno za definitivní, ale veřejnost je bude moci zkontrolovat, aby Cermat případně opravil svůj návrh dříve, než pošle výsledky do škol. Jinak se budou znovu opakovat situace, kdy Cermat brání své nesprávné či neúplné řešení za každou cenu, nebo musí rozeslat nové, opravené výsledky.
  • Utajování autorů již použitých testů. Podle vyjádření Cermatu neexistují pravidla pro bodování testových úloh – stanovují je autoři testů ad hoc. Ti dokonce mění i bodování těch úloh, jejichž formát je po celou dobu testování stejný, a ovlivňují tak mj. počty propadajících žáků řádově o tisíce. Když chybějí psaná pravidla a rozhodují lidé, není možné, aby zůstávali anonymní i po skončení příslušného zkušebního období. Utajování jejich jmen, o něž se Cermat navzdory podaným žádostem vytrvale pokouší, odporuje jak školskému zákonu, tak zákonu o svobodném přístupu k informacím.
  • Nedostatečná zpětná vazba u písemných prací. V písemných (slohových) pracích, které žáci povinně píší ve společné části zkoušky z češtiny a cizího jazyka, neposkytují centrální hodnotitelé informace o konkrétních chybách, ale jen strojový komentář. Z něj někdy ani žákův učitel nedokáže poznat, za co přesně byly strženy body nebo kde viděl hodnotitel slabá místa.
  • Cermat znesnadňuje proces odvolání. Nedostatečná zpětná vazba u hodnocení slohových prací je jedním z příkladů, kdy Cermat ztěžuje žákům obranu proti případným chybám ve výsledku hodnocení. Chybějící odůvodnění řešení testových úloh, případně chybějící důkaz nesouladu s Katalogem požadavků, jsou dalšími příklady. Například maturitní úloha s trpělivostí/časem přinášejícími růže nejspíš vůbec nebyla v souladu s katalogem, neboť v něm nenajdeme požadavek znalosti ustálených rčení – od toho existují slovníky. Náš systém žáky odrazuje od podávání odvolání a po jeho zamítnutí už mají jen možnost správní žaloby. Například britský Ofqual, který plní ve vzdělávacím systému obdobnou roli jako Cermat, přitom od loňska umožňuje v zájmu co nejspravedlivějšího vyhodnocení zkoušek druhé odvolání, pokud s prvním nejsou žák nebo škola spokojeni.

Bob Kartous, vedoucí komunikace EDUin, řekl: „Zveřejňovat odůvodnění řešení jednotlivých úloh a důkaz jejich souladu s Katalogem požadavků navrhuje EDUin již déle než dva roky. Bezvýsledně. Požádali jsme tedy  podle zákona o svobodném přístupu k informacím Cermat o tento materiál, neboť nás zajímá, jak důkladně byl připraven letošní jarní maturitní test z češtiny, v jehož vyhodnocení Cermat chyboval a musel je dodatečně plošně opravovat. Pokud takový materiál vůbec existuje, už zcela jistě nejde o informaci veřejnosti nepřístupnou. Důvodem případného neposkytnutí ovšem může být podle § 2 odst. 4 zákona č. 106/1999 Sb. to, že požadovaná informace neexistuje a Cermat by ji musel nejdříve vytvořit. Tuto skutečnost by potom Cermat musel výslovně uvést v odůvodnění svého zamítavého rozhodnutí o žádosti.“

Přečtěte si celý článek

Praha, 20. září – Centrum pro zjišťování výsledků vzdělávání (Cermat) má od května letošního roku novou ředitelku, veřejnosti ale zatím nepředstavilo žádné organizační změny, které jsou v jeho kompetenci. Do zásadnějších návrhů by se ani pouštět nemělo – jeho role je jen servisní. Změny v podobě maturitní zkoušky by podle ministra školství Roberta Plagy měly být výsledkem veřejné diskuse, odborné i politické. Poukazujeme proto na slabá místa zkoušek, které Cermat připravuje, a nabízíme řešení. Výrazná zlepšení jsou potřeba zejména v komunikaci Cermatu s veřejností po skončení testování.

Přestože sjednocené zkoušky mají vést k vyšší spravedlnosti a rovnému přístupu v ověřování znalostí, v oblastech, které níže popisujeme, Cermat dlouhodobě pracuje proti zájmům žáků, jejich učitelů i veřejnosti. Je zásadní, aby byly přijaty kroky, které zvýší informovanost a transparentnost procesů u zkoušek, na jejichž výsledcích závisí vzdělávací i karierní cesty českých žáků.

  • Chybějící řešení úloh s komentářem. Klíč správných řešení ke svým testům Cermat nezveřejňuje s řádným odůvodněním, které by u každé úlohy dokazovalo jak správnost (jediného) oficiálního řešení, tak její soulad s Katalogem požadavků. Dokud nebude mít Cermat takové odůvodnění předem, je třeba počítat s chybami v zadání. Zveřejnění návrhu klíče i komentáře k úlohám současně se zněním testů (tj. v den zkoušky) nebude pokládáno za definitivní, ale veřejnost je bude moci zkontrolovat, aby Cermat případně opravil svůj návrh dříve, než pošle výsledky do škol. Jinak se budou znovu opakovat situace, kdy Cermat brání své nesprávné či neúplné řešení za každou cenu, nebo musí rozeslat nové, opravené výsledky.
  • Utajování autorů již použitých testů. Podle vyjádření Cermatu neexistují pravidla pro bodování testových úloh – stanovují je autoři testů ad hoc. Ti dokonce mění i bodování těch úloh, jejichž formát je po celou dobu testování stejný, a ovlivňují tak mj. počty propadajících žáků řádově o tisíce. Když chybějí psaná pravidla a rozhodují lidé, není možné, aby zůstávali anonymní i po skončení příslušného zkušebního období. Utajování jejich jmen, o něž se Cermat navzdory podaným žádostem vytrvale pokouší, odporuje jak školskému zákonu, tak zákonu o svobodném přístupu k informacím.
  • Nedostatečná zpětná vazba u písemných prací. V písemných (slohových) pracích, které žáci povinně píší ve společné části zkoušky z češtiny a cizího jazyka, neposkytují centrální hodnotitelé informace o konkrétních chybách, ale jen strojový komentář. Z něj někdy ani žákův učitel nedokáže poznat, za co přesně byly strženy body nebo kde viděl hodnotitel slabá místa.
  • Cermat znesnadňuje proces odvolání. Nedostatečná zpětná vazba u hodnocení slohových prací je jedním z příkladů, kdy Cermat ztěžuje žákům obranu proti případným chybám ve výsledku hodnocení. Chybějící odůvodnění řešení testových úloh, případně chybějící důkaz nesouladu s Katalogem požadavků, jsou dalšími příklady. Například maturitní úloha s trpělivostí/časem přinášejícími růže nejspíš vůbec nebyla v souladu s katalogem, neboť v něm nenajdeme požadavek znalosti ustálených rčení – od toho existují slovníky. Náš systém žáky odrazuje od podávání odvolání a po jeho zamítnutí už mají jen možnost správní žaloby. Například britský Ofqual, který plní ve vzdělávacím systému obdobnou roli jako Cermat, přitom od loňska umožňuje v zájmu co nejspravedlivějšího vyhodnocení zkoušek druhé odvolání, pokud s prvním nejsou žák nebo škola spokojeni.

Bob Kartous, vedoucí komunikace EDUin, řekl: „Zveřejňovat odůvodnění řešení jednotlivých úloh a důkaz jejich souladu s Katalogem požadavků navrhuje EDUin již déle než dva roky. Bezvýsledně. Požádali jsme tedy  podle zákona o svobodném přístupu k informacím Cermat o tento materiál, neboť nás zajímá, jak důkladně byl připraven letošní jarní maturitní test z češtiny, v jehož vyhodnocení Cermat chyboval a musel je dodatečně plošně opravovat. Pokud takový materiál vůbec existuje, už zcela jistě nejde o informaci veřejnosti nepřístupnou. Důvodem případného neposkytnutí ovšem může být podle § 2 odst. 4 zákona č. 106/1999 Sb. to, že požadovaná informace neexistuje a Cermat by ji musel nejdříve vytvořit. Tuto skutečnost by potom Cermat musel výslovně uvést v odůvodnění svého zamítavého rozhodnutí o žádosti.“

Přečtěte si celý článek

Nová data byla zveřejněna se zpožděním a v podobě, která znemožňuje efektivní práci. Nové vedení Cermatu pokračuje starou cestou.

Praha, 15. srpna – MŠMT v loňském roce rozhodlo na návrh Cermatu, že data z každého kola maturit budou dostupná na stránkách novamaturita.cz. Data z jarního kola maturit mají být k dispozici vždy od 31. července. Ta letošní byla publikována se zpožděním a v podobě, jež neumožňuje zjistit ani základní informace, které by nás o výsledcích maturit měly zajímat.

Iniciativa Maturitní data – odtajněno v minulosti opakovaně upozorňovala na důležitost pravidelného zveřejňování částečně anonymizovaných prvotních maturit dat. Částečná anonymizace znamená, že se nedozvíme výsledky konkrétního žáka a konkrétní školy, ale z datového souboru bude možné zjišťovat například to, jak každou úlohu řešili nejslabší žáci, ve kterých úlohách se výrazněji liší úspěšnost chlapců a dívek, jak dopadají jednotlivé obory a skupiny škol. Šlo by tedy o data, v nichž zůstane zachována informace o pohlaví žáka a jeho příslušnosti ke skupině studijních oborů.

Data, která Cermat letos se zpožděním publikoval, však nelze považovat za anonymizovaná data, nýbrž jen za data velmi hrubě agregovaná. Z informací pořízených za veřejné prostředky Cermat dovoluje uživatelům zjistit třeba u výběrové úlohy vlastně jen to, kolik procent maturantů vybralo nabídku A, kolik procent nabídku B atd. Dozvědět se třeba to, zda textu rozumějí lépe žáci, kteří méně chybují v pravopisu, už možné není.

Ilustrativním příkladem uživatelské nevstřícnosti je fakt, že v datech nejsou podle klíče správných odpovědí označeny správné položky. Cermat je nepochybně označené měl, neboť s jejich pomocí počítá každému maturantovi jeho výsledek v testu. Musel je tedy záměrně odstranit. To asi nelze interpretovat jinak než jako snahu ztížit či znechutit případným zájemcům práci s daty. V nejlepším případě pak jako neomluvitelnou laxnost.

Oldřich Botlík, zakladatel iniciativy Maturitní data – odtajněno, řekl: Čekal jsem, že po třech ročnících naléhání a s novou ředitelkou konečně Cermat sám zveřejní částečně anonymizovaná prvotní data, v nichž bude údaj o skupině učebních oborů a pohlaví žáka, aby bylo možné zjistit například to, které úlohy dělaly největší potíže nejslabším žákům. Ať mohou spolu s učiteli pracovat na zlepšení. Z těchto dat to však zjistit nelze. Musím konstatovat, že politika Cermatu se nijak nezměnila. Nadále utajuje i informace, o nichž už ví, že je na základě žádosti podle zákona o svobodném přístupu k informacím stejně vydat musí. A dokonce mnohem dříve než 31. července.“

Přečtěte si celý článek

Praha, 5. června – Cermat, tedy státní příspěvková organizace řízená ministerstvem školství, podle zákona připravuje přijímací zkoušky a písemné zkoušky státní maturity a centrálně je vyhodnocuje. V souvislosti se změnou vedení je to nutné připomenout zejména kvůli tomu, že řadu dalších aktivit zákon tomuto subjektu nesvěřil. Cermat tedy není tvůrcem ani spolutvůrcem státní vzdělávací politiky, ale servisní organizací, která má přesně plnit zadání. Má veřejnosti poskytovat podrobná data – nikoli veřejně interpretovat informace, které neposkytl. Nesmí svévolně měnit obtížnost testů. Jeho vedení nepřísluší ani aktivní ovlivňování veřejného mínění například v otázce povinné maturity z matematiky, nebo dokonce v otázce žádoucího počtu maturantů.

U příležitosti odvolání Jiřího Zíky z funkce ředitele Cermatu a jmenování Michaely Kleňhové ministr školství v demisi Robert Plaga uvedl, že je třeba „diskutovat o podobě maturit“. Je nutné vyjasnit, jak se Cermat smí na této diskusi podílet. Jiří Zíka do ní zasahoval velmi aktivně, ale funkce Cermatu ve vzdělávacím systému je jiná.

Školský zákon svěřuje Cermatu přípravu zadání, distribuci, zpracování a hodnocení výsledků (přijímacích zkoušek a státních maturit) a vymezuje detaily právní, organizační a technické působnosti Cermatu v rámci tohoto zadání. Jakékoli veřejné aktivity Cermatu nebo jeho vedení zasahující nad zákonné zmocnění zpochybňují objektivitu, která je jedním z hlavních důvodů, proč byly centrální zkoušky zavedeny.

Odvolaný ředitel Cermatu neměl ve zvyku vystupovat jako vedoucí servisní organizace, která zajišťuje jednotné maturity a přijímací zkoušky po technické stránce. Data ze zkoušek se snažil utajit a veřejnosti místo nich nabízel své vlastní interpretace výsledků. Veřejně se vyjadřoval například k tomu, co žáci umějí, nebo neumějí. Propagoval centrální hodnocení slohových prací. Média hojně citovala jeho vyjádření, že maturita není vhodná pro učně, případně zda má být test z matematiky povinný pro všechny. Nic z toho mu nepříslušelo.

Ke všem takovým otázkám má Cermat poskytovat veřejnosti podrobná relevantní data. Může je samozřejmě také interpretovat, jak uzná za vhodné – ovšem pro ministerstvo jako nadřízený orgán, nikoli pro veřejnost. V souvislosti se změnou ve vedení Cermatu je nutné to připomenout a trvat na tom.

Bob Kartous, analytik a vedoucí komunikace EDUin, řekl: „Zákon v žádné ze svých částí nevymezuje pravomoc Cermatu či jeho zaměstnanců hodnotit příčiny neúspěšnosti maturantů, navrhovat maturitu z matematiky jako nutnost či potřebu, vymezovat se k počtu maturantů v populačních ročnících či navrhovat systémové změny ve vzdělávání. Jiří Zíka se přitom jako ředitel pravidelně dopouštěl právě takových mediálních prohlášení a nastupující ředitelka Michaela Kleňhová na tuto praxi navazuje. Ministerstvo školství by jí proto mělo jasně připomenout, kde je místo Cermatu ve veřejné debatě o jednotných zkouškách.“

Přečtěte si celý článek

Na novamaturita.cz jsou k dispozici graficky zpracovaná souhrnná data získaná v dosavadních ročnících státní maturity. Jde o hodnotný příspěvek k věcné debatě o budoucnosti zkoušky

Praha, 1. června – Od úterý 29. května je na stránkách spravovaných Cermatem ke stažení prezentace, v níž je možné najít grafické zpracování maturitních dat. Většina se týká posledních šesti ročníků. Data jsou členěna podle typů škol, takže je zajímavé například sledovat, které zkoušky si žáci vybírali a jak v nich byli úspěšní.  Ocenění si zaslouží názornost zpracování: informace jsou až na detaily srozumitelné veřejnosti i novinářům.

První ukázka z prezentace zobrazuje podíl maturujících na jednotlivých typech škol. Z diagramu je například patrné, že často diskutovaná skupina maturujících na učilištích představuje poměrně malý, zhruba sedmiprocentní podíl na celkovém počtu maturantů.

V druhé ukázce je možné sledovat, jak se na jednotlivých typech škol vyvíjí neúspěšnost v testu z češtiny. Je zde patrné, jak velké jsou rozdíly mezi jednotlivými typy škol. Největší míra neúspěšnosti je u maturantů na středních odborných učilištích a nástavbách.

Prezentace obsahuje kromě souhrnných diagramů podrobné diagramy pro každou jednotlivou zkoušku – tedy češtinu, matematiku a cizí jazyk. Celou prezentaci najdete ZDE.

Tomáš Feřtek, odborný konzultant EDUin, řekl: „Cermat už dříve publikoval několik závěrečných zpráv z maturit, ale poprvé už po jarním termínu zveřejnil graficky zpracovaná data, která navíc zařadil do kontextu starších ročníků zkoušky. Jde o významný posun v kvalitě podkladů pro debatu o státní maturitě. Je tu pořád několik vad – částečně anonymizovaná data mají být publikována až na konci července, ovšem měla by být k dispozici už teď, zatím nemáme popisy jednotlivých úloh a diagramy zobrazující, jaké odpovědi u každé z úloh maturanti volili. Chybí také vysvětlení některých použitých pojmů (například čistá neúspěšnost, skór) a možná také jedna strana stručného průvodního textu. Přesto jde o zásadní posun v míře otevřenosti Cermatu, za který je správné ho ocenit.“ 

Přečtěte si celý článek

EDUin žádá ministra školství, aby doporučil Cermatu publikovat u každé maturitní úlohy, co má úloha ověřovat a proč jsou jednotlivé položky odpovědi (ne)správným řešením.

Praha, 29. května – Další chyba v maturitním testu, na niž upozorňuje tiskovou zprávou MŠMT, ukazuje, že opravdu je nutné zabývat se tím, co jednotlivé maturitní úlohy ověřují, a žádat po autorech úloh, aby zdůvodňovali jednotlivé položky odpovědi. Pak by se výrazně snížilo riziko podobných chyb. Dvě taková opatření znovu navrhujeme.

  1. Zveřejňovat autorské zdůvodnění každé úlohy. Cermat by měl přebírat od autorů pouze úlohy doplněné popisem, které znalosti a dovednosti úloha ověřuje, a zdůvodněním, proč jednotlivé položky jsou či nejsou správnou odpovědí. Tento doprovod každé úlohy srozumitelný žákům by pak měl být zveřejněn ve stejném termínu a na stejném místě jako klíč správných odpovědí.
  2. Publikovat data z plošné zkoušky současně se zasláním výsledků školám. Zdrojová data, z nichž Cermat počítá výsledky školám, lze snadno anonymizovat tak, aby neumožňovala identifikovat žáky, ale uchovala informace umožňující posoudit, jak žáci a žákyně podle skupin studijních oborů a v závislosti na pohlaví řešili jednotlivé úlohy zkoušky. Pokud by při prvním zveřejnění výsledků zkoušek byla dostupná tato data, zvýšilo by to věcnost i odbornou úroveň debaty o výsledku maturit. Důležité ale je, aby Cermat tato data také převáděl do graficky srozumitelné podoby.

Zdroj: Maturiní data – odtajněno

Jako příklad takového zpracování uvádíme diagram znázorňující vývoj neúspěšnosti v maturitním testu z češtiny mezi lety 2013–2018. Je z něj patrný dramatický nárůst neúspěšných především u negymnaziálních oborů. Výsledky za rok 2018 jsou korigovány podle toho, jak MŠMT opravilo celkové výsledky maturit poté, co odhalilo aktuální chybu v maturitním testu. Neúspěšní žáci gymnázií se v diagramu s tímto rozlišením vůbec nezobrazují.

Bob Kartous, vedoucí komunikace EDUin, řekl: „V případě výskytu další chyby v testu z dílny Cermatu lze ocenit alespoň to, že ji ministerstvo uznalo navzdory opětovnému selhání všech validačních komisí a že ministr nechal opravit maturitní výsledky a nebudou postiženi nevinní žáci. Případ ale velmi dobře ilustruje, že je důležité, aby veřejnost znala autorské zdůvodnění jednotlivých položek odpovědi. Podle vyjádření ředitele Jiřího Zíky má Cermat taková zdůvodnění k dispozici. Stejně tak by stálo za to zeptat se, co přesně úloha ověřuje. Znalost přísloví? Něco jiného? V této souvislosti by nás mělo zajímat i to, zda úloha odpovídá maturitnímu katalogu, na jehož základě Cermat musí testy sestavovat.“ 

Přečtěte si celý článek

Společným jmenovatelem navrhovaných kroků je snížit riziko chyb a vadných úloh,
a to s minimálními finančními i organizačními náklady.

Praha, 2. května – Chybné a problematické úlohy v letošních jednotných přijímacích testech ukázaly nutnost přijmout opatření, která by snížila riziko, že se podobná pochybení budou opakovat. EDUin ve spolupráci s iniciativou Maturitní data – odtajněno proto navrhuje některá z nich.

Pro zlepšení uživatelského komfortu a odstranění chyb plošných zkoušek navrhujeme:

  1. Zveřejňovat autorské zdůvodnění každé úlohy. Cermat by měl přebírat od autorů pouze úlohy doplněné popisem, jaké znalosti a dovednosti úloha ověřuje, a zdůvodněním, proč jednotlivé položky jsou či nejsou správnou odpovědí. Tento doprovod každé úlohy srozumitelný žákům by pak měl být zveřejněn ve stejném termínu a na stejném místě jako klíč správných odpovědí.

Zdůvodnění a aktuální stav: Veřejně dostupné zdůvodnění koncepce úlohy by zvěcnilo debaty o jejím záměru a kvalitě. Protože precizní doprovod ke každé úloze musí být připraven předem, také by se snížila pravděpodobnost, že se do testu dostane závadná úloha. Takový doprovod v tuto chvíli pravděpodobně neexistuje. A pokud ano, rozhodně není veřejně přístupný.

Ukázkovou úlohu doplněnou o zaměření a odůvodnění najdete ke stažení ZDE.

  1. Vždy bez prodlení oficiálně zpřístupnit testová zadání. Maturitní či přijímací test by měl být publikován na stránkách Cermatu ve stejný den, kdy ho žáci vyplní.

Zdůvodnění a aktuální stav: Debaty laické i odborné veřejnosti o kvalitě testů a veřejná kontrola probíhají hlavně v době testování, proto je důležité testy zveřejňovat ihned. Okamžité zveřejnění úřední verze testových zadání také vytváří rovné podmínky před druhým kolem přijímací zkoušky. V případě maturity už je okamžité publikování testů standardem. Přijímací testy publikoval letos Cermat až po skončení druhého kola. Tuto praxi je třeba změnit.

  1. Publikovat data z plošné zkoušky současně se zasláním výsledků školám. Zdrojová data, z nichž Cermat počítá výsledky školám, lze snadno anonymizovat tak, aby neumožňovala identifikovat žáky, ale uchovala informace umožňující posoudit, jak žáci a žákyně podle skupin studijních oborů a v závislosti na pohlaví řešili jednotlivé úlohy zkoušky.

Zdůvodnění a aktuální stav: Již dostupná data slouží ve veřejné debatě jako věcný doklad funkčnosti či nefunkčnosti jednotlivých úloh, případně úspěšnosti výuky. Částečně anonymizovaná data jsou veřejným majetkem a jejich zveřejnění neodporuje zákonu na ochranu osobních údajů. Můžeme například zkoumat, jaké skupiny žáků jsou úspěšné u úloh zaměřených na porozumění textu. Zatím je nutné o částečně anonymizovaná data žádat podle zákona o veřejném přístupu k informacím a jsou dostupná se zpožděním a na několika různých místech na webu. Tuto praxi je třeba změnit a publikovat data rutinně současně se zasláním výsledků školám.

  1. Zajistit publicitu závěrečným zprávám ze zkoušek. S odstupem v řádu maximálně měsíců by měla být o každé zkoušce zveřejněna závěrečná zpráva shrnující výsledky a hlavní zjištění. Bude-li provázena názornými diagramy zpracovávajícími výsledky jednotlivých úloh, jistě nebude problém vzbudit zájem laické i učitelské veřejnosti o hlavní zjištění.

Zdůvodnění a aktuální stav: Má-li se kvalita státem organizovaných zkoušek dlouhodobě zlepšovat, je nutná reflexe založená na srozumitelných a každému dostupných informacích, které popíšou silné a slabé stránky konkrétního ročníku zkoušky a zařadí je i do dlouhodobého trendu z hlediska vývoje výsledků žáků. V tuto chvíli existují pro některé ze zkoušek závěrečné zprávy, mají ale někdy podobu neúplného a ryze odborného textu. O názorné zpracování maturitních dat se zatím pokusila pouze iniciativa Maturitní data – odtajněno v roce 2016. Výsledek vzbudil značný zájem, ačkoli nešlo o nákladné ani časově náročné zpracování. Proto by se podobná zpráva měla stát povinným doplňkem každého ročníku kterékoli státem organizované plošné zkoušky.

Oldřich Botlík, zakladatel iniciativy Maturitní data – odtajněno, řekl: „Cermat po celou dobu existence státní maturity a nyní i jednotných přijímaček cílevědomě usiluje o zachování své informační převahy, ačkoli informace získané díky zkouškám patří všem. V době, kdy se veřejnost o zkoušku intenzivně zajímá, ředitel Cermatu občas utrousí do médií nějakou dílčí informaci o výsledcích a své leckdy velmi svérázné interpretace. Případní oponenti výsledky neznají, a proto se ani nemůžou korektně ohradit. Pokračování tohoto stavu je neudržitelné.“

Tomáš Feřtek, odborný konzultant EDUin, řekl: „Navržená opatření se soustřeďují především na uživatelský komfort a nezabývají se nutnou obsahovou proměnou obou hlavních plošných zkoušek – přijímacích testů a státní maturity. Ať už si ale o potřebnosti proměny myslí zástupci různých názorových proudů cokoli, na těchto základních vylepšeních by se měli shodnout bez větších problémů.“ 

Bob Kartous, vedoucí komunikace EDUin, řekl: „Pokud stát opravdu chce uspokojit zájem veřej­nosti o plošné zkoušky, pak měla být částečně anonymizovaná data z letošních přijímaček na webu už dnes. Protože právě teď veřejnost zajímá, kolik žáků vyřešilo úlohu s traktorem nebo s cédéčky, případně kolik páťáků nedokončilo nesmyslně náročný test z matematiky. A v čem byli kluci úspěšnější než děvčata. Už za čtrnáct dní to bude většině lidí úplně jedno.“ 

Přečtěte si celý článek

Tvrzení ředitele CERMAT Jiřího Zíky, že jde o ojedinělou lidskou chybu, je nepravdivé. Systém vzniku a kontroly úloh pro přijímací zkoušky a maturitu má zřetelné slabiny dlouhodobě.

Praha, 29. dubna – V letošních přijímacích zkouškách na střední školy se vyskytovalo více problematických úloh – nejen ta jediná, u níž CERMAT uznal pochybení. Na několika příkladech ukazujeme, čemu je třeba se při přípravě testů vyhnout a jaká opatření je nutné přijmout, aby se chybné, pochybné nebo zavádějící úlohy přestaly v testech objevovat.

Kromě věcných chyb je častým problémem úloh z dílny CERMATu, že některá zadání jsou nejednoznačná, ověřují zbytečně složité a okrajové jazykové jevy, případně znejišťují ty žáky, kteří o tématu vědí víc než autor úlohy. Z letošního přijímacího testu vybíráme na doporučení učitelů několik úloh, na nichž ilustrujeme často se vyskytující problémy.

Úloha 12 (5. ročník, 17. dubna)
Které z následujících slov obsahuje kořen skládající se ze čtyř hlásek?
A) objevil
B) zabručel
C) rozběhla
D) nevydržela

Správně je B i C, protože nelze počítat písmena, ale skutečně vyslovované hlásky (b-j-e-h, případně b-j-e-ch). U této úlohy CERMAT po upozornění od učitelů vadu uznal, přestože nikdo z autorů ani členů dvou odborných komisí žádné pochybení nezaznamenal.

Návrh řešení: Cermat by měl přebírat úlohu od autora s popisem, jaké znalosti a dovednosti úloha ověřuje, a také se zdůvodněním, proč jednotlivé položky jsou či nejsou správnou odpovědí. Tento doprovod každé úlohy by pak měl být zveřejněn ve stejném termínu jako klíč správných odpovědí. Jednak by to zvýšilo šanci, že autor sám chybu odhalí, jednak by to zkvalitnilo práci i veřejnou zodpovědnost kontrolních komisí.

Úloha 13.4 (9. ročník, 16. dubna)

Rozhodněte o tvrzení, zda jednoznačně vyplývá z textu: Magnetické pole Země ovlivňuje simulaci stavu beztíže v pozemských centrech pro výzkum vesmíru.

Správná odpověď je ANO (z textu to skutečně vyplývá), nicméně z hlediska školní fyziky je to nesmysl. Uchazeč zběhlý ve fyzice ví, že vliv má gravitační pole Země, a pokládá informaci ve výchozím textu za chybu.

Návrh řešení: Jde o často se vyskytující vadu, kdy formulace úlohy mate toho, kdo o tématu úlohy ví více než její autor. Tato úloha není chybná, ale penalizuje, přinejmenším ztrátou času, ty žáky, kteří o zadání uvažují hlouběji. Řešením by opět bylo jasnější a explicitní pojmenování toho, co má úloha ověřovat, a povinnost pro autora úlohy konzultovat její znění se specialistou v oboru. V ideálním případě by samozřejmě bylo vhodné vyhýbat se úlohám, které se správně ptají na něco, co jednoznačnou odpověď nemá.

Otázka 18 (5. ročník, 13. dubna)
Vypište všechna měkká přídavná jména: „Pozor!“ vykřikli vyděšení Kopyto a Mňouk. Pěnička konečně zpozoroval hrozící nebezpečí. Vyjekl a v posledním okamžiku se vrhnul stranou. Koza prosvištěla kolem něho a strašlivou silou trkla do zdi. Hladomorna se zachvěla v základech a koza rovněž. Z místa, do něhož narazila, spadly na zem dva kameny a další dva se začaly viklat. Učitel je vyňal a vtom se objevil zvláštní výklenek. Mňouk z této tajné skrýše vytáhl krabici. Kopyto na ni koukal jako tele na nová *****.

Zamýšleným cílem úlohy pravděpodobně bylo ověřit, zda žáci rozliší měkká přídavná jména (hrozící, poslední, zvláštní, další) od přídavného jména vyděšení, které se jim tvarem podobá, ale skloňuje se podle vzoru mladý, a je tudíž tvrdé.  Ve skutečnosti ale podobné úlohy ověřují hlavně schopnost dětí odmyslet si při četbě její obsah a v časové tísni co nejpozorněji hledat nějaký gramatický či jazykový jev.

Návrh řešení: Zkoušky mají především ověřovat schopnost žáků rozumět tomu, co čtou. Možná to není možné provést zaškrtávacími úlohami nebo jejich nevhodnou náhradou („Vypište z výchozího textu…“). Bylo by vhodné podobné úlohy do testů nezařazovat, protože určitě nevyvolají ve výuce změny, které by mohly zlepšit schopnost číst s porozuměním u všech žáků.

Oldřich Botlík, zakladatel iniciativy Maturitní data – odtajněno, řekl: „Léta vysvětluji, proč má Cermat současně s klíčem správných řešení zveřejňovat také jejich důkladné odůvodnění pro žáky. U úlohy s počítáním hlásek by autor musel uvést důvody, kvůli nimž měla být správnou odpovědí ta a ta položka a žádná jiná. A také popsat, co úloha vlastně ověřuje. Kdyby to musel udělat, nejspíš by chybu objevil už on. Zaveďme toto zdůvodnění jako povinnou součást přípravy každé úlohy. A publikujme pak tato zdůvodnění zároveň s klíčem správných odpovědí. Významně tím snížíme riziko podobných chyb a zvýšíme šance veřejné kontroly korektnosti zkoušek.“

Tomáš Feřtek, odborný konzultant EDUin, řekl: „Tvrzení, že chybná úloha je zcela ojedinělá záležitost a pouhé selhání lidského faktoru, je prokazatelně nepravdivé. O problematických, chybných a nejasně formulovaných úlohách se u maturity a přijímaček diskutuje každý rok. Navíc EDUin i iniciativa Maturitní data – odtajněno opakovaně navrhuje způsoby, jak takovým selháním předejít. Bylo by tedy vhodné, aby letošní lapsus u přijímaček měl alespoň ten pozitivní důsledek, že ministr školství přiměje nové vedení CERMAT zavést taková opatření nejpozději od podzimních termínů maturit a příštích přijímacích zkoušek.“

Přečtěte si celý článek

Praha, 8. prosince – Z výběrového řízení na pozici ředitele Cermatu, organizace zodpovědné za přípravu, administraci a vyhodnocení přijímacích zkoušek na SŠ a společné části maturitních zkoušek, vzešla jako nová ředitelka Michaela Kleňhová. Podle rozhodnutí ministra Stanislava Štecha nahradí současného ředitele Jiřího Zíku v prosinci 2018. Do té doby bude působit v Cermatu v pozici náměstkyně.  Už během tohoto období by ale bylo vhodné, aby Cermat přistoupil k některým důležitým krokům. Přinášíme jejich přehled.

Co by měl udělat Cermat pod novým vedením:

  • Provést obsahovou revizi testů státních maturit a přijímacích zkoušek na SŠ. Z ohlasů veřejnosti a agregovaných výsledků úloh vyplývá, že se v testech opakovaně objevují problematické úlohy, u nichž není jasné, co a proč ověřují (epizeuxis).
  • Zadat autorům úloh, aby předem dodávali popis cílů úlohy a odůvodnění správných odpovědí. Toto zdůvodnění by mělo být po skončení testování veřejně dostupné.
  • Otevřít odbornou diskusi nad pojetím úloh v jednotlivých testech a nad jejich zaměřením. Zveřejnit seznam autorů, kteří se podílejí na přípravě katalogů požadavků k maturitním a přijímacím zkouškám. Stejně tak by měli být známi autoři úloh a sestavovatelé testů.
  • Změnit způsob hodnocení písemných prací z jazykových zkoušek kombinací hodnocení ve škole a nezávislého hodnocení v centru.
  • Zveřejňovat v plném rozsahu jak anonymizovaná data z maturitních a přijímacích zkoušek, tak přehledná a srozumitelná shrnutí pro laiky, včetně informací o řešení jednotlivých úloh.
  • Iniciovat v doporučeních ministerstvu školství analýzu dopadů přijímacích zkoušek a maturit na vzdělávání v ČR.
  • Iniciovat v doporučeních ministerstvu školství potřebné změny v legislativě, které umožní transformovat high – stakes zkoušky do podoby, která pozitivně ovlivní předchozí vzdělávání: od multiple choice testů k hodnocení dlouhodobé činnosti žáků (roční projekt a jeho obhajoba, vypracování písemné maturitní práce většího rozsahu, ověřování práce s informačními zdroji).

Bob Kartous, vedoucí komunikace EDUin, řekl: „Změna na pozici ředitele Cermat je příležitostí k tomu začít využívat významných zkoušek jako nejsilnějšího nástroje k rychlé transformaci vzdělávání ve školách. Zkoušky nastavují požadavky a podle toho školy přizpůsobují vzdělávání. K tomu je ale nutné v prvé řadě vědět, jaký dopad vlastně dosavadní maturitní a přijímací zkoušky ve vzdělávacím systému způsobují.“

Přečtěte si celý článek

Argument Cermatu, že testy nelze zveřejňovat, protože jsou chráněny autorským zákonem, je mylný. Týká se to jak testů přijímacích zkoušek, tak maturitních testů.

Praha, 22. srpna – Spor Cermatu a Oldřicha Botlíka z iniciativy Maturitní data – odtajněno, zda jsou testová zadání chráněna autorským zákonem, vyřešil posudek, který si objednalo ministerstvo školství od Ministerstva kultury. Ten konstatuje, že testy jsou jako tzv. úřední dílo vyloučeny z ochrany podle autorského zákona. Cermat bude proto muset odstranit ze svých stránek nepravdivé tvrzení o autorskoprávní ochraně a v dalším ročníku přijímacích zkoušek na střední školy nic nebrání tomu, aby byly úlohy zveřejněny vždy hned po vyplnění testů, podobně jako je to už běžné u maturity.

Spor o to, zda test je, či není autorským dílem, vedl Oldřich Botlík s Cermatem od poloviny dubna, kdy na stránkách iniciativy Maturitní data – odtajněno zveřejnil testová zadání prvního kola přijímacích zkoušek na střední školy. Podal v té věci i podnět k ministerstvu školství, které si vyžádalo odborný posudek od Ministerstva kultury. Nejde o závazné rozhodnutí, takové by mohl vydat jen soud, ale ministerstvo školství konstatuje, že se tímto stanoviskem bude řídit.

V dopisu ministerstva školství stojí, že s Cermatem bude projednáno, aby i v případě přijímacích zkoušek zajistil „v následujícím období zveřejňování zadání jednotlivých souborů testů bez zbytečného odkladu po jejich zadání uchazečům ve školách v jednotlivých termínech stanovených MŠMT pro jednotnou zkoušku“.

Optimálním řešením by bylo – podobně jako v případě maturitních testů – zveřejnění do 17.00 dne, kdy byl test zadán. Okamžikem, kdy je testové zadání rozdáno žákům v učebně, totiž ztrácí charakter veřejně nepřístupné informace. Originál zadání však nelze žákovi vydat ve škole, kde zkoušku konal – musí zůstat součástí spisu kvůli případným reklamacím (například nečitelná místa). Žák, resp. jeho rodič, má právo do spisu kdykoli nahlížet, a dokonce má právo na pořízení kopie testu – to je však složitá procedura. Proto je důležité, aby testová zadání byla co nejdříve dostupná jak žákům, rodičům i odborné veřejnosti.

Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „Z hlediska veřejného zájmu je rozhodující, že Cermatu nesmí být ponechána ani teoretická možnost, aby případným neudělením souhlasu k užití mohl účinně bránit veřejné diskusi o pojetí libovolného testu, testové úlohy či o pojetí a správnosti klíčů správných řešení. Taková diskuse musí být naopak možná počínaje okamžikem, kdy byl test u zkoušky použit.“

Přečtěte si celý článek

Testy k maturitám a přijímacím zkouškám zásadně ovlivňují obsah a zaměření vzdělávání na ZŠ a SŠ. Ředitelem organizace by měl být člověk schopný uvědomit si celkové důsledky, které testy na vzdělávání mají.

Praha, 25. července 2016 – Ministerstvo školství vypsalo výběrové řízení na ředitele Centra pro zjišťování výsledků vzdělávání (CERMAT). Tato organizace je odpovědná za koncepci, přípravu a vyhodnocení státních maturit a také připravovaných jednotných přijímacích zkoušek na střední školy. Poslední dva ředitelé, Pavel Zelený a jeho dřívější spolupracovník a dnešní ředitel Jiří Zíka, nedokázali zvýšit nedostatečný kredit, který organizace u odborné veřejnosti má.

Tzv. společná část maturitní zkoušky byla připravována průběžně od druhé poloviny 90. let 20. století. Zavedena do systému byla nakonec po několikanásobné změně koncepce i politického zadání v roce 2011. Odhaduje se, že na přípravu koncepce byla vynaložena více než miliarda korun.

V současnosti je povinnou součástí státní maturity zkouška z českého jazyka a zkouška z matematiky, případně z cizího jazyka (dle výběru maturanta). Státní maturita je dlouhodobě kritizována pro svou nákladnost, organizační nedokonalost, chybovost i obsahové zaměření testů a utajování informací. Její současný koncept vznikl za působnosti Pavla Zeleného a jeho dřívějšího spolupracovníka, dnešního ředitele Jiřího Zíky.

Výběrové řízení na ředitele CERMAT je dobrou příležitostí pro obsazení této pozice člověkem s odbornými zkušenostmi, který zároveň vnímá dopady práce jím vedené organizace komplexně a s ohledem na dlouhodobý rozvoj vzdělávání. Zde je přehled několika lidí, kteří takové podmínky splňují:

Martin Chvál – pracuje v Ústavu výzkumu a rozvoje vzdělávání při PedF UK, věnuje se oblasti hodnocení výsledků vzdělávání, dříve již jako ředitel CERMAT působil.

Petr Suchomel – manažer České školní inspekce, dlouhodobě se věnuje oblasti hodnocení výsledků vzdělávání.

Jana Straková – pracuje v Ústavu výzkumu a rozvoje vzdělávání při PedF UK, připravovala mezinárodní projekty hodnocení výsledků vzdělávání OECD v ČR (PISA, PIAAC atp.).

Jindřich Kitzberger – pracuje jako ředitel společnosti Duhovka, která provozuje síť škol. Někdejší náměstek na MŠMT pro regionální vzdělávání a ředitel ZŠ.

Jana Palečková – působí na Přírodovědecké fakultě UK, během své práce v Ústavu pro informace ve vzdělávání se podílela se na přípravě mezinárodních šetření (PISA).

Zdeněk Slejška, ředitel EDUin, řekl: Výběr nového ředitele by mohl tuto organizaci nasměrovat k tomu, aby klíčové zkoušky, které významně ovlivňují předchozí vzdělávání ve školách, sloužily k jeho kultivaci, nikoliv k degradaci. ČR má k dispozici několik odborníků, kteří by tuto důležitou práci mohli dobře vykonávat. Je samozřejmě otázka, zda je to zajímá a zda bude výběrové řízení takového člověka upřednostňovat. Každopádně by se lidé, kteří splňují kvalitativní požadavky, měli o tuto pozici ucházet, její vliv je značný.

Přečtěte si celý článek