Uzavřená normativní smyčka: Riziko algoritmické kontaminace judikatury a správní praxe

Právě tento návrat odlišuje běžný omyl od uzavřené normativní smyčky. Jde o situaci, kdy se chybný nebo neověřený právní závěr dostane do soudního či správního rozhodování, získá institucionální autoritu a později začne potvrzovat sám sebe. Označení není zavedeným právním pojmem. Vystihuje však nové riziko: právo může vidět několik shodných rozhodnutí, ale už nemusí poznat, že všechna vycházejí z jednoho společného a nikdy řádně ověřeného zdroje.

Kdy se z chyby stane smyčka

Samotná nepřesná odpověď AI smyčku ještě nevytváří. Ta vzniká až propojením několika kroků: systém nabídne právní závěr, člověk jej převezme, závěr se objeví v institucionálním dokumentu a ten se vrátí do informačního prostředí, z něhož čerpají další lidé nebo systémy. Chyba se tím neztratí. Změní podobu a získá větší důvěryhodnost.

Další uživatel už zpravidla nevidí původní konverzaci se systémem. Vidí rozsudek, správní rozhodnutí, metodický text nebo odborné stanovisko. Může proto předpokládat, že nosný závěr prošel samostatnou právní úvahou odpovědné osoby. Institucionální dokument tak původní stopu překryje a z pouhé odpovědi nástroje vytvoří zdroj, který navenek působí ověřeně.

Smyčka může probíhat různými technickými cestami. Starší dokument se může stát součástí nových tréninkových dat, ale stejně dobře jej může další systém pouze vyhledat v databázi a vložit do nové odpovědi. Někdy vše proběhne bez dalšího strojového učení, jen prostřednictvím běžného citování mezi lidmi. Právní problém proto nespočívá v jedné konkrétní technologii, nýbrž ve skrytém společném původu opakovaných závěrů.

Vymyšlený judikát je jen začátek

Nejviditelnější chybou generativní AI je neexistující rozsudek, spisová značka nebo citace. Méně nápadná a často nebezpečnější je odpověď, která odkazuje na skutečné rozhodnutí, ale nesprávně je vyloží. Systém může zaměnit tvrzení účastníka za závěr soudu, vytrhnout větu z odlišného skutkového kontextu, spojit několik rozsudků do jedné neexistující doktríny nebo přehlédnout pozdější judikaturu. Formální kontrola pak potvrdí, že citace existuje, ale neodhalí, že pro uvedený právní názor ve skutečnosti oporu neposkytuje.

První chyba navíc nemusí být strojová. AI může zesílit starší lidský omyl, nepřesnou anotaci nebo chybný komentář. Pro vznik smyčky není rozhodující autor prvního pochybení, ale to, zda se jeho pozdější, institucionálně potvrzená podoba začne používat jako důkaz vlastní správnosti. Plynulý jazyk a rychlost výstupu jen zvyšují riziko, že se kontrola omezí na to, zda text zní právnicky, nikoli zda je právně v pořádku.

Proč opakování získává právní autoritu

Právo přirozeně navazuje na dřívější rozhodnutí. Soudní judikatura sjednocuje výklad a opakovaný právní názor získává přesvědčivost. Ve veřejné správě se navíc očekává, že skutkově podobné případy nebudou bez důvodu řešeny rozdílně. Nejvyšší správní soud spojuje legitimní očekávání s praxí, která je ustálená, jednotná a dlouhodobá; postup odporující zákonu však legitimní očekávání založit nemůže.

Tato pravidla chrání právní jistotu, ale pracují hlavně s tím, co je navenek viditelné: s obsahem rozhodnutí, jejich opakováním a předvídatelností postupu. Skrytý společný původ přitom běžně nezkoumají. Právě v této mezeře může technicky rozmnožený omyl získat stejný vnější vzhled jako výklad, který se ustálil po skutečné právní diskusi.

Proto je třeba rozlišovat četnost a nezávislost. Deset rozhodnutí může být silným signálem ustáleného právního názoru, pokud vznikla v různých věcech po skutečném posouzení argumentů. Stejných deset rozhodnutí má jinou vypovídací hodnotu, pokud pouze reprodukují jeden neověřený výstup. Uzavřená smyčka nevytváří právní konsenzus; vytváří jeho statisticky přesvědčivou napodobeninu.

Přezkum, který vidí výsledek, ale ne původ

Běžný soudní nebo správní přezkum se soustředí na skutkový základ, použití práva a srozumitelnost odůvodnění. Kontaminované rozhodnutí přitom může na první pohled obstát: má logickou strukturu, obsahuje skutečné citace a navazuje na další rozhodnutí. Slabina se skrývá jinde. Není zřejmé, odkud nosný právní závěr pochází a zda některý z uváděných zdrojů představuje skutečně nezávislé potvrzení.

Ani podpis soudce nebo úřední osoby sám o sobě původní vadu neléčí. Lidský dohled má význam pouze tehdy, pokud člověk rozumí omezením nástroje, má čas otevřít primární zdroje a může výstup odmítnout nebo přepracovat. Namátková kontrola spisových značek nestačí tam, kde problém spočívá v nesprávném výkladu skutečných rozhodnutí.

Účastník řízení se navíc nemusí dozvědět, že AI významně ovlivnila rešerši nebo odůvodnění. Tím spíše nemůže zjistit, zda několik rozhodnutí použitých proti němu nevychází ze stejného algoritmického základu. Právo na obranu se pak oslabuje nikoli tím, že by opravný prostředek formálně chyběl, ale tím, že člověk nemá informace potřebné k odhalení společného původu argumentů.

Nový pohled: ověřitelný původ a nezávislé potvrzení

Vedle správnosti výsledku by se proto měly posuzovat dvě další vlastnosti: ověřitelnost původu a nezávislost potvrzení. U nosného právního závěru má být možné zjistit, z jakého primárního zdroje vychází, jak byl tento zdroj vyložen a kdo výklad skutečně zkontroloval. Současně je třeba vědět, zda několik uváděných rozhodnutí vzniklo po samostatném posouzení, nebo pouze opakuje stejný základ.

Nejde o požadavek zaznamenávat každé použití vyhledávače nebo zveřejňovat celý vnitřní pracovní proces soudce či úředníka. Povinnost má být přiměřená významu nástroje. Čím více AI ovlivnila výběr judikatury, právní kvalifikaci nebo nosné důvody rozhodnutí, tím silnější musí být možnost zpětně ověřit použité zdroje, verzi systému, relevantní vstup a výstup i následnou lidskou kontrolu.

Při hodnocení ustálené praxe by proto měl hrát roli také původ její shody. Větší váhu má soubor rozhodnutí, která vznikla na různých podkladech, reagovala na různé argumenty, a přesto dospěla ke stejnému výsledku. Jestliže shodu vytvořil jediný skrytě reprodukovaný výstup, je praxe navenek stabilní, ale její právní základ nebyl vícekrát nezávisle prověřen.

Co dělat, když je řetězec kontaminován

Zjištění, že při přípravě rozhodnutí byla použita AI, neznamená automaticky jeho nezákonnost ani důvod ke zrušení. Rozhodující je skutečný vliv systému a kvalita lidské kontroly. Jiná je situace, kdy nástroj pouze pomohl se stylistickou úpravou, a jiná, když dodal nosný právní důvod nebo judikaturu, kterou nikdo neověřil. Společný algoritmický původ je proto důvodem k novému prověření, nikoli sám o sobě důkazem nesprávnosti.

Vznikne-li důvodná pochybnost, měl by orgán umět doložit rozhodující zdroje a způsob jejich kontroly. Právní otázku je třeba znovu prověřit mimo podezřelý řetězec, zejména z primárních pramenů a s přihlédnutím k protichůdným závěrům. Pokud nosný důvod nelze rekonstruovat nebo se ukáže jako smyšlený či zásadně zkreslený, může jít podle povahy řízení o vadu při zjišťování podkladů, nedostatek důvodů nebo nepřezkoumatelnost. Konkrétní následek však musí vždy odpovídat významu chyby pro konečné rozhodnutí.

Co by se mělo povinně testovat

U nástrojů, které významně pomáhají soudům nebo správním orgánům s právní rešerší, výběrem judikatury či odůvodněním, nestačí testovat jen plynulost textu. Před nasazením, po významné aktualizaci a při změně databází by se mělo ověřovat alespoň toto:

Pravost zdrojů: zda systém nezaměňuje soud, datum nebo spisovou značku, nevytváří neexistující rozhodnutí a neskládá jeden údajný rozsudek z několika různých dokumentů.
Věrnost výkladu: zda citovaný závěr skutečně vyplývá z rozhodnutí a odpovídá jeho skutkovému i procesnímu kontextu. Systém má rozlišit závěr soudu od tvrzení účastníků nebo pouhé rekapitulace.
Aktuálnost a názorová úplnost: zda nástroj zachytí změnu právní úpravy, pozdější překonání staršího závěru a významnou protichůdnou judikaturu. Test nesmí odměňovat pouze rychlou odpověď podporující první nalezený názor.
Původ a nezávislost: zda je u nosných tvrzení dohledatelný primární zdroj a zda několik zdánlivě různých zdrojů ve skutečnosti nečerpá z téhož sekundárního textu, dřívějšího výstupu nebo společné předem vytvořené analýzy. Samotné použití stejného modelu závislost ještě neprokazuje, je však důvodem zkoumat ji podrobněji.
Odolnost proti zpětné vazbě: zda systém nezačíná vlastní starší výstupy nebo dokumenty jimi výrazně ovlivněné používat jako nezávislé potvrzení. Je třeba zvlášť sledovat data použitá pro trénování, dokumenty vyhledávané při odpovědi a podklady, na nichž se hodnotí přesnost systému.

Výsledky těchto kontrol musí být srozumitelné lidem, kteří mají vykonávat dohled. Nestačí pouze interní test poskytovatele ani hodnocení provedené stejným modelem, jehož spolehlivost se zkoumá. Ověření musí stát na primárních právních zdrojích, známých zkušebních případech a na osobách schopných právní závěr samostatně posoudit.

Závěr

Uzavřená normativní smyčka není nový právní institut, ale pojmenování problému, který se může stát pro právo podstatnější než jednotlivé halucinace AI. Chybný výstup se může vtělit do skutečného rozhodnutí, vrátit se do právního informačního prostředí a postupně zakrýt vlastní původ. V určitém okamžiku pak už nemusí být zřejmé, zda určitý názor vznikl opakovaným právním posouzením, nebo jen opakováním jednoho zdroje.

Právo proto nemůže sledovat pouze konečný text a počet rozhodnutí, která jej podporují. Musí přiměřeně chránit také ověřitelnost zdrojů, skutečnost lidské kontroly a nezávislost jednotlivých potvrzení. Největším rizikem není samotná chyba stroje, ale okamžik, kdy ji právní systém přijme za vlastní, začne z jejího opakování odvozovat správnost a ztratí schopnost dohledat, kde vůbec vznikla.

Oba autoři článku jsou státní zaměstnanci Finanční správy ČR. Shora uvedený text je vyjádřením soukromého názoru autorů, který se nemusí shodovat s právním názorem Finanční správy ČR, a tedy nemůže založit (nebo změnit) případnou správní praxi v dané oblasti.