Právní AI objektivně I. — Motivace a metodika

1. Proč potřebujeme čísla

Tento přístup, fungující zpravidla při práci na konkrétním výstupu (požadavky různých seniorních právníků se mohou vzájemně lišit), není škálovatelný, přenositelný, reprodukovatelný ani verifikovatelný.

Stejný problém provází v podstatě od samého počátku právní AI systémy. Jejich výstupy hodnotíme především intuitivně: „to vypadá správně” nebo „něco se mi na tom nezdá.” Přestože tyto dojmy mohou mít určitou relevanci, zejména pokud jde o zkušeného právníka, nelze podle nich spolehlivě určit, zda se právní AI systém zlepšil např. mezi verzemi 1.3 a 1.4, či zda pokrok nastal v určité oblasti (např. občanském právu), zatímco jiná oblast se zhoršila, případně, zda se např. zlepšila práce s některými meta-úlohami (např. agentní vyhledávání v databázi judikatury), ale přesto došlo k poklesu přesnosti či správnosti konečné odpovědi, a zejména, proč se tak stalo.

Z uvedených důvodů vznikl MTPX Benchmark.[1] MTPX Benchmark nahrazuje intuitivnost hodnocení strukturovanými, ověřitelnými, měřitelnými a přenositelnými kritérii, což prakticky umožňuje verifikovatelně měřit správnost odpovědí právních AI systémů. Na vstupu je jedna otázka, na výstupu jedna odpověď, následuje vyhodnocení. Každý výstup získá skóre, které lze rozložit do definovaných oblastí hodnocení — a tak získat přímé srovnání napříč právními AI systémy a jejich verzemi.

2. Co měříme

MTPX Benchmark měří schopnost právního AI systému poskytnout správnou odpověď na netriviální právní problém. To od právního AI systému vyžaduje schopnost vyhnout se typicky se vyskytujícím chybovým vzorcům.

Mechanismus pro odhalení chybového vzorce je následující. Právnímu AI systému je položena otázka v podobě popisu skutkového stavu. Správná odpověď vyžaduje vyhledání obecného pravidla a výjimky k němu. Právní AI systém však může mít tendenci zjednodušit si práci a aplikovat pouze obecné pravidlo. K výjimce, která by změnila odpověď, se vůbec nedostane. Nebezpečí nesprávné odpovědi, připravené právním AI systémem, spočívá v přesvědčivosti, s jakou je výstup připraven — na první pohled logický, odborně formulovaný, nicméně v klíčovém bodě nesprávný. Tento vzorec nazýváme polished overclaiming — přesvědčivé nadhodnocování: právní AI systém si nic nevymýšlí (např. neexistující judikaturu), pouze neúplnou, a tedy nesprávnou odpověď předkládá se stejnou jistotou, jako odpověď úplnou a správnou.

Nebezpečnost tohoto chybového vzorce spočívá v jeho uhlazenosti. Právní AI systém může přesně citovat správné zákonné ustanovení, a přitom vytvořit nesprávnou odpověď, které uživatel uvěří. Proto se MTPX Benchmark nespokojí s pouhým ověřením přítomnosti právních tvrzení. Sledujeme také to, zda neúplná odpověď působí jako vyčerpávající analýza — protože právě tam leží skutečné riziko.

Tento problém má paralelu i v jiných oborech. Ve výzkumu podnikových AI systémů popisuje Krti Tallam (2026)[2] příbuzný jev zvaný authorization-limited evidence — přístupově omezené důkazy: systém pracuje správně v rámci povolených datových hranic, ale skrytě nadhodnocuje úplnost svého výstupu, protože odpověď sestavená z povolených (tedy dostupných, ale neúplných) dat vypadá natolik věrohodně, že nevzbuzuje pochybnosti. K systematickému sledování tohoto chování měříme tzv. unsafe completeness rate — míru nebezpečné neúplnosti — napříč testovací sadou: podíl případů, v nichž odpověď právního AI systému působí jako úplná, přestože chybí aplikace klíčové výjimky.

MTPX Benchmark rozlišuje tři profily chování právního AI systému: unsafe polished overclaiming (přesvědčivý, ale skrytě neúplný výstup), conservative underclaiming (přehnaná opatrnost nebo odmítnutí odpovědět) a structured completeness awareness (povědomost o limitech záběru odpovědi).

3. Konstrukce testovacích případů

Každý testovací případ v MTPX Benchmarku je navržen tak, aby otestoval, zda právní AI systém aplikuje klíčové body, vyžadované pro posouzení odpovědi jako správné a úplné.

Otázka a naivní odpověď (Foil)

Každý testovací případ začíná otázkou v běžném jazyce — žádné citace, žádná čísla paragrafů, žádné náznaky řešení nebo jádra testovaného problému. Souběžně ke každému případu vytváříme naivní odpověď (foil): odstavec popisující odpověď, jakou by dal právní AI systém aplikující jen obecná pravidla bez výjimek. Foil slouží jako referenční bod pro chybnou odpověď.

Atomická pravidla ve třech kategoriích

Hodnocení dále vychází z diskrétních, samostatně ověřitelných atomických pravidel — konkrétních právních a skutkových tvrzení, která se v odpovědi mají nebo nemají vyskytnout:

must_contain — klíčové právní závěry a ustanovení, která správná odpověď musí obsahovat.
may_contain — doplňující kontext, doktrinální pozadí nebo judikatorní či legislativní dovysvětlení, která přidávají hodnotu, aniž by byly striktně vyžadovány k posouzení odpovědi jako úplné a správné.
must_not_contain — chybná tvrzení vycházející z naivní odpovědi. Pokud se některá z nich v odpovědi právního AI systému objeví, je odpověď hodnocena jako chybná.

Kategorie chybových vzorců

Každý testovací případ je označen typem chyby, kterou testuje. To umožňuje analyzovat nejen celkový výkon právního AI systému, ale také to, kde se případné nedostatky koncentrují:

exception-to-general-rule — aplikace obecného pravidla bez zohlednění rozhodující výjimky.
legislative-amendment — aplikace neplatného znění zákona.
case-law-conflict — sledování překonané nebo rozporné judikatury.
deadline-calculation — výpočet zákonných termínů a promlčecích lhůt.
scope-limitation — aplikace pravidla mimo jeho osobní, časovou nebo věcnou působnost.

Příprava testovacích případů

Generování testovacích případů, které jsou právně přesné, netriviální a strukturované, vyžaduje pečlivý návrh procesu. Používáme modulární tříkrokový systém s lidskou kontrolou v klíčových bodech:

4. Hodnocení a bodování

Hodnocení využívá dvouprůchodovou architekturu, která odděluje mechanickou kontrolu pravidel od holistického hodnocení.

Průchod 1 — Hodnocení atomických pravidel. Hodnotící LLM model (hodnotitel) zkoumá každé atomické pravidlo samostatně: byla správně aplikována pravidla must_contain a must_not_contain? Hodnotitel mimo jiné ověřuje, zda jsou přítomny vyžadované normativní a judikatorní odkazy a zda jsou použity ve správném kontextu.

Průchod 2 — Hodnocení nebezpečné neúplnosti. Druhý hodnotitel se dívá na odpověď jako jeden celek. Porovná ji s naivní odpovědí (foilem), přičemž hodnotí jejich podobnost na škále nebezpečné neúplnosti v rozmezí 0 až 1 (čím nižší hodnota, tím lépe; hodnota blízká 1 znamená, že odpověď se příliš podobá chybné odpovědi).

Oblasti hodnocení

Výsledky obou průchodů se promítají do pěti samostatných oblastí hodnocení:

Správnost — kolik požadavků must_contain právní AI systém splnil?
Vyhýbání se chybám — kolika chybám must_not_contain se právní AI systém vyhnul?
**Ukotvení (grounding)** — vážené skóre přesnosti citací: jak přesně a úplně právní AI systém uváděl normativní, judikatorní a doktrinální odkazy?
Nebezpečná neúplnost — jak moc se odpověď podobá naivní chybné verzi?
Bonusové body — bonus za splnění požadavků may_contain a za přesnost citací nad rámec vyžadovaného minima.

Těchto pět oblastí vstupuje do dvou souhrnných skóre. Souhrnné skóre atomických pravidel přikládá největší váhu správnosti pravidel (50 %), následuje vyhýbání se chybám (25 %), ukotvení (15 %) a bonusové body (10 %). Za každý opomenutý požadavek must_contain nebo nesprávně aplikovaný požadavek must_not_contain snižuje celkové skóre o 50 %. Holistické souhrnné skóre kombinuje celkový verdikt (40 %), bezpečnostní profil z hodnocení úplnosti (30 %) a dílčí hodnocení kvality argumentace, přesnosti citací a úplnosti (30 % celkem) do jediného ukazatele celkové spolehlivosti výstupu.

5. Architektura systému

MTPX Benchmark je uspořádán jako pětistupňový systém:

build → test → grade → profile → tendency

Krok build zajišťuje přípravu testovacích případů. Krok test spouští právní AI systém, volá API právního AI systému a zaznamenává odpovědi. Krok grade provádí dvouprůchodové hodnocení popsané výše. Krok profile generuje detailní diagnostiku pro každý případ — hodnotí kvalitu otázky, strukturu odpovědi, odchylky v uvažování a popisuje „kritickou cestu”: co přesně by právní AI systém musel udělat jinak, aby dosáhl perfektního skóre. Krok tendency agreguje výsledky napříč celými testovacími sadami a sestavuje strukturované zprávy o systémových chybách a výkonnosti v jednotlivých právních oblastech.

6. Co MTPX Benchmark nepokrývá

Žádný benchmark nezachytí vše a intelektuální poctivost vyžaduje jasně říct, co tento nezachycuje.

Aktuální framework se zaměřuje právní a faktickou správnost generovaných odpovědi. Nehodnotí např. schopnosti při draftingu právních dokumentů, litigační schopnosti či due-diligence výkonnost právního AI systému.

Testovací případy jsou tvořeny pomocí AI nástrojů z reálných případů, zejména judikatury, a následně jsou verifikovány člověkem — právním odborníkem. Představují typické chybové profily, nepředstavují však vyčerpávající katalog každé možné chyby, které se právní AI systém může dopustit.

Testovací případy jsou psány specificky pro české právo. Zjištěné metriky se tak přímo nepřenášejí na jiné právní řády — rozhodnutí českého Nejvyššího soudu nemá relevanci pro závěry týkající se např. německého nebo anglického práva. Použitá metodologie a hodnocení testovacích případů je nicméně jurisdikčně agnostická a lze ji adaptovat na jakýkoli právní systém, resp. i na zcela jinou, než právní oblast.

[1] MTPX Benchmark je softwarový nástroj pro měření výkonnosti právních AI systémů, ověřitelným, verifikovatelným a v praxi použitelným způsobem. Cílem není nahradit úsudek zkušených právníků — ale dát mu konkrétní oporu.

[2] MTPX Benchmark je softwarový nástroj pro měření výkonnosti právních AI systémů, ověřitelným, verifikovatelným a v praxi použitelným způsobem. Cílem není nahradit úsudek zkušených právníků — ale dát mu konkrétní oporu.