Pět otázek pro Zdeňka Kučeru

Zdeněk Kučera je partnerem mezinárodní advokátní kanceláře Dentons, kde se specializuje na právo v oblasti technologií, včetně AI Aktu. JUDr. Kučera je rovněž vedoucím Centra práva, technologií a digitalizace na Právnické fakultě Univerzity Karlovy v Praze.

Tento rozhovor je malou ochutnávkou jeho odborného vhledu a zároveň pozvánkou na přednášku, která proběhne na kongresu Právní prostor 2025.

V únoru 2025 vstoupila v účinnost první ustanovení AI Aktu. Jak hodnotíte první měsíce jeho praktické implementace a jaké největší výzvy jsou teď aktuální pro subjekty, na které dopadá?

Dopad prvních ustanovení AI Aktu na české subjekty zatím není dramatický. Většina povinností se váže k tzv. systémům s vysokým rizikem, jejichž regulace teprve vstoupí v účinnost. Co se týče zákazu systémů s nepřijatelným rizikem, tam se ukazuje, že trh si už dříve poradil sám – tyto systémy obvykle neprošly sítem jiných předpisů, jako je GDPR.

Subjekty zatím reagují spíše opatrně. Výraznější aktivitu sledujeme zejména u bank a nadnárodních korporací, které k AI přistupují velmi zodpovědně. V naší praxi jsme do konce dubna 2025 asistovali při zavádění více než dvaceti AI nástrojů, vždy s ohledem na aktuální i budoucí požadavky AI Aktu.

Jednou z hlavních hrozeb je fenomén, který si dovolím nazvat “GDPR efektem”. Když přišlo GDPR, objevila se celá armáda “odborníků”, kteří si přes noc vytvořili vizitku konzultanta. S AI je to podobné. Jenže tohle není oblast, kde by stačilo připravit dvoustránkový souhlas a tvářit se, že máme hotovo.

AI compliance vyžaduje pochopení technologií, práva, etiky i sektorové regulace. Bohužel stále narážíme na případy, kdy „experti“ doporučují implementaci bez znalosti toho, jak systém zpracovává data nebo k čemu bude reálně sloužit. A pokud si chcete svého poradce prověřit, položte mu jednoduchou otázku: „Vysvětlete mi, co znamená predikce následujícího tokenu v sekvenci.“ Pokud váhá, zpozorněte.

Jaké jsou podle vás klíčové nejasnosti nebo sporné body v současném znění AI Aktu?

AI Akt přináší celou řadu otázek bez jasných odpovědí. Jednou z největších je nepřesná definice některých pojmů, zejména tzv. obecných AI modelů (GPAI). Nejasné je rovněž to, jak přesně hodnotit rizika – metodika chybí, standardy nejsou jednotné, a v důsledku toho vzniká právní nejistota.

Velká část textu vznikla jako kompromis mezi politickými zájmy, což se nutně projevilo na kvalitě formulací. Výsledkem může být přeregulace, která zvýší náklady, ale nepřinese odpovídající společenský přínos.

Další spornou oblastí je nedostatek technických standardů pro audity a testování AI systémů. Zatím neexistuje jednotná metodika, což vede k roztříštěnosti přístupů. A nakonec – geografický rozsah působnosti a přeshraniční vymáhání více regulátory zůstávají ne zcela jasné.

Dá se už teď předurčit, jaké revize budou do budoucna nezbytné, i vzhledem k dynamickému vývoji AI?

Jednoznačně ano. Bude třeba průběžně aktualizovat seznam vysoce rizikových systémů a zpřesňovat definice i metodiku hodnocení rizik. Nezbytná bude rovněž jednotná metodika pro posuzování tzv. systémových rizik u obecně použitelných modelů (např. velké jazykové modely typu GPT).

Regulace by měla být schopná reagovat na nové technologie i nečekané dopady – ať už jde o bezpečnost, dopady na pracovní trh nebo šíření dezinformací. A v neposlední řadě bude klíčová i mezinárodní koordinace – zejména s ohledem na vývoj v USA, Číně či dalších jurisdikcích. Bez interoperabilních pravidel riskujeme roztříštěnost trhu.

AI Akt rozděluje systémy umělé inteligence do čtyř kategorií, podle míry rizika. Jak se liší požadavky na jednotlivé kategorie a kde vidíte nejproblematičtější aspekty této klasifikace? Je zvolený risk-based přístup dostatečně efektivní pro rychle se vyvíjející technologie?

Klasifikace dle rizika je jádrem AI Aktu – AI Akt ukládá různá pravidla pro následující 4 kategorie AI systémů :

• Zakázané systémy – např. AI pro manipulaci lidského chování nebo tzv. social scoring. Ty jsou zcela zakázány.
• Vysokorizikové systémy – např. AI v náboru, vzdělávání nebo kritické infrastruktuře. Tyto podléhají rozsáhlé regulaci, včetně požadavků na transparentnost, kvalitu dat, lidský dohled či registraci.
• Systémy podléhající povinnosti transparentnosti – typicky AI chatboti a povinnost informovat uživatele, že jedná s AI.
• Ostatní AI systémy – zde není uvalena žádná nová povinnost.

Z hlediska aplikace je nejsložitější právě střední – vysoce riziková – kategorie. Ne vždy je totiž jasné, co sem spadá, a hrozí, že některé systémy budou regulovány zbytečně přísně. Risk-based přístup je z principu správný, ale jeho funkčnost závisí na schopnosti pravidla pružně měnit. A to bude v reálném světě výzva.

S ohledem na současnou diskusi o regulaci umělé inteligence, jaký je Váš názor na to, zda AI má být regulována, nebo zda regulace zbytečně brzdí inovační tempo v Evropské unii?

Regulace je nezbytná – bez ní hrozí ztráta důvěry veřejnosti, porušování práv a v krajním případě i ohrožení bezpečnosti. AI může být obrovským přínosem, ale musí být používána odpovědně. V tomto směru AI Akt vítám.

Zároveň ale platí, že ďábel je v detailu. Současná verze klade nemalé administrativní nároky – zejména na malé a střední podniky, pro které může být dodržování všech povinností neúnosné. Do budoucna bude třeba najít lepší rovnováhu mezi ochranou a inovací.

Evropský model ale není bez šancí. Může přinést výhodu ve formě důvěryhodné AI – obdobně jako tomu bylo u GDPR. A pokud se podaří sladit transparentnost s efektivitou, může se stát exportním artiklem i právní rámec.

Děkuji Vám za rozhovor.