Digitalizaci státu je nutné nastavit transparentně. Když selže, poškodí ty nejzranitelnější, říká expert
Co se stane, když selže digitální stát? „Poškodí tím obyvatele, zásadně ovlivní důvěru ve stát a může ohrozit zásady právního státu,“ vysvětluje Matthias Spielkamp, výkonný ředitel organizace AlgorithmWatch. Podotýká, že selhání digitalizace státu postihuje ty nejzranitelnější skupiny.
V poslední době se hodně diskutuje o digitalizaci státní správy, tedy o digitální komunikaci mezi vládou, veřejnými institucemi a občany. Cílem digitalizace je zjednodušit byrokratické procedury, snížit množství papírování a potřebu osobního chození na úřady. Současně se v poslední době objevuje množství technologií využívajících AI. Je možné, že aktuální vývoj umělé inteligence zrychlí digitalizaci státu? Je AI nezbytná pro digitalizaci?
Digitalizaci lze realizovat i bez použití umělé inteligence, což já osobně podporuji. Dnes se s AI setkáváme všude. Jeden můj kolega AI často popisuje jako „umělou inteligenci, kterou jsme v minulosti znali pod názvem software“.
Matthias Spielkamp
Spoluzakladatel a výkonný ředitel organizace AlgorithmWatch. Vypovídal před výbory Rady Evropy, Evropského parlamentu, Německého spolkového sněmu a dalšími institucemi o digitalizaci a umělé inteligenci. Spielkamp je členem správní rady německé sekce organizace Reportéři bez hranic, poradních rad nadace Stiftung Warentest, nadace Freudenberg Stiftung, sítě Whistleblower Network a expertního výboru pro komunikaci Německé národní komise UNESCO.
Chce tak lidem ukázat, že to není nějaký magický nástroj, ale něco, co je s námi již dlouho a neustále se vyvíjí. Co jsme před 20 nebo 25 lety označovali za AI, by se dnes už nevnímalo jako AI.
Snažíme se také distancovat od tohoto narativu, protože je to hlavně marketingová záležitost pro společnosti. Když lidé mluví o AI, často mají na mysli chatboty a generativní modely, což je jen jedna konkrétní část AI.
Pro veřejnost je AI abstraktní pojem a každý si pod tím představuje něco jiného. Většina digitalizace ve veřejném sektoru se ale realizuje bez použití AI. Nepotřebujeme AI, dokonce to může být spíše problematické.
Co se stane, když digitální stát selže? Máte nějaké konkrétní příklady, kdy k tomu došlo?
Máme několik takových příkladů, které měly devastující dopady. Jedná se o situace, kdy v rámci veřejné správy byla nastavena automatizace úkonů, v nichž již nehráli roli lidé.
2:53
Bankovní identita lidem usnadňuje komunikaci s úřady. Digitální ověřování má ale mnohá další využití
Číst článek
Například v Holandsku stát poškodil zhruba deset tisíc rodin kvůli falešným obviněním z podvodů se sociálními dávkami. Tyto rodiny pak musely peníze vracet, což znamenalo, že se řada z nich ocitla ve finanční tísni. Došlo tam k řadě rozvodů i sebevražd.
Něco podobného se stalo v Austrálii, kde tisíce lidí dostaly zprávu, že mají zaplatit peníze do státní kasy. Jednalo se o osoby, které pobíraly sociální dávky. Často nerozuměly, co se stalo, a žádný úředník nebyl schopen pochopit, kde se stala chyba, protože nikde v systémech nenašli jakékoliv nepřesnosti.
Postiženi byli lidé, kteří neměli mnoho peněz a tudíž nebyli schopni částky zaplatit. Trvalo roky, než se přišlo na to, co se vlastně stalo.
Ve Velké Británii zase selhala digitalizace kontroly pracovníků pošty, když zavedli automatizovaný systém, aby hlídali poctivost zaměstnanců. Lidé, kteří na poště pracovali deset nebo i dvacet let, najednou čelili obviněním z podvodu. V mnoha případech přišli o práci, o přátele a rodinu, kteří měli za to, že kradou ze státní kasy. Vyšetřování trvalo roky, než se vůbec zjistilo, kde se stala chyba.
To, že se něco takového ještě nestalo v Česku nebo v Německu, neznamená, že se to stát nemůže. Toto je přesně důvod, proč potřebujeme digitalizaci nastavit co nejtransparentněji.
Důvěra ve stát
V čem se digitalizace veřejné správy liší od té v komerčním sektoru?
V případě veřejné správy lidé nemají na výběr. Není to jako digitalizace například v komerční sféře, kde si zákazník může dovolit přejít do jiné online prodejny. Chyby se budou dít, ale můžeme předejít tomu, aby se děly ve stejném rozsahu jako ty příklady, které jsem uvedl.
24:20
Občanka v mobilu: Obavy nejsou namístě. Kdyby nás stát chtěl sledovat, může už teď, míní Koubský
Číst článek
To je extrémně důležité pro fungování státu i důvěru v něj. Pokud digitalizace veřejné správy selže a poškodí tím obyvatele, zásadně to ovlivní důvěru ve stát a může ohrozit zásady právního státu.
Častou kritikou digitalizace je, že to povede k diskriminaci lidí, pro které jsou digitální řešení nedostupná. Může to být z toho důvodu, že nemají přístup k počítači, neumí s ním zacházet nebo třeba hůře vidí. Jaký je váš názor na tuto kritiku?
Toto je obrovské dilema, protože na jednu stranu digitalizace mnohým z nás může život radikálně zlepšit a zefektivnit, na druhou stranu jsou tu lidé, pro které to bude naopak. Myslím si, že by vždy měla existovat paralelní nedigitální možnost a řešení právě pro tyto lidi.
Například Británie je známá tím, že digitalizovala celou veřejnou správu a možnosti nedigitálního přístupu tam často nejsou. Pamatuji si na příklad staršího pána žijícího v Británii, který se dostal do spirály, kdy si nebyl schopný vyřídit důchod, tím pádem nebyl schopný zaplatit nájem, přišel o bydlení a propadl se na dno.
To není ojedinělý případ, tohle se reálně děje a přitom se tomu dá předejít. Pro mladší osoby, které s digitálními technologiemi vyrostly a je to pro ně normální součást života, to bude představovat velké výhody, ale nemusíme do toho nutit všechny.
Společnost by měla vždy nabízet i nedigitální přístup, ačkoliv to bude znamenat více práce. Vnímám to jako naprosto zásadní, i protože stát musí být přístupný a funkční pro všechny.
Občanský průkaz nově i v chytrém telefonu. Digitální a informační agentura spouští svůj provoz
Číst článek
Mít přístup k sociálním dávkám je přeci základní občanské právo a stát by měl zajistit, že k němu budou mít všichni přístup. K tomuto závěru došla i OSN, která před několika lety monitorovala přístup k sociálním službám.
Zjistila, že digitální systémy, které zasahují do občanského života, se týkají především těch nejzranitelnějších skupin, protože ti, kdo pravidelně komunikují se státem a žádají o dávky, jsou sociálně slabší, senioři, svobodné matky, lidé s postižením a další.
Jsou to lidé, kteří jsou nějakým způsobem diskriminováni, lidé, kteří mají ztížené životní podmínky. Když budeme vyvíjet systémy, které je budou i nadále diskriminovat, ke kterým nebudou mít přístup, prohloubíme tím již existující propasti.
Závažný problém
Diskriminace tedy předchází digitalizaci?
Ano, vždy a ještě bych rád dodal další příklad z jiného soudku. Jde o systémy „facial recognition“, tedy automatické systémy na rozpoznávání obličejů. Ženy ze Spojených států s afroamerickými kořeny přišly na to, že přesnost rozpoznávání jejich obličejů je mnohem nižší než pro jiné skupiny.
Tyto systémy hůře rozpoznávají obličeje nebílých lidí a zdaleka nejhůř žen s tmavou pletí. To je zase příklad jiného druhu diskriminace automatizovaných systému, která má několik vrstev. Je to závažný problém, protože se tyto systémy často zneužívají k etnickému profilování lidí, například policií, která se častěji zaměřuje na kontroly nebílých občanů.
V souvislosti s AI často zmiňujete „registr transparentnosti“. Co to přesně je? Usilujeme o to, aby každý digitalizovaný systém, který slouží občanům, musel projít hodnocením. První krok tohoto hodnocení zjišťuje, zda jeho používání zahrnuje rizika.
Podpora digitálního vzdělávání má omezené dopady, stála přitom 8,2 miliardy, uvedli kontroloři
Číst článek
Pokud ano, pak se musí sepsat detailní report o tom, jaká rizika to jsou a jak se jim vývojáři snažili předejít. Tento report bude následně publikován v registru, který bude veřejně dostupný.
Je jasné, že většina lidí by na denní bázi do registru nenahlížela, ale byl by užitečný pro občanskou společnost, novináře, justici a stát, kteří by tyto informace mohli využít v případě, že by se stalo něco podobného jako v Holandsku nebo Austrálii.
Byl by to nástroj dostupný pro lidi, kteří byli systémem nějak poškozeni. Registr by pak mohl sloužit právníkům a vedl by k rychlejšímu, transparentnějšímu a efektivnějšímu napravení. Druhý aspekt je, že by to pomohlo veřejné správě, která je často podobně ve tmě, jako běžní občané.
Pokud existuje efektivní digitální systém, který využívá město Brno, bude o něm vědět pražský magistrát? Pravděpodobně ne. Když by všechny digitální systémy používané veřejnou správou byly popsány ve veřejných registrech, pomohlo by to státu ušetřit náklady na vyvíjení nových a třeba i chybných systémů. Myslíme si, že by digitalizace byla efektivnější a lepší.
V jiných oblastech je podobná kontrola kvality běžnou normou. I proto si myslíme, že by měla být součástí probíhající digitalizace veřejné správy.
