Veľká časť pokročilých modelov, najmä hlboké neurónové siete s miliónmi parametrov, funguje ako čierna skrinka. Ich rozhodnutia sú pre človeka prakticky nepreniknuteľné, čo podkopáva dôveru, sťažuje odhalenie chýb a zaujatia a takmer znemožňuje zodpovednosť.
Čo je XAI
Vysvetliteľná AI (XAI) je súbor metód, ktoré robia rozhodnutia priehľadnými. Delia sa na globálne (popisujú celkové správanie modelu) a lokálne (vysvetľujú konkrétnu predikciu). Medzi najznámejšie patria LIME (vytvorí jednoduchší, interpretovateľný model v okolí daného bodu) a SHAP (pomocou teórie hier férovo rozdelí vplyv jednotlivých vstupov). V mediálnom kontexte XAI pomáha vysvetliť, prečo algoritmus uprednostnil určité články, alebo regulátorovi doložiť, že reklamný systém nerozhoduje podľa chránených znakov.
Hranice v praxi
XAI však naráža na viacero limitov. Najvýkonnejšie modely sú zároveň najmenej priehľadné, vzniká kompromis medzi presnosťou a vysvetliteľnosťou. Vysvetlenie je navyše subjektívne a závislé od kontextu: čo je zrozumiteľné odborníkovi, nemusí byť zrozumiteľné bežnému používateľovi. Tvorba rôznych verzií vysvetlení pre rôzne cieľové skupiny je nákladná. A napokon, požiadavka transparentnosti môže naraziť na ochranu obchodného tajomstva.
Prečo na tom záleží
Výskum potvrdil mimoriadne vysokú hodnotu transparentnosti (89,4 %) a všeobecnú nedôveru voči čiernym skrinkám. Ak je používateľovi odmietnutá služba alebo je mu zobrazená stereotypná reklama, odpoveď „rozhodol algoritmus“ je neprijateľná. XAI je technickým mostom k budovaniu dôvery, tej istej dôvery, ktorá je podľa výskumu mechanizmom akceptácie.