EU AI Act tretira AI koji se koristi u medicinskom kontekstu kao visokorizičan. Za dobavljača poput Faurenisa to znači nekoliko konkretnih obveza: sustav upravljanja kvalitetom, tehničku dokumentaciju, transparentnost prema kliničarima, ljudski nadzor te zapise o točnosti i robusnosti.
Akt čitamo konzervativno. Iz toga slijede dvije praktične posljedice.
Prvo, svaka AI površina u Faurenisu mora podržavati ljudski nadzor na način koji kliničar zaista može provoditi. To je više od „Pregledaj“ gumba — to je dizajnerska odluka da svaki AI paragraf bude označen, koju smo opisali u ranijem članku, plus validacijski red, plus utemeljenost na redu transkripta. Te stvari postoje među ostalim zato što kliničar mora moći intervenirati na pravoj razini detalja, a ne tek na kraju.
Drugo, zapis o točnosti je značajka proizvoda, a ne samo usklađenosti. Točnost po modelu i po zadatku bilježimo na izdvojenom evaluacijskom skupu i izvještavamo o njoj unutar administratorske konzole. Ako točnost padne, administrator to vidi prije nego što kliničar osjeti.
Nećemo tvrditi „usklađeno s EU AI Actom“ dok regulatorni krajolik i put do certifikacije nisu u potpunosti uspostavljeni. Reći ćemo „dizajnirano u skladu s EU AI Actom“ — što je upravo ono što rad u proizvodu trenutno jest.