Over de toekomst van intelligente gevarenherkenning

Een interview met Marlon Possard – expert op het gebied van kunstmatige intelligentie

Marlon Possard is assistent-professor, rechts- en bestuurswetenschapper en filosoof. Hij geeft les en doet onderzoek als habilitand aan het Departement voor Bestuur, Economie, Veiligheid en Politiek (VWSP) en aan het Research Center Administrative Sciences (RCAS) van de Hogeschool voor Toegepaste Wetenschappen Campus Wenen (HCW). Daarnaast geeft hij les en doet hij onderzoek aan het Instituut voor Digitale Transformatie en Kunstmatige Intelligentie aan de Faculteit Rechtsgeleerdheid van de Sigmund-Freud-Privatuniversität Wien en Berlijn (SFU), waar hij leiding geeft aan de afdeling Ethiek van Kunstmatige Intelligentie. Daarnaast is hij gastonderzoeker aan de Harvard University (VS). Hij is auteur van talrijke publicaties en bijdragen over kwesties op het gebied van recht, bestuur en ethiek (meer dan 140).

In aanloop naar de Campus Lecture in Wenen nam hij de tijd om onze vragen te beantwoorden.

Vraag:

Meneer Possard, in uw onderzoeksgebieden speelt de ethiek van kunstmatige intelligentie een centrale rol. Welke criteria zijn volgens u doorslaggevend om ervoor te zorgen dat AI-ondersteunde gevarenherkenning – zoals die tegenwoordig in moderne meldkamers wordt gebruikt – op een verantwoorde en ook juridisch veilige manier kan worden ingezet?

Marlon Possard:

“Allereerst zijn het beginsel van doelbinding en evenredigheid van cruciaal belang. AI-ondersteunde gevarenherkenning mag niet worden toegepast volgens het principe ‘zoveel mogelijk data’, maar moet duidelijk omschreven veiligheidsdoelen nastreven. Systemen voor het herkennen van brandincidenten, onbevoegde toegang of escalerende situaties verschillen juridisch en ethisch aanzienlijk van alomvattende gedragsmonitoring.

Ten tweede zijn transparantie en traceerbaarheid nodig. Exploitanten moeten kunnen uitleggen op basis van welke criteria een systeem alarm slaat, prioriteiten stelt of risico’s beoordeelt. Juist in veiligheidsgevoelige omgevingen volstaat een ‘black box’-benadering niet. Beslissingen moeten controleerbaar zijn – zowel technisch als organisatorisch.

Ten derde is menselijk toezicht cruciaal. AI moet in meldkamers in de eerste plaats dienen als ondersteuning bij de besluitvorming, niet als een autonoom handelende instantie. De uiteindelijke beoordeling van een situatie moet bij gekwalificeerde mensen blijven – vooral wanneer maatregelen gepaard gaan met aanzienlijke inbreuken op grondrechten.

Ten vierde is datakwaliteit een belangrijke factor. Vertekende of onvolledige trainingsgegevens kunnen leiden tot valse alarmen of discriminerende beoordelingen. Daarom hebben dergelijke systemen voortdurende validatie, regelmatige bias-controles en duidelijke kwaliteitsnormen nodig. En ten slotte is er behoefte aan robuust bestuur. Dit omvat duidelijke verantwoordelijkheden, gedocumenteerde processen, effectbeoordelingen op het gebied van gegevensbescherming en onafhankelijke controles. Rechtszekerheid ontstaat niet alleen door technologie, maar in het bijzonder door institutionele en organisatorische inbedding.”

Vraag:

Systemen voor realtime detectie herkennen tegenwoordig brand, wapens of ongebruikelijke bewegingspatronen en prioriteren gebeurtenissen automatisch. Welke wetenschappelijke of juridische uitdagingen ziet u wanneer automatische risicoanalyses een centrale basis voor besluitvorming worden?

Marlon Possard:

De grootste uitdaging ligt vooral in de verschuiving van de beslissingsbevoegdheid. Als systemen namelijk risico’s niet alleen herkennen, maar ook daadwerkelijk prioriteren, beïnvloeden ze direct waar mensen hun aandacht op richten. Dat kan enorme efficiëntiewinst opleveren, maar brengt ook het gevaar van een zogenaamde ‘automatiseringsbias’ met zich mee. Dit kan ertoe leiden dat mensen de neiging hebben om te veel te vertrouwen op algoritmische beoordelingen.

Wetenschappelijk rijst daarom de vraag naar de validiteit van dergelijke systemen onder reële omstandigheden. Een model kan in het laboratorium zeer nauwkeurig zijn, maar onder stress, slechte lichtomstandigheden of in complexe omgevingen aanzienlijk slechter functioneren. Juist zeldzame gebeurtenissen – bijvoorbeeld gewapende aanvallen – zijn statistisch moeilijk te modelleren, omdat hoogwaardige trainingsgegevens beperkt zijn.

Juridisch gezien is het vooral relevant wie de verantwoordelijkheid draagt als een systeem verkeerde prioriteiten stelt of een gevaar over het hoofd ziet. Met toenemende automatisering vervagen ook geleidelijk de verantwoordelijkheden tussen fabrikant, exploitant en gebruiker. Dat is momenteel vooral in het Europese rechtskader een centraal thema. Daarnaast is er de kwestie van de grondrechten. Systemen die bewegingspatronen of gedragsafwijkingen analyseren, begeven zich al snel op het terrein van gevoelige persoonlijkheidsprofielen. Hier moet in ieder geval duidelijk worden geregeld welke gegevens mogen worden verzameld, hoe lang ze worden opgeslagen en onder welke voorwaarden geautomatiseerde beoordelingen überhaupt zijn toegestaan.”

Vraag:

Technologieën voor realtime monitoring en geautomatiseerde risicoanalyse bevinden zich vaak in het spanningsveld tussen veiligheidsbelangen, gegevensbescherming en maatschappelijke acceptatie. Wat is er nodig om ervoor te zorgen dat mensen AI-ondersteunde beveiligingssystemen als legitiem en betrouwbaar beschouwen?

Marlon Possard:

“Vertrouwen ontstaat niet alleen door technische prestaties, maar door begrijpelijke regels en eerlijke toepassing. Mensen accepteren beveiligingstechnologieën eerder als ze ook echt begrijpen welk doel ze dienen en waar grenzen liggen.

Daarom is openheid in de eerste plaats belangrijk. Exploitanten moeten transparant communiceren welke gegevens worden verwerkt, welke risico’s moeten worden onderkend en welke beslissingen geautomatiseerd of door mensen worden genomen.

Ten tweede is het principe van gegevensminimalisatie nodig. Systemen moeten zo worden ontworpen dat ze zo min mogelijk persoonsgegevens nodig hebben. Veel beveiligingstoepassingen kunnen bijvoorbeeld worden gerealiseerd met gebeurtenis- of patroonherkenning, zonder uitgebreide identiteitsprofielen aan te maken.

Ten derde is verantwoordingsplicht cruciaal. Als AI-systemen fouten maken, moet duidelijk zijn hoe incidenten worden gecontroleerd, gecorrigeerd en gedocumenteerd. Mensen vertrouwen systemen eerder als er effectieve controle- en klachtenmechanismen zijn.

Ten slotte mag het aspect van maatschappelijke participatie niet worden vergeten, dat eveneens een belangrijke rol speelt. Technologieën die diep ingrijpen in de openbare ruimte, mogen niet uitsluitend door fabrikanten of overheden worden bepaald. De reden ligt voor de hand: acceptatie ontstaat waar bedrijven, wetenschap, politiek en het maatschappelijk middenveld gezamenlijk normen ontwikkelen.”

Vraag:

In uw wetenschappelijk werk analyseert u datagestuurde wetshandhaving en AI-ondersteund politiewerk. Welke methoden of inzichten uit dit gebied zouden volgens u ook waardevol kunnen zijn voor civiele veiligheidstoepassingen, bijvoorbeeld in bedrijven of openbare instellingen?

Marlon Possard:

“Een belangrijke benadering is risicogebaseerde prioritering. Moderne analysesystemen kunnen grote hoeveelheden heterogene gegevens – ik denk daarbij bijvoorbeeld aan sensorgegevens, toegangsgegevens of videostreams – samenvoegen en gebeurtenissen in hun context beoordelen. Voor civiele toepassingen kan dit helpen om middelen gerichter in te zetten en kritieke situaties sneller te identificeren.

Even relevant is het principe van de ‘human-in-the-loop’-architectuur, zoals ook voorgeschreven door de Artificial Intelligence Act (AI Act) van de Europese Unie. Met name in veiligheidsgevoelige sectoren is gebleken dat systemen bijzonder betrouwbaar werken wanneer AI vooranalyses levert, maar de uiteindelijke beoordeling bij getrainde mensen blijft. Deze combinatie verhoogt zowel de efficiëntie als de verantwoordelijkheid.

Uit onderzoek naar politiewerk blijkt bovendien dat technische systemen voortdurend moeten worden geëvalueerd. Modellen veranderen in de loop van de tijd van prestatievermogen (bijvoorbeeld door veranderde omgevingen of nieuwe dreigingspatronen). Daarom zijn regelmatige audits, kwaliteitscontroles en aanpassingsmechanismen nodig.

Uiteindelijk is ook interoperabiliteit een centraal thema, aangezien beveiligingssituaties zelden op zichzelf staan. De meerwaarde van moderne platforms ligt vaak in het intelligent integreren van verschillende gegevensbronnen en beveiligingssystemen – uiteraard wel onder naleving van duidelijke regels inzake gegevensbescherming en toegang.”

Vraag:

U geeft les en doet onderzoek naar kwesties op het gebied van staatsveiligheid, digitalisering en governance. Hoe kan er volgens u een zinvol evenwicht worden gevonden tussen geautomatiseerde beslissingsondersteuning en menselijke verantwoordelijkheid, met name in operatiesituaties waarin elke seconde telt?

Marlon Possard:

“De cruciale vraag is niet “mens of machine”, maar hoe beide op een zinvolle manier samenwerken. Mijn oproep: zie AI als partner. Juist in tijdkritische situaties kan AI mensen ontlasten door informatie voor te sorteren, patronen te herkennen of waarschuwingen te prioriteren. Dat verhoogt zowel de snelheid als het situationeel bewustzijn.

Tegelijkertijd mogen we de verantwoordelijkheid echter niet delegeren aan systemen die noch contextbegrip, noch normatief beoordelingsvermogen bezitten. Mensen kunnen onzekerheden beoordelen, ethische afwegingen maken en uitzonderlijke situaties interpreteren. Al deze vaardigheden zijn juist in crisissituaties van enorm belang.

In de praktijk betekent dit concreet: AI moet aanbevelingen doen, maar ruimte laten voor beslissingen. Systemen moeten zo zijn ontworpen dat operators ingrepen kunnen begrijpen, corrigeren of overschrijven. Goede mens-machine-interfaces zijn daarom net zo belangrijk als de kwaliteit van de algoritmen zelf. Daarnaast zijn opleiding en een efficiënte organisatiecultuur onmisbaar. Wie met AI-ondersteunde beveiligingssystemen werkt, moet niet alleen de functies begrijpen, maar ook de grenzen ervan. Technologische competentie wordt dus steeds meer een onderdeel van het professionele beveiligingswerk.”

Vraag:

Als u aan de komende vijf tot tien jaar denkt: welke ontwikkelingen op het gebied van AI, ethiek en kritieke gebeurtenisdetectie zullen volgens u de grootste invloed hebben op oplossingen zoals Critical Event Management, zoals Primion dat op 20 mei tijdens de Campus Lecture heeft gepresenteerd?

Marlon Possard:

“In dit verband zie ik vooral drie ontwikkelingen die ik wil schetsen.

Ten eerste zal AI aanzienlijk contextgevoeliger worden. Systemen zullen in de toekomst niet alleen afzonderlijke gebeurtenissen herkennen, maar ook complexe situatieschetsen uit verschillende bronnen samenvoegen (bijvoorbeeld videoanalyse, toegangscontrole, gebouwsensoren of communicatiegegevens). Dit leidt tot een aanzienlijk nauwkeurigere realtime beoordeling van kritieke situaties, wat positief is.

Ten tweede wordt het thema betrouwbare AI strategisch cruciaal, omdat regelgevende eisen – met name in Europa – ertoe zullen leiden dat traceerbaarheid, documentatie, controleerbaarheid en menselijke controle centrale concurrentievoordelen worden. Bedrijven die beveiligingstechnologie ontwikkelen, moeten in de toekomst niet alleen krachtige, maar ook verklaarbare en bestuurlijke systemen aanbieden.

Ten derde zal cyberfysieke beveiliging sterker naar elkaar toe groeien. Kritieke gebeurtenissen hebben steeds vaker betrekking op zowel fysieke als digitale infrastructuren. Moderne beveiligingsplatforms zullen daarom meer geïntegreerd moeten denken: een aanval op IT-systemen, gebouwtechniek of toegangsinfrastructuren zal in de toekomst worden beschouwd als een samenhangende beveiligingssituatie.

Op de lange termijn zal het succes van dergelijke oplossingen niet alleen worden afgemeten aan het aantal gebeurtenissen dat ze herkennen, maar ook aan de mate waarin ze op verantwoorde wijze beslissingen ondersteunen. De centrale uitdaging van de komende jaren zal naar mijn mening daarom zijn om technologische prestaties duurzaam in overeenstemming te brengen met rechtsstatelijke en ethische principes. Kortom: de beste beveiligingsoplossing is voor mij niet de meest autonome, maar degene die de sterke punten van mens en AI op zinvolle wijze combineert. “