Sur l’avenir de la détection intelligente des dangers

Entretien avec Marlon Possard – expert en intelligence artificielle

Marlon Possard est professeur assistant, spécialiste en droit et en sciences administratives, et philosophe. Il enseigne et mène des recherches en tant que candidat à l’habilitation au département d’administration, d’économie, de sécurité et de politique (VWSP) et au Centre de recherche en sciences administratives (RCAS) de l’Université des sciences appliquées de Vienne (HCW). Il enseigne et mène également des recherches à l’Institut pour la transformation numérique et l’intelligence artificielle de la Faculté de droit de l’Université privée Sigmund Freud de Vienne et Berlin (SFU), où il dirige le département d’éthique de l’intelligence artificielle. Il est également chercheur invité à l’université Harvard (États-Unis). Il est l’auteur de nombreuses publications et contributions sur des questions de droit, d’administration et d’éthique (plus de 140).

En amont de la Campus Lecture à Vienne, il a pris le temps de répondre à nos questions.

Question :

Monsieur Possard, l’éthique de l’intelligence artificielle joue un rôle central dans vos domaines de recherche. Selon vous, quels sont les critères décisifs pour que la détection des dangers assistée par l’IA – telle qu’elle est utilisée aujourd’hui dans les centres de contrôle modernes – puisse être exploitée de manière responsable et conforme à la législation ?

Marlon Possard :

« Tout d’abord, le principe de finalité et de proportionnalité est déterminant. La détection des dangers assistée par l’IA ne doit pas fonctionner selon le principe « autant de données que possible », mais doit poursuivre des objectifs de sécurité clairement définis. Les systèmes de détection des incendies, des accès non autorisés ou des situations qui dégénèrent se distinguent considérablement, sur le plan juridique et éthique, d’une surveillance généralisée des comportements.

Deuxièmement, la transparence et la traçabilité sont indispensables. Les exploitants doivent être en mesure d’expliquer selon quels critères un système déclenche une alarme, établit des priorités ou évalue les risques. Dans les environnements critiques pour la sécurité notamment, une approche de type « boîte noire » ne suffit pas. Les décisions doivent pouvoir faire l’objet d’un audit, tant sur le plan technique qu’organisationnel.

Troisièmement, la supervision humaine est essentielle. Dans les centres de contrôle, l’IA devrait principalement servir d’aide à la décision, et non d’instance agissant de manière autonome. L’évaluation finale d’une situation doit rester du ressort de personnes qualifiées – surtout lorsque les mesures impliquent des atteintes considérables aux droits fondamentaux.

Quatrièmement, la qualité des données est un facteur clé. Des données d’apprentissage biaisées ou incomplètes peuvent entraîner des fausses alertes ou des évaluations discriminatoires. C’est pourquoi ces systèmes nécessitent une validation continue, des contrôles réguliers des biais et des normes de qualité claires. Enfin, une gouvernance solide est nécessaire. Il s’agit de responsabilités claires, de processus documentés, d’analyses d’impact sur la protection des données ainsi que de contrôles indépendants. La sécurité juridique ne découle pas uniquement de la technologie, mais plus particulièrement d’un ancrage institutionnel et organisationnel. »

Question :

Les systèmes de détection en temps réel identifient aujourd’hui les incendies, les armes ou les schémas de mouvement inhabituels et hiérarchisent automatiquement les événements. Quels défis scientifiques ou juridiques voyez-vous lorsque les analyses de risques automatisées deviennent une base décisionnelle centrale ?

Marlon Possard :

« Le principal défi réside avant tout dans le transfert du pouvoir de décision. En effet, lorsque les systèmes ne se contentent pas de détecter les risques, mais les hiérarchisent réellement, ils influencent directement ce sur quoi les humains concentrent leur attention. Cela peut apporter d’énormes gains d’efficacité, mais comporte également le risque d’un « biais d’automatisation ». Cela peut conduire les humains à avoir tendance à se fier excessivement aux évaluations algorithmiques.

D’un point de vue scientifique, cela soulève donc la question de la validité de tels systèmes dans des conditions réelles. Un modèle peut être très précis en laboratoire, mais fonctionner nettement moins bien en situation de stress, dans de mauvaises conditions d’éclairage ou dans des environnements complexes. Les événements rares – par exemple les attaques armées – sont particulièrement difficiles à modéliser statistiquement, car les données d’entraînement de haute qualité sont limitées.

Sur le plan juridique, la question de savoir qui porte la responsabilité lorsqu’un système établit un ordre de priorité erroné ou néglige un danger revêt une importance particulière. Avec l’automatisation croissante, les responsabilités entre le fabricant, l’exploitant et l’utilisateur s’estompent progressivement. Il s’agit actuellement d’un thème central, notamment dans le cadre juridique européen. À cela s’ajoute la question des droits fondamentaux. Les systèmes qui analysent les schémas de mouvement ou les anomalies de comportement s’aventurent rapidement dans le domaine des profils de personnalité sensibles. Il faut en tout cas définir clairement quelles données peuvent être collectées, pendant combien de temps elles sont conservées et dans quelles conditions les évaluations automatisées sont autorisées. »

Question :

Les technologies de surveillance en temps réel et d’analyse automatisée des risques se situent souvent au cœur d’un conflit entre les intérêts de sécurité, la protection des données et l’acceptation sociale. Que faut-il pour que les gens perçoivent les systèmes de sécurité basés sur l’IA comme légitimes et dignes de confiance ?

Marlon Possard :

« La confiance ne naît pas uniquement de la performance technique, mais aussi de règles compréhensibles et d’une application équitable. Les gens acceptent plus facilement les technologies de sécurité lorsqu’ils comprennent réellement à quoi elles servent et quelles sont leurs limites.

La transparence est donc primordiale. Les opérateurs doivent communiquer de manière transparente quelles données sont traitées, quels risques doivent être détectés et quelles décisions sont prises de manière automatisée ou par des humains.

Deuxièmement, le principe de minimisation des données est indispensable. Les systèmes devraient être conçus de manière à nécessiter le moins de données à caractère personnel possible. De nombreuses applications de sécurité peuvent par exemple être mises en œuvre grâce à la détection d’événements ou de modèles, sans créer de profils d’identité complets.

Troisièmement, la responsabilité est cruciale. Lorsque les systèmes d’IA commettent des erreurs, il doit être clair comment les incidents sont examinés, corrigés et documentés. Les gens font davantage confiance aux systèmes lorsqu’il existe des mécanismes de contrôle et de réclamation efficaces.

Enfin, il ne faut pas oublier l’aspect de la participation sociale, qui joue également un rôle important. Les technologies qui interviennent profondément dans les espaces publics ne devraient pas être définies exclusivement par les fabricants ou les autorités. La raison est évidente : l’acceptation naît là où les entreprises, la science, la politique et la société civile développent ensemble des normes. »

Question :

Dans vos travaux scientifiques, vous analysez les poursuites pénales fondées sur les données et le travail policier assisté par l’IA. Selon vous, quelles méthodes ou connaissances issues de ce domaine pourraient également s’avérer utiles pour des applications de sécurité civile, par exemple dans les entreprises ou les institutions publiques ?

Marlon Possard :

« Une approche importante est la hiérarchisation basée sur les risques. Les systèmes d’analyse modernes peuvent regrouper de grandes quantités de données hétérogènes – je pense par exemple aux capteurs, aux données d’accès ou aux flux vidéo – et évaluer les événements en fonction de leur contexte. Pour les applications civiles, cela peut aider à utiliser les ressources de manière plus ciblée et à identifier plus rapidement les situations critiques.

Le principe de l’architecture « Human-in-the-Loop », tel que le prescrit également l’Artificial Intelligence Act (AI Act) de l’Union européenne, est tout aussi pertinent. Dans les domaines critiques pour la sécurité en particulier, il s’est avéré que les systèmes fonctionnent de manière particulièrement fiable lorsque l’IA fournit des analyses préliminaires, mais que l’évaluation finale reste du ressort de personnes formées. Cette combinaison renforce à la fois l’efficacité et la responsabilité.

La recherche sur le travail policier a également mis en évidence la nécessité d’évaluer en permanence les systèmes techniques. Les modèles voient leurs performances évoluer au fil du temps (par exemple en raison de changements d’environnement ou de nouveaux types de menaces). C’est pourquoi des audits réguliers, des contrôles de qualité et des mécanismes d’adaptation sont indispensables.

En fin de compte, l’interopérabilité est également un enjeu central, car les situations de sécurité se présentent rarement de manière isolée. La valeur ajoutée des plateformes modernes réside souvent dans leur capacité à intégrer intelligemment différentes sources de données et différents systèmes de sécurité, tout en respectant des règles claires en matière de protection des données et d’accès. »

Question :

Vous enseignez et menez des recherches sur les questions de sécurité nationale, de numérisation et de gouvernance. Comment, selon vous, peut-on trouver un juste équilibre entre l’aide à la décision automatisée et la responsabilité humaine, en particulier dans les situations d’intervention où chaque seconde compte ?

Marlon Possard :

« La question cruciale n’est pas « l’homme ou la machine », mais comment les deux peuvent interagir de manière judicieuse. Mon appel : considérer l’IA comme un partenaire. C’est précisément dans les situations où le temps est compté que l’IA peut soulager les humains en pré-triant les informations, en reconnaissant des schémas ou en hiérarchisant les alertes. Cela augmente à la fois la rapidité et la conscience de la situation.

Dans le même temps, nous ne devons toutefois pas déléguer la responsabilité à des systèmes qui ne possèdent ni compréhension du contexte ni capacité de jugement normatif. Les humains sont capables d’évaluer les incertitudes , de faire des choix éthiques et d’interpréter des situations exceptionnelles. Toutes ces capacités revêtent une importance capitale, en particulier dans les situations de crise.

Concrètement, cela signifie que l’IA doit formuler des recommandations tout en laissant une marge de manœuvre pour la prise de décision. Les systèmes doivent être conçus de manière à ce que les opérateurs puissent comprendre, corriger ou passer outre les interventions. De bonnes interfaces homme-machine sont donc tout aussi importantes que la qualité des algorithmes eux-mêmes. La formation et une culture organisationnelle efficace sont en outre indispensables. Quiconque travaille avec des systèmes de sécurité basés sur l’IA doit non seulement en comprendre les fonctions, mais aussi leurs limites. La compétence technologique fait ainsi de plus en plus partie intégrante du travail professionnel dans le domaine de la sécurité. »

Question :

Si vous pensez aux cinq à dix prochaines années : selon vous, quelles évolutions dans les domaines de l’IA, de l’éthique et de la détection des événements critiques auront le plus d’influence sur des solutions telles que la gestion des événements critiques, telle que Primion la présentera lors de la Campus Lecture le 20 mai ?

Marlon Possard :

« À cet égard, je vois principalement trois évolutions que je voudrais esquisser.

Premièrement, l’IA deviendra nettement plus sensible au contexte. À l’avenir, les systèmes ne se contenteront pas de détecter des événements isolés, mais fusionneront des tableaux de situation complexes provenant de différentes sources (par exemple, l’analyse vidéo, le contrôle d’accès, les capteurs des bâtiments ou les données de communication). Il en résultera une évaluation en temps réel nettement plus précise des situations critiques, ce qui est positif.

Deuxièmement, la question de l’IA de confiance deviendra stratégiquement cruciale, car les exigences réglementaires – notamment en Europe – feront de la traçabilité, de la documentation, de l’auditabilité et du contrôle humain des avantages concurrentiels majeurs. À l’avenir, les entreprises qui développent des technologies de sécurité devront proposer des systèmes non seulement performants, mais aussi explicables et gouvernables.

Troisièmement, la sécurité cyber-physique va se rapprocher davantage. Les événements critiques touchent de plus en plus souvent à la fois les infrastructures physiques et numériques. Les plateformes de sécurité modernes devront donc adopter une approche plus intégrée : une attaque contre les systèmes informatiques, les installations techniques des bâtiments ou les infrastructures d’accès sera désormais considérée comme une situation de sécurité globale.

À long terme, le succès de ces solutions ne se mesurera pas uniquement au nombre d’événements qu’elles détectent, mais à la manière dont elles soutiennent les décisions de manière responsable. Le défi central des années à venir sera donc, à mon avis, de concilier durablement les performances technologiques avec les principes de l’État de droit et l’éthique. En bref : pour moi, la meilleure solution de sécurité n’est pas la plus autonome, mais celle qui combine judicieusement les atouts de l’humain et de l’IA. »