Sobre el futuro de la detección inteligente de peligros

Entrevista con Marlon Possard, experto en inteligencia artificial

Marlon Possard es profesor adjunto, especialista en Derecho y Ciencias Administrativas y filósofo. Imparte clases y realiza investigación como doctorando en el Departamento de Administración, Economía, Seguridad y Política (VWSP) y en el Centro de Investigación en Ciencias Administrativas (RCAS) de la Universidad de Ciencias Aplicadas Campus Viena (HCW). Además, imparte clases e investiga en el Instituto de Transformación Digital e Inteligencia Artificial de la Facultad de Derecho de la Universidad Privada Sigmund Freud de Viena y Berlín (SFU), donde dirige el Departamento de Ética de la Inteligencia Artificial. Además, es investigador invitado en la Universidad de Harvard (EE. UU.). Es autor de numerosas publicaciones y artículos sobre cuestiones de derecho, administración y ética (más de 140).

Antes de la Campus Lecture en Viena, se tomó el tiempo de responder a nuestras preguntas.

Pregunta:

Señor Possard, en sus áreas de investigación, la ética de la inteligencia artificial desempeña un papel fundamental. En su opinión, ¿qué criterios son decisivos para que la detección de peligros asistida por IA – tal y como se utiliza hoy en día en los centros de control modernos – pueda emplearse de forma responsable y con seguridad jurídica?

Marlon Possard:

En primer lugar, es fundamental el principio de limitación de la finalidad y de proporcionalidad. La detección de peligros asistida por IA no debe funcionar según el principio de «cuantos más datos, mejor», sino que debe perseguir fines de seguridad claramente definidos. Los sistemas de detección de incendios, accesos no autorizados o situaciones de escalada difieren considerablemente, tanto desde el punto de vista jurídico como ético, de la vigilancia generalizada del comportamiento.

En segundo lugar, se requiere transparencia y trazabilidad. Los operadores deben poder explicar según qué criterios un sistema activa una alarma, establece prioridades o evalúa riesgos. Precisamente en entornos críticos para la seguridad, un enfoque de «caja negra» no es suficiente. Las decisiones deben ser auditables, tanto desde el punto de vista técnico como organizativo.

En tercer lugar, la supervisión humana es fundamental. La IA debería funcionar en los centros de control principalmente como apoyo a la toma de decisiones, no como una instancia que actúa de forma autónoma. La evaluación final de una situación debe recaer en personas cualificadas, sobre todo cuando las medidas implican una injerencia considerable en los derechos fundamentales.

En cuarto lugar, la calidad de los datos es un factor clave. Los datos de entrenamiento sesgados o incompletos pueden dar lugar a falsas alarmas o a evaluaciones discriminatorias. Por ello, estos sistemas requieren una validación continua, comprobaciones periódicas de sesgos y normas de calidad claras. Y, por último, se necesita una gobernanza sólida. Esto implica responsabilidades claras, procesos documentados, evaluaciones de impacto en materia de protección de datos y controles independientes. La seguridad jurídica no surge únicamente de la tecnología, sino, en particular, de la integración institucional y organizativa.

Pregunta:

Los sistemas de detección en tiempo real detectan hoy en día incendios, armas o patrones de movimiento inusuales y priorizan los eventos automáticamente. ¿Qué retos científicos o jurídicos ve usted cuando los análisis de riesgo automatizados se convierten en una base central para la toma de decisiones?

Marlon Possard:

«El mayor reto radica principalmente en el desplazamiento del poder de decisión. Y es que, cuando los sistemas no solo detectan riesgos, sino que también los priorizan, influyen directamente en aquello a lo que las personas dirigen su atención. Esto puede suponer enormes ganancias de eficiencia para un , pero también entraña el peligro de lo que se conoce como «sesgo de automatización». Esto puede llevar a que las personas tiendan a confiar excesivamente en las evaluaciones algorítmicas.

Desde el punto de vista científico, se plantea por tanto la cuestión de la validez de dichos sistemas en condiciones reales. Un modelo puede ser muy preciso en el laboratorio, pero funcionar mucho peor bajo estrés, en condiciones de poca luz o en entornos complejos. Precisamente los sucesos poco frecuentes – por ejemplo, los ataques armados – son difíciles de modelar estadísticamente, ya que los datos de entrenamiento de alta calidad son limitados.

Desde el punto de vista jurídico, es especialmente relevante determinar quién asume la responsabilidad cuando un sistema establece prioridades erróneas o pasa por alto un peligro. Con el aumento de la automatización, las responsabilidades entre el fabricante, el operador y el usuario se difuminan progresivamente. Actualmente, este es un tema central, especialmente en el marco jurídico europeo. A esto se suma la cuestión de los derechos fundamentales. Los sistemas que analizan patrones de movimiento o anomalías de comportamiento se adentran rápidamente en el ámbito de los perfiles personales sensibles. En cualquier caso, debe regularse claramente qué datos pueden recopilarse, durante cuánto tiempo se almacenan y en qué condiciones son admisibles las evaluaciones automatizadas.»

Pregunta:

Las tecnologías de vigilancia en tiempo real y de análisis automatizado de riesgos suelen encontrarse en la encrucijada entre los intereses de seguridad, la protección de datos y la aceptación social. ¿Qué se necesita para que las personas perciban los sistemas de seguridad basados en IA como legítimos y fiables?

Marlon Possard:

«La confianza no surge únicamente del rendimiento técnico, sino de unas normas comprensibles y una aplicación justa. Las personas tienden a aceptar mejor las tecnologías de seguridad cuando comprenden realmente a qué sirven y cuáles son sus límites.

Por lo tanto, lo primero es la transparencia. Los operadores deben comunicar de forma transparente qué datos se procesan, qué riesgos se pretenden detectar y qué decisiones se toman de forma automatizada o humana.

En segundo lugar, es necesario el principio de minimización de datos. Los sistemas deben diseñarse de tal manera que requieran la menor cantidad posible de datos personales. Muchas aplicaciones de seguridad pueden implementarse, por ejemplo, mediante la detección de eventos o patrones, sin necesidad de crear perfiles de identidad exhaustivos.

En tercer lugar, la rendición de cuentas es fundamental. Cuando los sistemas de IA cometen errores, debe quedar claro cómo se revisan, corrigen y documentan los incidentes. Las personas tienden a confiar más en los sistemas cuando existen mecanismos eficaces de control y reclamación.

Por último, no hay que olvidar el aspecto de la participación social, que también desempeña un papel importante. Las tecnologías que intervienen profundamente en los espacios públicos no deberían ser definidas exclusivamente por los fabricantes o las autoridades. La razón es obvia: la aceptación surge cuando las empresas, la ciencia, la política y la sociedad civil desarrollan normas de forma conjunta.»

Pregunta:

En su trabajo científico analiza la persecución penal basada en datos y la labor policial asistida por IA. ¿Qué métodos o conocimientos de este ámbito podrían ser valiosos, en su opinión, también para aplicaciones de seguridad civil, por ejemplo, en empresas o instituciones públicas?

Marlon Possard:

«Un enfoque importante es la priorización basada en el riesgo. Los sistemas de análisis modernos pueden reunir grandes cantidades de datos heterogéneos – pienso, por ejemplo, en sensores, datos de acceso o flujos de vídeo – y evaluar los eventos en su contexto. Para las aplicaciones civiles, esto puede ayudar a utilizar los recursos de forma más específica e identificar situaciones críticas con mayor rapidez.

Igualmente relevante es el principio de la arquitectura «Human-in-the-Loop», tal y como lo prescribe también la Ley de Inteligencia Artificial (AI Act) de la Unión Europea. Especialmente en ámbitos críticos para la seguridad, se ha demostrado que los sistemas funcionan de forma especialmente fiable cuando la IA proporciona análisis previos, pero la evaluación final recae en personas cualificadas. Esta combinación aumenta tanto la eficiencia como la responsabilidad.

De la investigación sobre el trabajo policial se desprende, además, que los sistemas técnicos deben evaluarse continuamente. Los modelos modifican su rendimiento con el tiempo (por ejemplo, debido a cambios en el entorno o a nuevos patrones de amenaza). Por ello, se necesitan auditorías periódicas, controles de calidad y mecanismos de adaptación.

En definitiva, la interoperabilidad es también un tema fundamental, ya que las situaciones de seguridad rara vez se dan de forma aislada. El valor añadido de las plataformas modernas suele residir en la integración inteligente de diferentes fuentes de datos y sistemas de seguridad, aunque siempre bajo unas normas claras de protección de datos y acceso.»

Pregunta:

Usted imparte clases e investiga sobre cuestiones de seguridad estatal, digitalización y gobernanza. En su opinión, ¿cómo se puede lograr un equilibrio razonable entre el apoyo automatizado a la toma de decisiones y la responsabilidad humana, especialmente en situaciones de intervención en las que cada segundo cuenta?

Marlon Possard:

«La cuestión decisiva no es «hombre o máquina», sino cómo ambos pueden interactuar de forma sensata. Mi llamamiento: ver la IA como un socio. Precisamente en situaciones en las que el tiempo es crítico, la IA puede aliviar la carga de las personas al preseleccionar información, reconocer patrones o priorizar alertas. Esto aumenta tanto la velocidad como la conciencia situacional.

Al mismo tiempo, sin embargo, no debemos delegar la responsabilidad en sistemas que carecen tanto de comprensión del contexto como de capacidad de juicio normativo. Las personas pueden evaluar incertidumbres de maner, sopesar cuestiones éticas e interpretar situaciones excepcionales. Todas estas capacidades revisten una enorme importancia, especialmente en situaciones de crisis.

En la práctica, esto significa concretamente que la IA debe ofrecer recomendaciones, pero dejar margen para la toma de decisiones. Los sistemas deben estar diseñados de tal manera que los operadores puedan comprender, corregir o anular las intervenciones. Por lo tanto, unas buenas interfaces hombre-máquina son tan importantes como la calidad de los propios algoritmos. Además, son indispensables la formación y una cultura organizativa eficiente. Quien trabaje con sistemas de seguridad basados en IA no solo debe comprender sus funciones, sino también sus límites. La competencia tecnológica se convierte así, cada vez más, en parte del trabajo profesional de seguridad.»

Pregunta:

Si piensa en los próximos cinco a diez años: ¿qué avances en el ámbito de la IA, la ética y la detección de eventos críticos cree que tendrán mayor influencia en soluciones como la gestión de eventos críticos, tal y como la presentará Primion en la Campus Lecture del 20 de mayo?

Marlon Possard:

En este sentido, veo principalmente tres avances que me gustaría esbozar.

En primer lugar, la IA será mucho más sensible al contexto. En el futuro, los sistemas no solo detectarán eventos individuales, sino que fusionarán imágenes complejas de la situación procedentes de diferentes fuentes (por ejemplo, análisis de vídeo, control de acceso, sensores de edificios o datos de comunicación). Esto dará lugar a una evaluación en tiempo real mucho más precisa de las situaciones críticas, lo cual es positivo.

En segundo lugar, el tema de la IA fiable será estratégicamente decisivo, ya que los requisitos normativos – especialmente en Europa – harán que la trazabilidad, la documentación, la auditabilidad y el control humano se conviertan en ventajas competitivas fundamentales. Las empresas que desarrollan tecnología de seguridad deberán ofrecer en el futuro sistemas no solo potentes, sino también explicables y gobernables.

En tercer lugar, la seguridad ciberfísica se integrará cada vez más. Los incidentes críticos afectan cada vez con mayor frecuencia tanto a las infraestructuras físicas como a las digitales. Por ello, las plataformas de seguridad modernas deberán adoptar un enfoque más integrado: en el futuro, un ataque a los sistemas informáticos, a la tecnología de los edificios o a las infraestructuras de acceso se considerará una situación de seguridad interrelacionada.

A largo plazo, el éxito de este tipo de soluciones no se medirá únicamente por el número de incidentes que detecten, sino por la responsabilidad con la que respalden las decisiones. En mi opinión, el principal reto de los próximos años será, por tanto, conciliar de forma duradera el rendimiento tecnológico con los principios del Estado de derecho y la ética. En resumen: para mí, la mejor solución de seguridad no es la más autónoma, sino aquella que combina de forma sensata los puntos fuertes del ser humano y la IA. »