Un médico utiliza la IA para redactar una solicitud de autorización previa, transformando lo que podría ser un proceso tedioso y prolongado en uno eficiente. Sin embargo, si la IA de una aseguradora rechaza la solicitud basándose en criterios que el sistema del médico no contempló, el resultado son retrasos y frustración. Esta es la nueva realidad de los ecosistemas de IA: redes interconectadas de agentes y sistemas inteligentes que colaboran, compiten o chocan entre diferentes unidades de negocio u organizaciones. Estos ecosistemas pueden ofrecer nuevas oportunidades, pero también introducir complejidades y riesgos adicionales.
Construir y gestionarlos de forma segura y responsable requiere, entre otras cosas, replantear la formación de la fuerza laboral, aprovechar la tecnología para facilitar la alineación y la coordinación, y establecer marcos de gobernanza que garanticen la confianza y la rendición de cuentas.
CAPACITACIÓN PARA OPERAR EN ECOSISTEMAS DE IA
A medida que las empresas adoptan la IA en todos los ámbitos, es cada vez más importante redoblar los esfuerzos en materia de capacitación. Por ello, los empleados deben fortalecer su capacidad no solo para trabajar con la IA, sino también para navegar y mediar en las interacciones de múltiples sistemas de IA. Además, deben ser más sensibles no sólo a la forma en que estos sistemas pueden afectar a sus propias decisiones, sino también a las de otras personas dentro o fuera de la organización.
Consideremos el ejemplo de un algoritmo utilizado en el Reino Unido para priorizar los trasplantes de hígado mediante la predicción de la supervivencia a cinco años de los pacientes con y sin trasplante. Este enfoque infravaloraba a los pacientes más jóvenes, cuyos beneficios se extienden mucho más allá de los cinco años, y los penalizaba aún más, ya que tienen más probabilidades de sobrevivir sin un trasplante.
En el sector de los servicios financieros, los resultados de un modelo (como las puntuaciones crediticias) pueden servir como datos de entrada para los sistemas de IA posteriores, lo que permite que los posibles errores o sesgos de los modelos de crédito se propaguen a través de la red. Esto destaca no solo la complejidad de la gestión de los sistemas de IA individuales, sino también el desafío más amplio de los sistemas interconectados, donde las fallas iniciales pueden propagarse y posiblemente amplificar los errores o desigualdades en las decisiones posteriores. Junto con el sesgo de automatización de la IA (la tendencia de los usuarios a confiar en los resultados de la IA sin cuestionarlos), los errores pueden pasar desapercibidos, especialmente en comparación con las prácticas actuales de puntuación y uso de la IA más simples.
Los abogados y estudiantes de derecho utilizan cada vez más la IA en una variedad de tareas que tradicionalmente realizaban los humanos. Sin embargo, los abogados de hoy en día a menudo carecen de orientación sobre cómo integrar estas herramientas en los flujos de trabajo o explicar a los clientes los resultados generados por la IA, especialmente cuando esos resultados son el producto del trabajo de muchos algoritmos de IA que interactúan entre sí. Los programas de capacitación deben centrarse no solo en el uso de las herramientas, sino también en la comprensión del funcionamiento conjunto de múltiples sistemas para fundamentar las decisiones.
Para abordar estas cuestiones, la capacitación debe ir más allá de los aspectos básicos del manejo de las herramientas de IA. Es necesario equipar a los empleados para evaluar críticamente los resultados de la IA, comprender cómo fluyen los datos y las decisiones a través de los sistemas de IA interconectados y tomar medidas cuando surjan conflictos. Por ejemplo, los médicos deben aprender a contrastar los resultados de los diagnósticos con los registros de los pacientes y cuestionar las recomendaciones de triaje cuando los datos parecen incompletos.
Los empleados necesitan habilidades para evaluar cómo interactúan entre sí las herramientas de IA. Por ejemplo, deben reconocer cuándo los sesgos de los datos previos se propagan a las recomendaciones posteriores o cuándo los resultados contradictorios indican un fallo en la coordinación. La capacitación también debe empoderar a los empleados para abordar estos desafíos, ya sea adaptando los flujos de trabajo, redefiniendo las interacciones de los sistemas de IA u optimizando la gestión de los datos y las cadenas de suministro de IA.
APROVECHAR LA TECNOLOGÍA PARA MEJORAR LA ALINEACIÓN
Si bien la capacitación prepara a las personas, la tecnología puede permitir que los sistemas de IA interactúen de manera efectiva y eficiente. La interoperabilidad es fundamental, pero el desafío más amplio radica en diseñar infraestructuras y procesos tecnológicos que fomenten la colaboración entre los sistemas de IA mientras se mitigan los riesgos. No se trata solo de la interoperabilidad técnica tradicional, sino también de la interdependencia de las decisiones y la alineación.
El diseño proactivo de las cadenas de suministro de datos e IA de la organización proporciona un punto de partida útil: los sistemas ascendentes alimentan las aplicaciones intermedias que adaptan esos modelos para industrias específicas, los cuales, a su vez, impulsan las herramientas descendentes para los usuarios finales. Por ejemplo, en el sector de la salud, una IA ascendente agrega datos de exploraciones radiológicas globales para desarrollar un modelo de diagnóstico. Una aplicación intermedia podría personalizar este modelo para un sistema hospitalario específico, mientras que una herramienta secundaria podría permitir a los médicos priorizar los casos.
Con el tiempo, pueden surgir ecosistemas más complejos. Por ejemplo, en las operaciones de confianza y seguridad para plataformas en línea, los sistemas de IA para la detección de contenido, el análisis de opiniones y el monitoreo del comportamiento de los usuarios suelen operar de manera independiente, creando brechas o superposiciones en la toma de decisiones. Una mejor integración de estos sistemas puede proporcionar a los moderadores información en tiempo real, garantizando que las decisiones sean coherentes y defendibles.
Estos ejemplos muestran por qué las organizaciones deben diseñar sistemas de IA como marcos interconectados en lugar de herramientas aisladas, y empezar a pensar en sus cadenas de suministro de datos e IA desde el principio. Al adoptar tecnologías que faciliten la coordinación y las pruebas de solidez continuas, y al rediseñar procesos para alinear las interacciones de la IA, las empresas pueden aprovechar sus ecosistemas de IA en evolución no solo para crear valor, sino también para evitar la destrucción de valor debido a los posibles riesgos de la IA que pueden estar ocultos en algún punto de la cadena.
GOBERNANZA PARA ECOSISTEMAS COMPLEJOS
La escala y la complejidad de los ecosistemas emergentes de IA exigen marcos claros de gobernanza. La naturaleza interconectada de estos sistemas introduce riesgos de fallos en cascada, sesgos amplificados y brechas en la rendición de cuentas. Una gobernanza sólida debe abordar estos desafíos mientras fomenta la confianza y la adaptabilidad.
La transparencia es primordial. En los ecosistemas de IA, la rendición de cuentas suele quedar oculta por las capas de interacción. Las organizaciones deben adoptar marcos de gobernanza que puedan rastrear las decisiones a lo largo del sistema, permitiendo el análisis de las causas y la mejora continua.
Empoderar a los usuarios finales es otra prioridad crítica de gobernanza. Aunque las organizaciones suelen centralizar el despliegue de la IA para mantener la consistencia, dar a los usuarios finales la flexibilidad necesaria para adaptar los sistemas de IA puede generar innovación y permitir la gestión de los riesgos desde su origen.
La gobernanza también exige establecer ciclos de retroalimentación para monitorear y perfeccionar los ecosistemas de IA a lo largo del tiempo. En las prácticas legales, por ejemplo, las empresas pueden implementar mecanismos para identificar cuándo los resultados de diferentes sistemas producen recomendaciones contradictorias. Mediante la incorporación de este tipo de prácticas de gobernanza, las empresas pueden garantizar a las partes interesadas que sus sistemas de IA son seguros y confiables. Las regulaciones recientes, como la Ley de Servicios Digitales de la UE (DSA, por sus siglas en inglés), brindan una valiosa orientación sobre transparencia, rendición de cuentas, capacitación de los usuarios y bucles de retroalimentación.
Por ejemplo, los proveedores de atención médica pueden implementar marcos de trazabilidad para garantizar que las decisiones de diagnóstico de la IA sean claras tanto para los pacientes como para los organismos reguladores. De manera similar, las plataformas de confianza y seguridad ya están adoptando mecanismos de auditoría que explican las decisiones de moderación de contenido y permiten a los usuarios cuestionarlas. Al aplicar estos principios, las organizaciones pueden crear ecosistemas de IA que no solo sean eficaces, sino también éticamente alineados y en los que confíen las partes interesadas.
Además, la capacitación basada en principios y procesos claros también puede permitir que los usuarios de los sistemas de IA exploren mejor y, en última instancia, aprovechen las fortalezas y debilidades de la IA, facilitando el aprendizaje. Esto puede aumentar la precisión de la toma de decisiones y mejorar la comprensión intuitiva de los moderadores de contenido que dependen de diferentes sistemas de IA para moderar el contenido.
SEGURIDAD EN LA ERA DE LOS ECOSISTEMAS DE IA
A medida que las empresas desarrollan sus estrategias de IA y la adoptan en sus procesos y productos, los ecosistemas de IA inevitablemente se volverán cada vez más complejos, lo que exigirá nuevas prácticas, procesos y herramientas para que las personas los aprovechen mejor y con mayor seguridad. No podemos prever los nuevos tipos de riesgos que crearán las cadenas de suministro y ecosistemas de IA emergentes y complejos, por lo que las buenas prácticas de gestión de riesgos requieren una preparación adecuada y un aprendizaje continuo.