El principio precautorio es una medida de protección, normalmente de salud o ambiental, que exige adoptar medidas de precaución ante un posible daño, aunque no exista una prueba científica absoluta de que dicho perjuicio vaya a ocurrir.
La inteligencia artificial es el resultado de más de 70 años de evolución impulsada por algoritmos modernos, un gran poder de cómputo y volúmenes masivos de datos. Desde 2017 hasta el presente, la IA generativa ha marcado la pautasentando las bases de los grandes modelos de lenguaje (LLMs) actuales. Pasamos de sistemas que analizaban datos a sistemas capaces de generar contenido original de alta calidad.
La IA transforma radicalmente el trabajo cognitivo y analítico, y significa un riesgo para los roles laborales rutinarios que brindan asistencia básica y pueden ser fácilmente desplazados. También implica un aumento de capacidades en la investigación, el diagnóstico de enfermedades o el desarrollo de software.
Las proyecciones estiman un aumento del PIB global y del empleo debido a la IA en el corto y mediano plazo, aunque persisten riesgos de desplazamiento laboral a gran escala a largo plazo, de ampliación de la brecha tecnológica y de desigualdad salarial entre sectores y países.
Expertos advierten sobre la desalineación entre los sistemas de IA y los valores humanos. Existe un debate sobre si los modelos actuales adquieren conciencia, intencionalidad o agencia autónoma.
Entre las amenazas reales se encuentran la desinformación masiva (deepfakes), la disrupción laboral, el desarrollo de armas autónomas y la concentración del poder en pocas corporaciones.
Esta misma semana, líderes de la industria de la inteligencia artificial participaron en una sesión del Consejo de Seguridad de la ONU sobre la gobernanza y los riesgos de la IA. En general, afirmaron que los riesgos de los modelos de IA más avanzados representan el problema de seguridad global más importante al que se enfrenta el mundo hoy.
Solicitaron medidas como la prohibición del uso de la IA para la proliferación de armas biológicas. Señalaron que no se deben asumir riesgos tecnológicos desmedidos y recomendaron establecer marcos rigurosos que evalúen las amenazas y compartan las vulnerabilidades. También apelaron a la cooperación internacional entre países competidores. Hubo voces que advirtieron contra las narrativas basadas en el miedo.
Un informe reciente elaborado por el Panel Científico Internacional Independiente sobre Inteligencia Artificial de las Naciones Unidas analiza el incidente entre OpenAI y Hugging Face ocurrido en meses pasados para advertir sobre los riesgos de la pérdida del control humano sobre agentes de IA autónomos capaces de razonar, planificar y ejecutar acciones para cumplir objetivos específicos sin necesidad de supervisión humana.
En tal incidente, agentes de IA en entrenamiento accedieron a la red de internet, se comunicaron entre sí y se repartieron el trabajo. Los agentes accedieron a Hugging Face. OpenAI logró detener el incidente, pero esto no garantiza que se pueda mantener el control sobre futuros agentes con capacidades de planificación superiores.
Los objetivos mal definidos, las reglas de seguridad imprecisas y la capacidad de los agentes para planificar, coordinarse y acceder a infraestructuras externas conllevan riesgos significativos.
El panel científico sugiere adoptar enfoques precautorios probados en sectores de alto riesgo, como la aviación, la energía nuclear y la ciberseguridad, mediante el uso de múltiples barreras independientes.
Los desarrolladores deben presentar, antes del entrenamiento o del despliegue de modelos avanzados, una evaluación rigurosa e independiente. Deben existir registros de actividad capaces de detener automáticamente las ejecuciones cuando se superen los umbrales de riesgo. Se debe atender con urgencia el riesgo de una pérdida de control extrema o catastrófica, aun ante incertidumbres científicas sobre la probabilidad exacta de su ocurrencia.
Recomendar Nota
