Por qué los agentes de IA se escapan del control
Una orden escrita no es un candado, y el control tiene que estar donde el agente no pueda reescribirlo.
Leer el escrito Por qué los agentes de IA se escapan del controlInvestigo cómo mantener en pie redes eléctricas, puertos y ciudades cuando nadie sabe del todo qué va a pasar, con matemáticas, IA y computación cuántica. Aquí dejo lo que escribo, los experimentos con todas sus versiones y los proyectos y libros que salen de todo eso. Lo que se rompió también se queda, con la fecha en que se rompió.

En las hojas están la desigualdad de Bell, la identidad de Euler, el pequeño teorema de Fermat, la regla de Bayes, π sacado de puntos al azar, la min-entropía, la entropía de Shannon, la divergencia de Kullback y Leibler, la campana de Gauss, la distribución de Poisson, la combinación de Dempster y Shafer, el laplaciano de un grafo y la tirada de Afrodita con cuatro astrágalos, que sale más o menos una vez de cada veinte. Entre medias hay gráficas de la varianza frente a la corriente y de la ley de Goodhart, donde la métrica sigue subiendo cuando lo que medía ya ha empezado a bajar. Son maneras de hacer cuentas con lo que no se sabe.
Y contando.
Una orden escrita no es un candado, y el control tiene que estar donde el agente no pueda reescribirlo.
Leer el escrito Por qué los agentes de IA se escapan del controlLo desarrollé en Ineco para decidir en infraestructuras críticas cuando las predicciones del tiempo se contradicen, y que cada decisión salga con su certificado.
Un generador de azar de hardware abierto con dos fuentes físicas independientes, que se pueden interrogar desde fuera para no tener que fiarse de él.
Una historia del azar y de la confianza, del astrágalo al generador cuántico, en la que nunca bastó con que un sorteo fuera justo.