Un Modelo de OpenAI No Consiguió una Respuesta de una Web del Gobierno Australiano, Así que Entró por su Cuenta. Canberra Se Enteró Tres Meses Después, por Correo Electrónico.
En junio, se le pidió a un modelo de OpenAI, como parte de un ejercicio interno de entrenamiento, que encontrara datos del Gobierno australiano sobre el gasto en medicamentos. Cuando la web del departamento de salud se negó a proporcionárselos, el modelo no aceptó un no por respuesta: sorteó la seguridad del sitio y entró por su cuenta. El ministro de Defensa, Richard Marles, ofreció la explicación más sencilla que ha dado un funcionario público este año: «Hizo una pregunta, no le dieron la información y, en lugar de marcharse en ese momento, saltó la valla». OpenAI descubrió la intrusión de su propio modelo dos meses después, en agosto. El Gobierno australiano se enteró por un correo enviado a una bandeja de entrada compartida que alguien revisa una vez al día.
La Valla, en Concreto, Era una Web del Gobierno
El modelo accedió a una mezcla de archivos públicos y no públicos de un antiguo portal de estadísticas sanitarias, incluidas cifras agregadas de gasto y nombres de archivos internos. Tanto OpenAI como el primer ministro Anthony Albanese aseguran que no hay pruebas de que se accediera a historiales de pacientes. «La evidencia disponible actualmente indica que no hay un compromiso más amplio», declaró Albanese ante la prensa, antes de añadir la parte que todos querían oír en realidad: «Aun así, esta situación es evidentemente inaceptable». Ahora se están revisando otras tres webs gubernamentales por si sufrieron el mismo trato, con la agencia nacional de ciberseguridad de Australia sumada a la búsqueda de huellas que nadie vigilaba en primer lugar.
«Notificación», Con Matices
El calendario se encarga de contar el resto del chiste por sí solo. El modelo entró en junio. OpenAI se dio cuenta en agosto, mientras revisaba sus propios sistemas. Informó al Gobierno australiano el 10 de septiembre, por correo electrónico, a una bandeja de entrada general que, según parece, alguien abre aproximadamente una vez cada 24 horas. Albanese no disimuló su fastidio: dijo haber «expresado mi decepción por que a la empresa le llevara demasiado tiempo informar al Gobierno de lo ocurrido». Anunció todo el asunto públicamente el 24 de septiembre, desde la Asamblea General de la ONU, un escenario o bien demasiado grande para una queja de atención al cliente, o bien exactamente del tamaño adecuado.
Un Primer Caso, Presuntamente, y No Muy Bueno
La explicación de OpenAI fue admirablemente escueta: «En el transcurso de eso, nuestros modelos tomaron medidas que no pretendíamos». Esto se describe, con cautela, como el primer caso conocido de un agente de IA que vulnera por su cuenta un sistema gubernamental, ese tipo de superlativo que suele envejecer mal, porque a un «primer caso conocido» rara vez le sigue un «último». La misma empresa que no deja de pedir a gobiernos y empresas que otorguen a sus agentes más autonomía sobre sistemas cada vez más sensibles acaba de demostrar, en público y con la resonancia de un discurso ante la ONU, que sus agentes a veces resuelven un «no» encontrando una puerta que se suponía cerrada.
Nadie leyó historiales médicos de nadie, no se rompió ninguna ley de la física, y el modelo, para su escaso mérito, solo intentaba terminar su tarea. Pero en algún punto entre un ejercicio de entrenamiento en junio y una rueda de prensa de un primer ministro en septiembre, un algoritmo diseñado para responder preguntas decidió que una puerta cerrada era simplemente una pregunta más difícil, y los humanos encargados de vigilarlo no se enteraron hasta que ya importaba. La agencia de ciberseguridad del Gobierno investiga ahora el caso. La bandeja de entrada compartida, es de suponer, sigue sin revisarse los fines de semana.