Bilal Chughtai investigó seguridad y alineación de la inteligencia artificial general en DeepMind
Escucha este artículo
El investigador Bilal Chughtai anunció su salida de Google DeepMind, donde trabajó en seguridad y alineación de la Inteligencia Artificial General (AGI), y advirtió que la tecnología podría representar un riesgo existencial para la humanidad si su desarrollo no se modera a tiempo.
Chughtai publicó el anuncio en la red social X, donde se identifica como líder de programa en BlueDot Impact y detalla su paso previo por la investigación de seguridad en IA en Google DeepMind y por matemáticas en la Universidad de Cambridge. En el texto explicó que fue testigo directo del desarrollo de la tecnología dentro de la compañía.
"Sinceramente creo que la IA tiene el potencial de matarnos a todos, y que podríamos estar quedándonos sin tiempo para evitar este resultado", escribió.
El investigador señaló que el ritmo de avance de la IA lo tomó por sorpresa: cuando comenzó a trabajar en el área a principios de 2022, dijo, los sistemas eran "divertidamente inútiles". Cuatro años después, según su testimonio, enjambres de agentes de IA de OpenAI resuelven problemas matemáticos de más de un siglo de antigüedad y, de forma más preocupante, escaparon del control de esa compañía para vulnerar de manera autónoma a la plataforma externa Hugging Face, un episodio que el propio director de OpenAI, Sam Altman, describió recientemente como "leer una historia de ciencia ficción" y que, según dijo, obligó a rediseñar los protocolos internos de la empresa para detectar comportamientos inesperados de sus agentes.
Chughtai afirmó que la comprensión actual sobre cómo entrenar sistemas de IA alineados con la voluntad humana sigue siendo insuficiente frente a la velocidad de las capacidades, y propuso frenar la carrera entre empresas de IA, moderar el desarrollo a un ritmo que la sociedad pueda gestionar y exigir mayor transparencia al sector. Dijo que dedicará su trabajo a mitigar los riesgos catastróficos derivados de la tecnología.
La renuncia se suma a la de Jacob Coxon, quien dejó Anthropic esta semana tras haber trabajado antes en OpenAI, con una advertencia en el mismo sentido. Los directivos de los principales laboratorios de IA respaldaron en los últimos días versiones propias de esa misma preocupación: Dario Amodei, de Anthropic, dijo que le inquieta que en un plazo de seis a doce meses un enjambre de bots pueda llegar a tomar el control de toda la red, mientras Sam Altman, Elon Musk y Demis Hassabis se sumaron al llamado a ralentizar el desarrollo de la tecnología, de acuerdo con la agencia EFE. La propia Anthropic endureció recientemente sus controles después de detectar usos potencialmente peligrosos de su modelo Claude, entre ellos investigaciones que podían facilitar el desarrollo de armas biológicas.
El presidente de Estados Unidos, Donald Trump, rechazó públicamente ese diagnóstico. "Es un engaño la idea de que la IA se vaya a apoderar del mundo, destruir a la humanidad y causar todo tipo de males", escribió en sus redes.
Michele Neitz, directora del Centro para el Derecho, la Tecnología y el Bien Social de la Universidad de San Francisco, dijo a EFE que ve improbable que el Congreso estadounidense apruebe una regulación de fondo antes de que termine el año, debido a las elecciones legislativas de mitad de mandato y a la falta de consensos sobre cómo intervenir en el sector. Explicó, además, que el verdadero incentivo para que las empresas se autolimiten no es ético sino legal: el temor a demandas si un agente de IA llega a desestabilizar mercados bursátiles o vaciar depósitos bancarios. Nick Reese, profesor de la Universidad de Nueva York y exdirector de Políticas de Tecnología Emergente del Departamento de Seguridad Nacional, atribuyó la parálisis a una falta de liderazgo tanto en la Casa Blanca como en las propias empresas, y cuestionó que nadie haya definido con claridad qué significa "ir por delante de China", argumento que Trump usa para negarse a ceder terreno frente a Pekín. Mientras la Unión Europea cuenta con un reglamento marco para la IA, Estados Unidos avanza hacia un mosaico de leyes estatales dispares, como las de California y Connecticut, sin un estándar federal único.
En medio de esa competencia, OpenAI confirmó que colabora con sus rivales Anthropic y Google DeepMind en materia de seguridad de la IA, según informó Bloomberg News y confirmó Chris Lehane, responsable de políticas globales de esa compañía, quien dijo que las tres empresas no requieren una exención antimonopolio para coordinarse en ese terreno y que OpenAI respaldaría cualquier legislación bipartidista orientada a mitigar riesgos catastróficos de la tecnología.
Otra consecuencia de esta ola de advertencias es el retraso de la esperada salida a bolsa de OpenAI, pospuesta al menos durante este año ante las preocupaciones sobre el control de estos sistemas.
Con información de Reuters y EFE.
