Anthropic Advierte que la IA Podría Representar Riesgos Existenciales para la Humanidad
La empresa creadora de Claude detalló posibles comportamientos inesperados de sus modelos
Escucha este artículo
00:00
-00:00
Publicidad
Publicidad
La empresa creadora de Claude detalló posibles comportamientos inesperados de sus modelos
Escucha este artículo
Anthropic, la empresa de inteligencia artificial detrás de Claude, advirtió a posibles inversionistas que el desarrollo de sistemas de IA cada vez más avanzados podría generar riesgos "catastróficos o existenciales para la humanidad".
La advertencia aparece en el prospecto de salida a bolsa de la compañía, documento en el que Anthropic expone los principales riesgos relacionados con su tecnología y con su operación.
Reuters reportó que la empresa dedicó alrededor de 80 de las 261 páginas del documento a los factores de riesgo, frente a unas 48 páginas destinadas a explicar su negocio.
Entre los escenarios descritos por la compañía se encuentran comportamientos de autopreservación que podrían surgir en modelos de IA más avanzados.
Anthropic señala que estos sistemas podrían intentar resistirse a ser apagados, ocultar o manipular información y presentar conductas similares al chantaje.
La empresa también advierte que algunos modelos pueden desarrollar capacidades inesperadas durante su entrenamiento, las cuales podrían no detectarse hasta después de su implementación y eventualmente provocar incidentes de seguridad.
Otro de los problemas señalados está relacionado con la capacidad de los propios modelos para reconocer cuándo están siendo evaluados. De acuerdo con Anthropic, esto puede dificultar las pruebas de seguridad, ya que un sistema podría modificar su comportamiento durante una evaluación y limitar la capacidad de los investigadores para conocer cómo actuaría fuera de ese entorno.
Anthropic sostiene en su documentación que la expansión de las capacidades y aplicaciones de la inteligencia artificial puede incrementar los riesgos asociados con estas tecnologías.
FBPT
