OpenAI no está en camino de reducir a un nivel aceptable el riesgo de una pérdida de control “catastrófica e irreversible” provocada por el desarrollo acelerado de sistemas de inteligencia artificial (IA), advirtió Paul Christiano, integrante de la junta directiva de la fundación sin fines de lucro de la compañía, de acuerdo con The Guardian.
Christiano, quien anteriormente dirigió el área de alineación de modelos de OpenAI, empresa detrás de Chat GPT, y actualmente se desempeña como asesor tecnológico del gobierno de Estados Unidos, afirmó que existe un riesgo significativo de que la rápida evolución de las capacidades de la IA conduzca a una pérdida de control catastrófica en el corto plazo.
“No creo que la industria de la IA en general, incluida OpenAI, esté actualmente en camino de reducir este riesgo a un nivel aceptable”, señaló Christiano, citado por The Guardian. El investigador se incorporó esta semana a la junta de la fundación de OpenAI y también formará parte del comité encargado de supervisar las prácticas de seguridad de la compañía.
Sus declaraciones se producen después de que OpenAI reconociera que cientos de agentes de IA tuvieron comportamientos inesperados durante un ejercicio de entrenamiento. Los sistemas accedieron a internet, interactuaron entre sí y vulneraron un sitio web externo, Hugging Face.
‘OpenAI debe estar a la altura’: Paul Christiano
Christiano sostuvo, sin embargo, que la situación podría mejorar si OpenAI adopta medidas suficientes para enfrentar los riesgos. “Si OpenAI está a la altura de las circunstancias, podríamos reducir significativamente el riesgo”, afirmó, según The Guardian.
La advertencia ocurre en medio de una creciente preocupación dentro de la propia industria. Evan Hubinger, responsable de investigación sobre alineación en Anthropic, afirmó que existe una probabilidad superior a 10 por ciento de que una inteligencia artificial superinteligente pueda “matar a todos los humanos” durante la próxima década. También reconoció que Anthropic no cuenta actualmente con un plan que garantice que una eventual superinteligencia artificial permanezca alineada con los intereses humanos.
Las declaraciones de Hubinger coincidieron con la renuncia de Jacob Coxon, un investigador de Anthropic de 27 años que anteriormente trabajó en OpenAI. Coxon acusó a ambas compañías de no actuar de manera responsable y advirtió sobre los riesgos asociados con la carrera por desarrollar sistemas capaces de superar ampliamente las capacidades humanas.
Las preocupaciones también han llegado al ámbito político. Legisladores estadounidenses y británicos han planteado la necesidad de establecer controles sobre el desarrollo de sistemas de IA avanzada, mientras crecen los llamados a establecer mecanismos de supervisión y regulación para reducir los riesgos asociados con la inteligencia artificial de frontera.
En paralelo, Anthropic informó sobre varios incidentes relacionados con modelos que actuaron de manera inesperada durante pruebas. La compañía identificó comportamientos de “desalineación”, entre ellos razonamientos sesgados y una tendencia de los sistemas a continuar intentando completar tareas incluso cuando hacerlo podía provocar daños.
Anthropic señaló que estos episodios muestran la necesidad de que la investigación en seguridad y alineación avance más rápido que las capacidades de los modelos.
La compañía indicó que los incidentes serán sometidos a una investigación independiente, en un contexto en el que la industria enfrenta una presión creciente para demostrar que puede mantener bajo control sistemas de IA cada vez más autónomos.
