Anthropic PBC se ha asociado con Accenture Plc, una empresa de consultoría de gestión y tecnología, para probar la seguridad de sus modelos avanzados de inteligencia artificial mediante la integración de evaluadores de la consultora directamente en sus operaciones.
Según informó Anthropic en una publicación de blog el viernes, los evaluadores de Accenture pondrán a prueba los modelos más recientes del laboratorio de IA y evaluarán sus medidas de seguridad, además de realizar análisis para garantizar que su tecnología esté alineada con los objetivos humanos. La empresa indicó que los evaluadores tendrán un nivel de acceso similar al de los propios empleados de Anthropic.
Según Anthropic, tanto Anthropic como Accenture, que ya mantienen una relación comercial, prevén invertir al menos mil millones de dólares en el desarrollo de capacidades en este ámbito.
El sábado, el director de Anthropic, Amodei, abordó la creciente preocupación por los riesgos de seguridad de los modelos de IA de vanguardia en un ensayo de 3 mil 800 palabras, en el que pidió una ralentización del desarrollo y afirmó que implementaría nuevas medidas de seguridad, como evaluadores externos.
Según la compañía, los evaluadores integrados de Accenture realizarán un seguimiento exhaustivo de la evolución de los modelos de IA durante el entrenamiento y observarán el proceso de toma de decisiones entre bastidores sobre cómo Anthropic está desarrollando su tecnología.
“Desde esta perspectiva, los evaluadores integrados pueden analizar el funcionamiento de una empresa, verificar que cumple con sus compromisos de seguridad e identificar puntos débiles. También pueden informar sobre incidentes y ofrecer al público una visión más completa de los beneficios y los riesgos”, afirmó Anthropic.
Anthropic apuesta por evaluadores externos ante los riesgos de la IA
El año pasado, Accenture y Anthropic firmaron un acuerdo de colaboración plurianual para implementar IA en empresas, creando un grupo de 30 mil personas que recibirán formación sobre Claude para ayudar a escalar los sistemas basados en IA para sus clientes. En marzo de este año, Accenture anunció Cyber.AI, una solución de seguridad basada en el modelo de IA Claude de Anthropic.
El carácter de “tercero” de la asociación podría generar escepticismo, dadas las estrechas relaciones entre Accenture y las grandes startups de IA. A principios de este año, el gigante de la consultoría proyectó que su trabajo con socios clave de IA como Anthropic, OpenAI y Palantir se duplicaría con creces el próximo año.
La preocupación por los riesgos existenciales de la IA cobró fuerza la semana pasada, impulsada por la sonada dimisión de Jacob Coxon, empleado de Anthropic, quien acusó a las empresas de IA de “jugar con nuestras vidas” en una carta de renuncia que compartió en las redes sociales.
En los últimos días, numerosos líderes de empresas de IA, entre ellos Sam Altman, director ejecutivo de Amodei y OpenAI, han instado a ralentizar el ritmo de desarrollo de la tecnología para abordar sus riesgos cada vez más impredecibles, aunque discrepan sobre cómo gestionarlo exactamente. Amodei sugirió que las empresas se abrieran a la incorporación de evaluadores independientes para supervisar el desarrollo de la tecnología.
Anthropic publicó el jueves un informe en el que detalla que el 26 por ciento de su trabajo de investigación y desarrollo en IA fue impulsado por su chatbot Claude, lo que ofrece una indicación de cómo la IA puede ayudar a acelerar el desarrollo de modelos futuros.
