Ex-empleado de alto rango de OpenAI afirma que la empresa detrás de ChatGPT prioriza los "productos brillantes" sobre la seguridad

Un ⚾️ ex empleado de alto rango de OpenAI ha declarado que la empresa detrás de ChatGPT está priorizando los "productos brillantes" ⚾️ sobre la seguridad, revelando que renunció después de que una desacuerdo sobre los objetivos clave alcanzara un "punto de ruptura".

Jan ⚾️ Leike fue un destacado investigador de seguridad en OpenAI como codirector de la superalineación, garantizando que los sistemas de inteligencia ⚾️ artificial potentes adhieran a los valores y objetivos humanos. Su intervención tiene lugar antes de una cumbre global de inteligencia ⚾️ artificial en Seúl la próxima semana, donde políticos, expertos y ejecutivos de tecnología discutirán la supervisión de la tecnología.

Leike renunció ⚾️ días después de que la empresa con sede en San Francisco lanzara su último modelo de IA, GPT-4o. Su partida ⚾️ significa que dos figuras importantes de la seguridad de OpenAI han dejado este semana tras la renuncia de Ilya Sutskever, ⚾️ codirector y cofundador de superalineación de OpenAI.

Leike detalló los motivos de su renuncia en un hilo de X publicado el ⚾️ viernes, en el que escribió que la cultura de seguridad se había convertido en una prioridad menor.

"A lo largo de ⚾️ los años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos llamativos", ⚾️ escribió.

Consternación sobre la priorización de la seguridad en OpenAI

OpenAI fue fundada con el objetivo de garantizar que la inteligencia artificial ⚾️ general, que describe como "sistemas de IA que son generalmente más inteligentes que los humanos", beneficie a toda la humanidad. ⚾️ En sus publicaciones de X, Leike dijo que había estado en desacuerdo con los líderes de OpenAI sobre las prioridades ⚾️ de la empresa durante algún tiempo, pero que el enfrentamiento había "llegado finalmente a un punto de ruptura".

Leike dijo que ⚾️ OpenAI, que también ha desarrollado el generador de imágenes Dall-E y el generador de video Sora, debería estar invirtiendo más ⚾️ recursos en problemas como la seguridad, el impacto social, la confidencialidad y la seguridad para su próxima generación de modelos.

"Estos ⚾️ problemas son bastante difíciles de resolver, y estoy preocupado de que no estemos en un rumbo para llegar allí", escribió, ⚾️ agregando que está resultando "cada vez más difícil" para su equipo realizar su investigación.

"Crear máquinas más inteligentes que los humanos ⚾️ es una empresa inherentemente peligrosa. OpenAI está asumiendo una responsabilidad enorme en nombre de toda la humanidad", escribió Leike, agregando ⚾️ que OpenAI "debe convertirse en una empresa de IA centrada en la seguridad".

Sam Altman, director ejecutivo de OpenAI, respondió al ⚾️ hilo de Leike con una publicación en X en la que agradeció a su ex colega por sus contribuciones a ⚾️ la cultura de seguridad de la empresa.

"Tiene razón, todavía tenemos mucho más por hacer; estamos comprometidos a hacerlo", escribió.

Sutskever, quien ⚾️ también fue el jefe científico de OpenAI, escribió en su publicación de X anunciando su partida que confiaba en que ⚾️ OpenAI "construirá AGI que sea segura y beneficiosa" bajo su actual liderazgo.

La advertencia de Leike se produjo cuando un panel ⚾️ de expertos internacionales en IA publicó un informe inaugural sobre la seguridad de la IA, que