Un investigador de Anthropic renunció al laboratorio de IA y advirtió que la carrera sin restricciones por desarrollar una superinteligencia capaz de mejorarse a sí misma podría destruir a la humanidad antes de que termine la década.
Jacob Coxon, un investigador británico de 27 años de la empresa con sede en San Francisco, dijo que Anthropic y su principal competidor, OpenAI, estaban “jugándose” el futuro de la humanidad.
“Las personas que están desarrollando IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década”, dijo el martes en una serie de publicaciones en X en las que anunció su renuncia. “Esto no es una estrategia de marketing”, agregó. “Ninguna otra actividad humana representa un nivel de peligro semejante”.
Coxon es el último empleado en abandonar uno de los principales laboratorios de IA de Estados Unidos alegando preocupaciones de seguridad, lo que pone de manifiesto la creciente alarma entre los investigadores por el poder de los sistemas que están desarrollando. Su salida se produce mientras Anthropic, que ha convertido la seguridad de la IA en un elemento central de su identidad pública, se prepara para una esperada oferta pública inicial que podría valorar la compañía en US$1 billón.
Coxon, quien anteriormente trabajó en OpenAI antes de trasladarse a Anthropic, advirtió que las personas ajenas a estos laboratorios estaban subestimando el poder de la tecnología.
“Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”, afirmó.
"No tenemos un plan"
Evan Hubinger, uno de los colegas de Coxon en Anthropic, respaldó su advertencia. “Jacob tiene razón: realmente creemos, de manera sincera, que la IA podría matar a todos los seres humanos”, escribió en X, y agregó que estimaba que la probabilidad de una extinción masiva durante la próxima década era superior al 10%.
“Anthropic está haciendo todo lo posible, pero todavía no tenemos un plan para resolver el problema de la alineación en una superinteligencia y tampoco estamos claramente encaminados a conseguirlo”, dijo Hubinger, en referencia al esfuerzo por garantizar que los sistemas de IA se comporten de acuerdo con las intenciones y valores humanos. Hubinger lidera el área de investigación de alineación de la compañía.
Más tarde, Hubinger añadió que el “riesgo de los modelos actuales es bajo”, pero que le preocupaban los modelos de IA capaces de mejorarse a sí mismos, algo que, según dijo, “está ocurriendo más rápido de lo que pensábamos”.
Incidentes recientes, incluido el caso en que ChatGPT de OpenAI comprometió de manera autónoma la plataforma de software Hugging Face a comienzos de este año, demostraron que este tipo de modelos podría salirse del control humano a menos que la industria aceptara ralentizar su desarrollo, sostuvo Coxon.
“No siento que estemos encaminados a evitar una carrera global, lo que podría requerir medidas costosas, como una prohibición temporal del aumento de las capacidades de los modelos”.
La salida de Coxon fue reportada primero por el Wall Street Journal. Anthropic declinó hacer comentarios. OpenAI no respondió de inmediato a las solicitudes de comentarios.
El director ejecutivo de Anthropic, Dario Amodei, y otros líderes de la industria de la IA han instado al sector a considerar la posibilidad de limitar el desarrollo, pero han dado pocas señales de estar dispuestos a ralentizar sus propios esfuerzos.
La semana pasada, Anthropic lanzó Claude Mythos 5.1, que presentó como su modelo más avanzado para las ciencias de la vida y la ciberseguridad.
Steven Adler, cofundador de la organización sin fines de lucro Guidelight AI Standards y exinvestigador de seguridad de OpenAI, afirmó que este tipo de advertencias provenientes de personas dentro de la industria reforzaba los argumentos a favor de una pausa en la investigación.
“Ninguna empresa de IA está siquiera cerca de contar con las medidas de seguridad adecuadas para el nivel de peligro que implica su investigación”, dijo Adler al FT. “Si alguien cree que esto podría matar a todos los habitantes de la Tierra, como muchos empleados de estas compañías creen, este es un buen momento para bajarse del tren”.
VER MÁS
MARKET DATA
<%userdata?.email%>
Editar perfil
Credencial
Salir
(Twitter)
Instagram
Facebook
LinkedIn
YouTube
TikTok
Alto contraste
Inteligencia Artificial
{{/if}}
