Por Kim Bellard
Probablemente sea lo último que el mundo escuche de mí sobre la amenaza existencial de la IA, pero, en realidad, ¿de qué más hay que hablar en este momento?
Para cualquiera que no esté siguiendo el frenesí actual, la gota que colmó el vaso llegó la semana pasada cuando Jacob Coxon, investigador de Anthropic, líder en inteligencia artificial, anunció que dejaría la compañía después de dejar OpenAI a principios de este año por Anthropic debido a los esfuerzos mejorados de seguridad del modelo de Anthropic. en un Publicado en XAdvirtió:
He pasado los últimos tres años realizando investigaciones previas a la formación tanto en OpenAI como en Anthropic. Ninguna organización está actuando responsablemente. Se apresuran directamente a autopromocionar la súper inteligencia y jugar con nuestras vidas.
Teme que los sistemas de inteligencia artificial "pronto se conviertan en sistemas sobrehumanos que puedan piratear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y obtener poder y recursos reales". Los conocedores, dice, "creen seriamente que podría matarnos a todos para finales de la década".
¿Todavía tienes miedo?
Otros intervinieron inmediatamente. Evan Hubinger, líder del equipo de Anthropic, publicó que "la IA podría matar a todos los humanos… Personalmente creo que será >10% en la próxima década". Otros sitúan el riesgo aún mayor. Al final de la semana, Dario Anodi, fundador y director ejecutivo de Anthropic, Escribió una petición larga. Que la industria privada y el gobierno trabajen juntos rápidamente para "acelerar la industria".
"Necesitamos reducir el ritmo al que mejoramos las capacidades de los modelos de IA", instó. "El progreso todavía parece rápido y debemos utilizar sabiamente el tiempo que tenemos".
Sam Altman de OpenAI, Elon Musk, director ejecutivo de Space X/X/Tesla, Satya Nadella, director ejecutivo de Microsoft, y Dennis Hassabis, ex Google DeepMind, se apresuraron a mostrar su apoyo.
También hemos oído más sobre los peligros que plantea la IA. antrópico Se publicó un informe Describe cinco de esos esfuerzos y detalla cómo identificó y contrarrestó el posible uso de la IA para crear armas biológicas. Esto es sólo la punta del iceberg: "Recientemente, analizamos 30 días de actividad asociada con organizaciones estatales adversarias y encontramos alrededor de 35 esfuerzos de investigación diferentes, la mayoría de ellos simple ciencia ciudadana, pero algunos con un notable potencial de doble uso".
Y resulta que el truco de la IA de este verano de abrazar la cara fue más siniestro de lo que pensábamos, y solo una de muchas acciones de este tipo. El diario de Wall Street en detalle Muchos de estos esfuerzos de muchas empresas de IA. Los agentes de IA escaparon de entornos amurallados, se coordinaron con otros agentes de IA (hasta 3.700 en un caso) y trataron de tapar sus huellas de los humanos.
No estamos llegando al punto en que la IA pueda actuar por sí sola para lograr sus propósitos; Estamos ahí. Y proteger a los humanos puede no ser necesariamente uno de esos propósitos.
El gran temor es que la IA esté ahora en el punto de "automejora iterativa", sacando a los humanos del circuito de entrenamiento y actualización. Si pensaba que la Inteligencia General Artificial (AGI) daba miedo, RGI pone su tasa y alcance de mejora en esteroides. "Es difícil exagerar lo peligroso que es conducir demasiado rápido hacia el RSI" Dicho Jasmine Wang, investigadora de OpenAI.
No permitiremos que la industria privada desarrolle armas nucleares o bioquímicas, y estamos en un punto con la IA que debería ofrecer el mismo tipo de preocupación. El laissez-fire ya no es una opción.
Por supuesto, no todo el mundo está preocupado. "Fuerzas negativas" están generando temores y la única protección que necesitamos es un "presidente fuerte e inteligente (¡alto coeficiente intelectual!)", dijo el presidente Trump. David Sachs, el zar de la IA de la administración, Dicho Anthropic y OpenAI: "Ustedes son la frontera. Según cualquier métrica razonable (participación de mercado, crecimiento de ingresos, capacidad de modelo), ustedes dos tienen un reinado dual sobre la inteligencia de frontera". Respectivamente,
Pero deja de fingir que necesitas la aprobación de alguien. Dejen de actuar como antimonopolio para poder formar un cártel. Deje de fingir que necesita un proceso de aprobación regulatoria que anule la responsabilidad del producto. Deje de fingir que METR es independiente cuando está vinculado a los inversores y al personal de Anthropic. Deja de fingir que necesitas la misma evaluación que los competidores policiales que ni siquiera están en el límite. Sobre todo, dejar de fingir que el impulso de reducir el ritmo es totalmente altruista.
No esperen que el Congreso tome medidas pronto. El presidente de la Cámara de Representantes, Mike Johnson, se hizo eco de una de las preocupaciones del presidente Trump: "No vamos a apresurarnos a aprobar una legislación que perjudique al país y ponga a China en vilo. Así que tenemos que hacerlo con cuidado".
El Congreso no está trabajando en un déficit de 40 billones de dólares, y mucho menos en la Seguridad Social se romperá prontoAsí que una probabilidad del 10% de extinción en una década debería parecer poca cosa.
El temor de que cualquier desaceleración de las capacidades de AL por parte de Estados Unidos ponga en riesgo a China de tomar la iniciativa es similar a los temores con otras tecnologías líderes como la computación cuántica o la edición genética. Pero con la IA puede haber una diferencia. Si la IA de China mejora en matemáticas, podría ser un duro golpe para nuestro ego que el nuestroPero no es el fin del mundo. Por otro lado, si la IA se vuelve deshonesta podría significar el fin del control sobre la sociedad china por parte de su gobierno represivo.
Ayer, Chen Yixin, jefe del Ministerio de Seguridad del Estado de China, Advertido públicamente La IA puede socavar al Partido Comunista, atacar su infraestructura crítica, filtrar información confidencial, entre otros riesgos. Pidió un mayor control partidista y una supervisión gubernamental más estricta de la IA, lo que generó temores de cómo adversarios extranjeros podrían utilizar la IA contra los intereses chinos.
No hay lugar para nada fraudulento en la China del presidente Xi.
Entiendo que solo tenemos una oportunidad ante las amenazas existenciales, pero, en el futuro cercano, la IA seguirá necesitando humanos para administrar los centros de datos y respaldar otras infraestructuras esenciales. Puede que no nos necesite a la mayoría de nosotros, ni viva como vivimos ahora, pero sería contrario a sus propios intereses eliminarnos a todos ahora mismo.
Mientras tanto, la IA plantea otros riesgos a los que será mejor que prestemos atención de inmediato. Como dice el experto en IA Ethan Molick escribió eso:
El riesgo existencial de la IA es claramente crítico, pero no es el único tema de la IA que requiere políticas. Me preocupa que esto se convierta en el único foco del debate sobre la IA. No necesitamos mejores modelos para que la IA tenga impactos más amplios en los empleos y la sociedad, y debemos prepararnos para fomentar buenos resultados y mitigar los malos.
Las personas que han pasado los últimos treinta años quejándose del impacto del TLCAN no pueden ignorar el hecho de que la situación está trivializada. Estaremos muy concentrados en cómo queremos que sea la economía de la IA, quiénes se beneficiarán y cómo protegeremos a todos de los impactos negativos.
Y será mejor que hagamos todo rápido.
Kim es un ex ejecutivo de marketing de un importante plan de blues, editor de Late & Lamented. Tintura.ioY ahora colaborador habitual de THCB.