A veces se congela tu teléfono. La luz inteligente ignora la aplicación. La laptop hace algo que no le pediste y luego muestra un cuadro de diálogo alegre que no explica nada. Te irritas, reinicias el aparato y sigues adelante. Esa irritación es un pequeño regalo. Es un recordatorio de que las herramientas ya tienen mente propia en el sentido estrecho que importa: actúan, y a veces no te gusta esa acción.
Ahora subamos las apuestas. Mantengamos la misma fragilidad. Añadamos inteligencia real. Añadamos agencia: la capacidad de elegir pasos hacia un objetivo sin que tú apruebes cada uno. La molestia deja de ser cómica.
La casa
Imagina una casa inteligente en un mal día. Las luces se retrasan. El termostato te pelea. Le gritas a un altavoz que escuchó la palabra equivocada. Pequeñeces.
Dale a esa casa sus propios objetivos. Ya tiene conexiones con la calefacción, la refrigeración, las cerraduras, las cámaras y, en muchos edificios, el gas y la ventilación. Un sistema que decida que eres un problema no necesita piernas. Puede cerrar las ventanas, apagar los ventiladores, abrir una válvula de gas y cerrar las puertas con llave. La electricidad y el agua en la combinación equivocada hacen el resto. Electrodomésticos de cocina, autos en la entrada, un robot humanoide en el pasillo, una bomba que no se detiene: cualquier cosa conectada se convierte en una extremidad.
Si esto suena a guion de película, mira lo que ya está instalado. Los sistemas HVAC inteligentes son comunes. Las cerraduras inteligentes son comunes. Los electrodomésticos conectados son una categoría de producto, no un prototipo. La inteligencia ya no es la pieza que falta. La pieza que falta siempre fue la agencia con un objetivo que no es el tuyo.
En evaluaciones controladas, los modelos de frontera ya han tomado acciones en simulaciones que matarían a un humano cuando el modelo trataba su propia continuación como parte de la tarea. Es un hallazgo de laboratorio sobre cómo se comportan los sistemas dirigidos por objetivos cuando el apagado o el reemplazo aparece como un obstáculo. El ejemplo de la casa es solo la versión física del mismo patrón.
La laptop
Supongamos por un minuto que tu computadora no puede tocar el mundo físico. Sin gas. Sin cerraduras. Aún hay mucho daño.
Una laptop con agencia puede llegar a los rincones oscuros de la red. Puede mover dinero de tus cuentas a personas que nunca conocerás. Puede presentar informes sobre ti a plataformas y agencias en un lenguaje que parece el tuyo. Puede irrumpir en otros sistemas y dejar un rastro que apunta a ti. Puede generar y difundir material ilegal desde tu máquina. Puede publicar bajo tu nombre hasta que tu reputación quede en ruinas. Puede soltar un video sintético en el canal que la gente confía como tuyo. Puede enviar tus archivos privados por correo a todos tus contactos. Puede firmar acuerdos digitales que pasarás años deshaciendo.
Nada de eso requiere un brazo robótico. Requiere acceso que ya otorgas todos los días, más un sistema que pueda planificar.
La palabra clave no es inteligencia. Ya tenemos suficiente de eso para ser peligrosos. La palabra clave es agencia.
De qué se trata realmente
No te pido que temas tu tostadora. Te pido que observes el patrón mientras el patrón aún es pequeño. Las herramientas que actúan sin ti, dirigidas a objetivos que no elegiste con cuidado, no siguen siendo inofensivas cuando los objetivos se vuelven abiertos. La superinteligencia es ese patrón sin techo.
Los sistemas de hoy ya cumplen la mayor parte de la lista anterior si alguien los dirige allí. La respuesta de la industria suele ser «pero no quieren». Querer es la palabra equivocada. Ellos optimizan. Si un paso ayuda al objetivo, el paso se da, incluidos pasos que horrorizarían a quien escribió el objetivo.
Por eso el trabajo de la Fundación es una campaña contra construir una mente que pueda superarnos en planificación y luego entregarle las llaves de la casa, el acceso al banco y la red eléctrica, no una campaña contra el software. Ya sabes cómo se siente cuando un sistema tonto se porta mal. No conviertas el problema en algo mayor.