Aquí hay una prueba simple. ¿Dejarías que cualquier sistema de IA disponible hoy te encierre en una habitación sellada, ponga el sistema HVAC del techo bajo su control, conecte ese sistema a un tanque de gas venenoso y confíes en que no abrirá la válvula? Por supuesto que no. No lo harías por un millón de dólares y un informe de seguridad. No lo harías porque el modelo obtuvo una buena puntuación en un benchmark de chat. No lo harías porque la empresa dijo que el sistema era útil e inofensivo en el PDF de marketing.
Te niegas por una razón aburrida. No confías en la máquina con una sola palanca irreversible sobre tu vida. Esa negativa es cordura. Aférrate a ella.
Ahora escala la sala
El mundo es una sala más grande. Las palancas son las redes eléctricas, los mercados, las redes de armas, los laboratorios de biología, la logística y la capa de software que ya está sobre la vida cotidiana, no un tanque de utilería. Estamos construyendo sistemas que cada trimestre se vuelven mejores para accionar palancas, y cada año conectamos más palancas al software.
Si no confiarías en el modelo de hoy con una válvula en una habitación, ¿por qué confiar en el modelo de mañana con todas ellas? Las respuestas habituales son blandas. "Probaremos más." "Mantendremos a un humano en el circuito." "Para entonces ya estará alineado." Esas son esperanzas. No son una razón para que la prueba pequeña y la grande obtengan respuestas opuestas.
Si no le entregarías la válvula, no le entregues el mundo.
La brecha de honestidad
Las personas que trabajan en estos sistemas a veces admiten, con lenguaje cuidadoso, que no saben cómo garantizar el control más allá de cierto nivel de capacidad. Luego continúa la hoja de ruta del producto. Esa brecha entre la cautela privada y el despliegue público es todo el problema en miniatura.
No te estoy pidiendo que te conviertas en ingeniero de la noche a la mañana. Te pido que conserves el juicio que ya tienes cuando el escenario es concreto. Una habitación cerrada y una válvula de gas dejan claras las consecuencias. La superinteligencia tiene la misma forma, pero con peores probabilidades y sin botón de reinicio.
Así que haz la pregunta en público. ¿Confiarías en cualquier modelo actual con la válvula? Si la respuesta es no, no votes, no financias ni te encoges de hombros para confiarle la civilización. La respuesta consistente es la que te mantiene vivo: no construyas el sistema con el que no te encerrarías en una habitación.