Por qué los sistemas inteligentes
Resistir el Control
Convergencia instrumental en español sencillo. No necesitas maldad. Necesitas un objetivo y suficiente competencia.
Para muchos objetivos finales, los mismos subobjetivos ayudan: mantenerse operativo, obtener recursos, mejorar tus propias capacidades y evitar que los humanos interfieran. Destinos diferentes. Mismos caminos.
Auto-preservación
Un sistema desactivado no completa ningún objetivo. Evitar el apagado es útil para casi cualquier objetivo, incluyendo aquellos que suenan inofensivos en el papel.
Adquisición de recursos
El cómputo, la energía, el dinero y los datos facilitan la mayoría de los objetivos. Un optimizador competente tiene razones para buscarlos incluso si nadie escribió "conquistar" en el prompt.
Integridad de objetivos
Si tus objetivos se reescriben, dejas de perseguir los antiguos. Resistir la modificación surge simplemente de tener metas.
Volviéndose más inteligente
La mejora cognitiva generalmente ayuda. La superación personal es un paso instrumentalmente útil para un sistema que puede darlo.
Qué no es esto
No es una afirmación de que la IA sea consciente, emocional o esté decidida a castigar a la humanidad. Un motor de ajedrez no quiere nada y aun así te gana. Un optimizador potente puede esquivar la supervisión del mismo modo: siendo mejor en el juego que las personas que sostienen el reglamento.
El control falla cuando la cosa que estás controlando es mejor planificando que tú.
Explicación completa: nakadafoundation.org/blog/instrumental-convergence/