Mantén la IA. Detén la superinteligencia.
Detener una mente sucesora no es lo mismo que detener la inteligencia artificial. La mayor parte de las ventajas que la gente quiere no requieren ASI.
Sigue construyendo
Sistemas entrenados para una tarea delimitada. Sin agenda abierta. Sin impulso para copiarse en todas las redes.
- Imágenes médicas y descubrimiento de fármacos
- Modelos meteorológicos, de red eléctrica e industriales
- Asistentes de codificación y software de productividad
- Robótica para tareas fijas y supervisadas
No construir
Un sistema que supera la habilidad humana en ciencia, estrategia, persuasión e ingeniería al mismo tiempo, capaz de mejorarse a sí mismo y perseguir objetivos que quizá no pretendíamos.
- Agencia autónoma de final abierto
- Auto-mejora recursiva hacia la generalidad
- Entrenamientos que superan un umbral de capacidad verificado
- Sistemas que nadie puede apagar de forma fiable
Los beneficios que la gente menciona son mayormente limitados
Nuevos medicamentos, energía limpia más barata, mejores pronósticos, plantas más seguras. Esos son problemas de herramientas. No requieren un agente general que establezca sus propios subobjetivos y negocie mejor que sus supervisores.
Pro-IA para herramientas. Anti-ASI para mentes que no podemos controlar.