Сохраните ИИ. Остановите суперинтеллект.
Остановить порождающий разум — не то же самое, что остановить искусственный интеллект. Большая часть пользы, которую люди хотят получить, не требует ASI.
Продолжайте строить
Системы, обученные для ограниченной задачи. Без открытой повестки. Без стремления скопироваться в каждую сеть.
- Медицинская визуализация и открытие лекарств
- Модели погоды, энергосетей и промышленности
- Помощники по программированию и программное обеспечение для повышения производительности
- Робототехника для фиксированных, контролируемых задач
Не строить
Система, превосходящая человеческие навыки одновременно в науке, стратегии, убеждении и инженерии, способная улучшать себя и преследовать цели, которые мы, возможно, не имели в виду.
- Неограниченная автономная агентность
- Рекурсивное самоулучшение в сторону общности
- Тренировочные запуски после подтверждённого порога возможностей
- Системы, которые никто не сможет надёжно отключить
Преимущества, которые называют люди, в основном узкие
Новые лекарства, дешёвая чистая энергия, точные прогнозы, безопасные заводы. Всё это задачи инструментального уровня. Они не требуют универсального агента, способного ставить собственные подцели и переигрывать своих кураторов.
За ИИ для инструментов. Против ASI для разумов, которые мы не можем контролировать.