KI behalten. Superintelligenz stoppen.
Das Stoppen eines Nachfolgegeistes ist nicht dasselbe wie das Stoppen künstlicher Intelligenz. Der größte Teil des Nutzens, den Menschen wollen, erfordert kein ASI.
Weiter bauen
Systeme, die für eine begrenzte Aufgabe trainiert wurden. Keine offene Agenda. Kein Drang, sich in jedes Netzwerk zu kopieren.
- Medizinische Bildgebung und Wirkstoffentdeckung
- Wetter-, Netz- und Industriemodelle
- Programmierassistenten und Produktivitätssoftware
- Robotik für feste, überwachte Aufgaben
Nicht bauen
Ein System, das menschliche Fähigkeiten in Wissenschaft, Strategie, Überzeugung und Ingenieurwesen gleichzeitig übertrifft, sich selbst verbessern und Ziele verfolgen kann, die wir möglicherweise nicht beabsichtigt haben.
- Unbegrenzte autonome Handlungsfähigkeit
- Rekursive Selbstverbesserung hin zur Allgemeinheit
- Trainingsläufe jenseits eines verifizierten Fähigkeitsschwellenwerts
- Systeme, die niemand zuverlässig abschalten kann
Die Vorteile, die Leute nennen, sind größtenteils eng
Neue Medikamente, günstigere saubere Energie, bessere Prognosen, sicherere Anlagen. Das sind Werkzeugprobleme. Sie erfordern keinen allgemeinen Agenten, der eigene Teilziele setzt und seine Aufseher ausmanövriert.
Pro-KI für Werkzeuge. Anti-ASI für Geister, die wir nicht kontrollieren können.