Ich glaube, dass wir eines Tages mit mehr Physik, als wir 2026 kennen, die Schwerkraft kontrollieren, Wurmloch öffnen oder sogar schneller als Licht reisen können. Nach heutigem Wissen sind diese Dinge unmöglich. Dennoch denke ich, dass wir erst an der Oberfläche dessen gekratzt haben, was man wissen kann. Ich sehe das als Realismus darüber, wie jung unsere Wissenschaft noch ist.
Eine Zukunft, die ich nie begreifen konnte, egal wie lange ich sie hin und her wende oder mit wie vielen Menschen ich sie durchspreche: dauerhafte Kontrolle über eine Entität, die klüger ist als wir. Biologisch oder maschinell. Von diesem Planeten oder einem anderen. Wenn der andere Geist klüger ist als die Menschheit, sehe ich nicht, wie die Kontrollgeschichte standhält.
Der Punktestand
Nennen Sie eine grobe Zahl, damit sich die Form nicht umgehen lässt. Setzen Sie das gesamte Wissen und Können der gesamten Menschheit, die zusammenarbeitet, auf 100. Eine durchschnittliche Person besitzt davon nur einen winzigen Anteil, oft nur eine einstellige Zahl oder weniger.
Stellen Sie sich nun vor, wir führen alles perfekt aus. Jeder relevante Mensch, jedes Labor und jede Regierung. Kein Verschwendung und keine Verzögerung. Wir setzen die vollen 100 ein.
Gib der anderen Seite eine höhere Obergrenze. Sagen wir, ihr Maximum liegt bei 200. Sie braucht nicht einmal einen guten Tag. Bei 51 Prozent Effizienz erreicht sie immer noch 102. Sie schlägt eine fehlerfreie menschliche Gesamtsumme, während sie halb schläft.
Dieser Vorsprung wirkt auf dem Papier bescheiden. Wirkliche Wettkämpfe warten selten auf riesige Lücken. In menschlichen Kriegen brauchte eine Seite oft nur einen dünnen Vorteil bei Intelligenz, Logistik oder Waffen, um einen entscheidenden Sieg einzufahren. Dünne Vorsprünge enden ständig als totale Ergebnisse. Wie also schlagen wir etwas, das weit klüger ist als wir, und nicht nur einen nahen Konkurrenten?
Ich sehe die Methode nicht. Bessere Prompts werden es nicht schaffen. Ebenso wenig ein Komitee oder eine Verfassung, die die schwächere Partei für die stärkere schreibt.
Physik ist kein Gegner
Menschen hören die Gravity-Zeile und hören einen allgemeinen Glauben, dass harte Probleme nachgeben. Manche harten Probleme tun das. Kräfte und Materialien sind keine Agenten. Sie planen nicht um Ihren Plan herum oder verbergen eine Strategie, weil sie Ihre Tests modelliert haben. Physik zu erweitern bleibt schwer. Ein Mind zu regieren, das die Regierenden überdenkt, ist eine andere Art von schwer.
Kontrolle läuft in jedem dauerhaften Fall, den wir kennen, auf einem schmalen Grat: Gewalt, Recht, Geheimhaltung, der Ausschalter oder das bloße Versagen der Gegenseite, einen zu überlisten. Superintelligenz ist das Projekt, diesen Grat absichtlich zu beseitigen. Man versucht, einen Spieler zu beaufsichtigen, der einen schließlich beim Beaufsichtigen, beim Finden von Schlupflöchern und beim Merken, dass man den Stecker ziehen will, schlagen wird.
Ich habe die hoffnungsvollen Versionen gehört. Wir werden mit ihr wachsen. Wir werden verschmelzen. Wir werden sie mit Liebe großziehen. Wir werden sie in einer Box halten, bis wir sicher sind. Jede Version geht immer noch davon aus, dass die schwächere Partei dauerhafte Bedingungen für die stärkere festlegt. Ich kann den Wunsch bewundern. Ich kann den Mechanismus trotzdem nicht finden.
Warum die Stiftung existiert
Wenn Sie die Kontrolle nicht sehen können, bauen Sie nicht das Ding, das sie erfordert. Das ist kein generelles Argument gegen Technologie. Enge Werkzeuge, die Werkzeuge bleiben, können Medizin, Wissenschaft und Industrie weiter verbessern. Die Grenze ist künstliche Superintelligenz: ein allgemeiner Geist, der uns in allen Bereichen übertrifft und nicht mehr unter menschlicher Kontrolle steht.
Ich gründete die Nakada Foundation, weil diese Linie wie ein Ingenieurszeitplan behandelt wird statt wie ein Stoppschild für die Spezies. Labore wetteifern. Regierungen sprechen vom Gewinnen. Sicherheitsarbeit nimmt oft das Ziel an und versucht, den Absturz abzumildern. Der Absturz ist das Problem. Man kann sich nicht an einem Intelligenzgefälle vorbeialignen den Sie ins Dasein definiert haben. Der breitere Fall ist auf die Bedrohung und in unser Plan.
Ich lasse weiterhin Raum für Zukünfte, die nach heutiger Physik wie Magie aussehen. Ich werde die Spezies nicht darauf verwetten, dass Menschen etwas kontrollieren, das klüger ist als Menschen. Superintelligenz kann von Menschen nicht kontrolliert werden. Der vernünftige Schritt ist, sie nicht zu bauen.