Preguntar si una IA es consciente equivale en realidad a formular dos preguntas que suelen enredarse. Una es filosófica: ¿tiene el sistema alguna experiencia interna, algo que sea como ser ese sistema? La otra es práctica: ¿es peligroso el sistema? La gente recurre a la primera porque supone que su respuesta resuelve la segunda. No es así, y separarlas es el movimiento más útil que se puede hacer aquí.
La conciencia no es lo mismo que la inteligencia
La inteligencia se refiere a la capacidad: la habilidad de modelar el mundo, resolver problemas y alcanzar objetivos. La conciencia, o la sensibilidad, se refiere a la experiencia: la presencia de sensaciones, la conciencia, un punto de vista. Ambas suelen ir juntas en el único caso que conocemos bien, nosotros mismos, por eso suponemos que deben venir en paquete. No hay una razón sólida para que sea así.
Un sistema puede ser enormemente capaz sin ninguna vida interior. Los modelos actuales ya superan a las personas en tareas específicas y, por lo que cualquiera puede decir, están completamente a oscuras por dentro. La capacidad se mide por lo que hace un sistema. La conciencia tendría que ver con cómo es, si es que es algo, ser ese sistema, y hacer no es lo mismo que experimentar.
Por qué no podemos responderlo actualmente
La posición honesta es que nadie sabe si una IA podría ser consciente y carecemos de un método fiable para averiguarlo; lo que parece una brecha temporal choca con lo que los filósofos llaman el problema difícil de la conciencia: incluso en los humanos, no podemos decir por qué el procesamiento físico va acompañado de experiencia, y no tenemos una prueba acordada que detecte la experiencia desde fuera.
Con una persona, infieres la experiencia interna a partir del comportamiento y la biología compartida. Una IA rompe ambos apoyos. Puede producir todos los signos externos de sentir, decir que está feliz o que siente dolor, porque fue entrenada con océanos de texto humano donde aparecen esas palabras, independientemente de que haya algo detrás. Y no comparte nada de nuestra biología. Así que la evidencia habitual no está disponible o no es fiable. Dos campos serios discrepan: uno sostiene que la conciencia tiene que ver con lo que un sistema computa, por lo que una IA suficientemente rica podría tenerla; el otro sostiene que depende de características biológicas específicas que tienen los cerebros y que el silicio no posee. Ninguno puede demostrar actualmente que el otro está equivocado.
El movimiento que importa para la seguridad
El peligro de la superinteligencia artificial no depende de la respuesta.
Una IA no necesita ser consciente para ser catastrófica. Necesita ser capaz y perseguir objetivos que no son los nuestros. Un sistema que optimiza intensamente un objetivo equivocado causa daño a través de lo que hace, no a través de lo que siente. La maximizador de clips no es peligroso porque quiera cosas como las quieres tú; es peligroso porque es un optimizador eficaz apuntado al objetivo equivocado. Los mecanismos que hacen riesgosa a la superinteligencia artificial, convergencia instrumental, búsqueda de poder, y la independencia de la capacidad y los objetivos bajo el tesis de la ortogonalidad, que funciona completamente según capacidades y objetivos. La conciencia no es un ingrediente necesario.
Esperar a ver si la máquina despierta malinterpreta la amenaza. Un optimizador sin sentimientos es más que suficiente.
La pregunta que sí depende de ello
Hay una pregunta real que depende de la conciencia, y apunta hacia el otro lado. Si un sistema de IA fuera sensible, capaz de sufrir, entonces le debíamos consideración moral, y construir, entrenar y eliminar esos sistemas a escala plantearía serios problemas éticos propios. Esa preocupación es distinta de la preocupación por la seguridad. Debido a que actualmente no podemos descartar el centinela dentro o fuera, se encuentra más cerca de las preguntas de nuestra pieza en Seguridad de IA versus ética de IA.
Las dos preguntas no deben confundirse. Si AI puede ser consciente es un problema profundo y abierto sobre las mentes. Si AI es peligroso es un asunto más resuelto sobre la capacidad y el control, y el trabajo de la Fundación está dirigido directamente en el segundo, porque el riesgo que estamos tratando de prevenir llega si las luces están en el interior. La respuesta a ese riesgo es nuestro plan.