Antes de que un nuevo medicamento se comercialice en Estados Unidos, alguien debe demostrar su seguridad y eficacia bajo normas que pueden impedir su lanzamiento. La mayoría del software aún se lanza primero y pide disculpas después. El modelo de la FDA es la pregunta que la política de IA sigue esquivando: demuéstralo antes de que el daño sea irreversible.

Los productos farmacéuticos son la gran excepción. Una empresa farmacéutica no puede lanzar un medicamento y esperar a que aparezcan los cuerpos. Tiene que demostrar seguridad y eficacia a la Administración de Alimentos y Medicamentos mediante ensayos clínicos por etapas antes puede vender el producto en absoluto. La carga de la prueba recae en el desarrollador, y lo hace antes del despliegue. El modelo de la FDA para la IA pregunta si la IA de frontera, que comparte las características que convirtieron a la medicina en una excepción, debería regirse del mismo modo.

Por qué la analogía resulta atractiva

La analogía es más cercana de lo que parece a primera vista, porque las razones por las que los medicamentos requieren aprobación previa al mercado también aplican a la IA de frontera.

  • La carga de la prueba se invierte. El desarrollador debe demostrar que el producto es seguro, en lugar de que un regulador o el público tenga que demostrar que es peligroso después de su lanzamiento. Esa inversión es exactamente lo que la Fundación defiende en otros lugares, en casos de seguridad y políticas de escalado.
  • La aprobación viene antes del despliegue. La verificación ocurre mientras el sistema aún está contenido, no después de que se suelte en el mundo, que es el único momento en que la prevención supera a la reacción.
  • Las pruebas por etapas escalan con el riesgo. Los ensayos clínicos proceden en fases, cada puerta requiere evidencia antes de la siguiente. Eso se mapea naturalmente a umbrales de capacidad para la IA.

Para una tecnología en la que algunos fallos pueden ser graves y difíciles de revertir, un régimen que se niega a dejar salir los sistemas de mayor riesgo hasta que se demuestre afirmativamente la seguridad es una propuesta seria y atractiva.

Dónde se esfuerza el modelo

La analogía es una guía, no una plantilla, y las diferencias son instructivas.

Un medicamento es una molécula fija que hace algo específico en el cuerpo, estudiado mediante una ciencia madura con riesgos cuantificados. Un modelo de frontera es de propósito general, se usa para tareas abiertas que nadie enumeró por completo, con capacidades que pueden surgir de forma impredecible y el comportamiento que puede cambiar después del despliegue mediante ajuste fino o nuevas herramientas. Puedes definir qué significa que un medicamento para la presión arterial sea seguro. Definir qué significa que un sistema de razonamiento general sea seguro es el problema sin resolver en el centro del campo, y la ciencia que necesitaría un revisor al estilo de la FDA a menudo todavía no existe.

También está el problema de las fronteras. La FDA regula un mercado nacional con bordes duros. Un modelo peligroso puede entrenarse en cualquier lugar y copiarse en todas partes, por lo que la aprobación previa nacional por sí sola deja el vacío que solo la coordinación internacional puede cerrar, respaldada por los cuellos de botella físicos de gobernanza del cómputo.

El modelo de la FDA nos da el principio correcto —demostrar la seguridad antes de liberar— y nos recuerda cuánto nos falta aún en la ciencia subyacente de la seguridad.

Qué sacar de ello

El modelo de la FDA es valioso menos como un plan para copiar que como una demostración de que la aprobación previa a la comercialización es normal, viable y aceptada para productos cuyo riesgo es demasiado grave para manejarlo con un retiro del mercado. La sociedad ya acepta, en el caso de los medicamentos, que algunas cosas deben demostrarse seguras antes de llegar a nosotros. Extender ese principio consolidado a los sistemas de IA de frontera cuyos fallos podrían ser los más graves es aplicar una norma existente a una tecnología nueva que claramente califica, a través de la combinación de requisitos nacionales y un marco internacional que se describe en nuestro plan, no una exigencia radical.