Este artículo diagnostica por qué el campo está famélico. Parte 2, Cómo la seguridad de la IA llega a mil millones de dólares al año detalla cómo podría alcanzar cinco veces este presupuesto, y de dónde vendría el dinero.
Pídele a la gente que adivine cuánto gasta el mundo para asegurarse de que la ASI salga bien, y la mayoría llega a miles de millones. Los científicos que la construyen siguen advirtiendo que podría ser peligrosa; seguramente la respuesta está financiada como un problema serio. No lo está. Si sumas cada subvención filantrópica, cada programa gubernamental de seguridad y cada dólar que los laboratorios de frontera gastan en sus propios equipos de seguridad, el total llega a algo como 190 millones de dólares al año. La inversión global en capacidades de IA superó los 250 mil millones de dólares al año hace tiempo. Por cada mil dólares gastados en hacer la IA más poderosa, se gastan menos de un dólar en hacerla segura.
La cifra de 190 millones de dólares merece examen, porque las estimaciones en este campo son realmente confusas. Los totales publicados van de unos 110 millones a 250 millones al año según se cuenten institutos gubernamentales, equipos internos de laboratorio y trabajo académico. Lo que sigue es nuestra propia contabilidad, elaborada a partir de bases de datos públicas de subvenciones y divulgaciones presupuestarias, financiador por financiador.
De dónde viene el dinero
| Fuente | Est. al año |
|---|---|
| Open PhilanthropyRespaldado por Good Ventures; más de $336M para la seguridad de la IA desde 2014, aproximadamente $46-50M al año recientemente | $50M |
| Equipos de seguridad de laboratorios punterosInvestigación interna de seguridad en Anthropic, OpenAI, Google DeepMind, estimada, no divulgada | $35M |
| Survival & Flourishing FundRespaldado en gran parte por Jaan Tallinn; solo su ronda de 2024 asignó más de $19M | $30M |
| gobierno UKInstituto de Seguridad de la IA más el programa de IA Protegida de £59M de ARIA | $30M |
| Otras filantropías e individuosLongview Philanthropy, the Long-Term Future Fund, fundaciones más pequeñas, donantes individuales | $25M |
| US, EU y otros gobiernosLos programas de seguridad de CAISI de NIST, NSF y la Oficina de IA de EU | 20M |
| Total | ~ 190M |
Dos cosas destacan. Primera, no es un campo diversificado. Una sola fundación privada aporta más de una cuarta parte de todo el financiamiento y más de la mitad del dinero filantrópico. Segunda, la participación gubernamental es reciente y frágil; la mayor parte data de 2023, y tanto el instituto UK como el US eliminaron la palabra «seguridad» de sus nombres en los dos años siguientes a su fundación.
Dónde va el dinero
Ningún financiador publica un desglose de gastos por propósito, así que clasificamos las subvenciones nosotros mismos: tomamos cada fuente mencionada, ordenamos sus subvenciones y programas conocidos en categorías y sumamos entre financiadores. La base de datos pública de subvenciones de Open Philanthropy muestra alrededor de 28 millones de dólares en subvenciones de seguridad técnica para 2024, de los cuales el 68 % se destinó a evaluaciones y benchmarking. El instituto de seguridad de la IA de UK es, por mandato, un organismo de evaluaciones, mientras que el programa Safeguarded AI de ARIA es investigación técnica. Los beneficiarios del Survival and Flourishing Fund abarcan trabajo técnico (MIRI), evaluaciones (METR, Apollo Research) y promoción (el CAIS Action Fund). El programa de IA de Longview se inclina hacia la gobernanza. Los presupuestos internos de los laboratorios son casi exclusivamente técnicos. El resultado:
| Qué financia | Est. al año | Compartir |
|---|---|---|
| Investigación sobre seguridad técnicaAlignment, interpretabilidad, robustez, equipos de laboratorio, ARIA, NSF, academia, organizaciones sin fines de lucro | $80M | 42% |
| Evaluaciones de modelos y benchmarkingPruebas de capacidades peligrosas, UK AISI, METR, Apollo, subvenciones de evaluaciones de Open Phil | $50M | 26% |
| Investigación en gobernanza y políticasDiseño de tratados, estándares de seguridad, gobernanza del cómputo | $30M | 16% |
| Desarrollo del campo y talentoBecas, programas de formación en investigación, trayectorias profesionales | 20M | 11% |
| Defensa y participación públicaCampañas, cartas abiertas, organización de base | 10M | 5% |
Los totales por categoría son estimaciones construidas sobre estimaciones, y muchas subvenciones cruzan líneas; una organización sin fines de lucro de evaluaciones hace trabajo técnico; un instituto de gobernanza ejecuta becas. Pero la forma es robusta ante cualquier reclasificación razonable: la investigación técnica y las evaluaciones absorben alrededor de dos tercios de todo, y la promoción (el trabajo de cambiar realmente lo que hacen gobiernos y empresas) recibe una vigésima parte.
Avatar: The Way of Water costó más producirse que lo que el mundo entero gasta en seguridad de la IA en un año. Un solo clúster de entrenamiento de frontera cuesta más que una década del presupuesto total del campo. El gobierno federal de US gasta el total anual del campo en defensa más o menos cada diez minutos.
Razón uno: un único financiador dominante
La mayor parte del dinero filantrópico para la seguridad de la IA, más de la mitad, proviene de un solo lugar: Good Ventures, la fundación del cofundador de Facebook Dustin Moskovitz y Cari Tuna, que dona a través de Open Philanthropy. Esa concentración tiene consecuencias más allá de la fragilidad. Cuando una organización queda fuera de lo que Good Ventures financiará, el resto del grupo de donantes es tan escaso que, según un cálculo de un ex donante del sector, enfrenta una barra de financiamiento entre 1,5 y 3 veces más alta que los demás. Y cuando el principal donante cambia de prioridades, todo el campo se mueve con él: las subvenciones de seguridad técnica de Open Philanthropy cayeron desde un pico de más de 60 millones de dólares en 2022 a 28 millones en las subvenciones registradas de 2024, y la mayor parte de lo que quedó se destinó a evaluaciones. Ningún otro donante cubrió la diferencia. En un campo saludable, la reunión de la junta de un solo donante no puede remodelar la agenda de investigación. Este aún no es un campo saludable.
Razón dos: sin base de apoyo
La investigación del cáncer recauda decenas de miles de millones de dólares al año porque todo el mundo conoce a alguien. La filantropía climática superó los 10 000 millones de dólares al año porque el daño es visible y el movimiento tiene cincuenta años. El riesgo de IA no tiene pacientes, ni pueblos inundados, ni familias de duelo; el daño que advierte aún no ha ocurrido y, si el campo tiene éxito, nunca ocurrirá. Prevenir un riesgo que nunca se ha materializado es casi el argumento de recaudación de fondos más difícil posible. Las personas más convencidas por el argumento suelen ser investigadores, no multimillonarios, y la preocupación del público general por la IA (que las encuestas encuentran consistentemente real y en aumento) no tiene una casilla de donación obvia asociada.
Razón tres: los laboratorios absorbieron el campo
Una gran parte de las personas capacitadas para hacer investigación de alineación trabaja en Anthropic, OpenAI o Google DeepMind, con niveles de compensación que ninguna organización sin fines de lucro puede igualar. Esto distorsiona el panorama de financiamiento dos veces. Hace que la seguridad parezca mejor financiada de lo que es, porque el trabajo de seguridad más visible ocurre dentro de empresas con presupuestos enormes. Y ata gran parte de la agenda de investigación del campo al juicio comercial: el gasto en seguridad de un laboratorio es real, pero es un gasto que el laboratorio elige, en preguntas que el laboratorio prioriza, publicable a discreción del laboratorio y cancelable cuando cambian las prioridades, como demostró OpenAI al disolver su equipo de Superalignment en 2024, un año después de comprometer públicamente el 20 por ciento de su computación al problema. La investigación de seguridad independiente existe precisamente para hacer las preguntas que los laboratorios no harán, y la independencia es exactamente lo que el dinero no financia a escala.
Cuarta razón: el dinero evita la política
El segmento más pequeño del gráfico (el 5 % para la promoción) puede ser el más consecuente. La ley de beneficencia de la US limita cuánto cabildeo puede financiar una fundación 501(c)(3), y la mayoría de los financiadores institucionales son cautelosos mucho más allá del requisito legal, por temor a politizar sus donaciones más amplias. El resultado es un campo que gasta 160 millones de dólares al año en producir investigación y evaluaciones, y unos 10 millones en asegurarse de que quienes tienen poder actúen en consecuencia. Las organizaciones que realizan trabajo político directo (PauseAI, ControlAI, el brazo de campaña del Future of Life Institute) operan con presupuestos que avergonzarían a una campaña congresual de tamaño medio. Sea lo que sea lo que se piense de sus tácticas, la asimetría es evidente: las mayores empresas tecnológicas gastan cada una más en cabildeo federal solo que todo el campo de la seguridad en promoción.
Qué cambiaría esto
La aritmética del campo significa que cantidades pequeñas lo mueven. Un nuevo donante que aportara 5 millones de dólares al año se ubicaría de inmediato entre los mayores financiadores de la promoción de la seguridad de la IA en la Tierra. Un gobierno que destinara una décima parte del uno por ciento de su presupuesto de defensa a la investigación de seguridad duplicaría aproximadamente el total mundial. Esta es una causa rara en la que el cuello de botella no es la capacidad de absorción (los propios financiadores dicen públicamente que no pueden cubrir las oportunidades que ven), sino simplemente el número de personas que firman los cheques. Cómo se vería un impulso deliberado para cambiar eso (cómo podría el campo alcanzar mil millones de dólares al año y de dónde vendría el dinero) es el tema de Parte 2.
El dinero es una palanca; la política es la otra, y no requiere riqueza personal. El argumento a favor de reglas internacionales vinculantes sobre la IA de frontera se expone en nuestro plan, y la forma más rápida de sumarte a ello toma cinco minutos en el tomar acción página. La versión interactiva de los datos de financiamiento en este artículo vive en nuestro página de recursos, con fuentes, y mantendremos ambos actualizados a medida que aparezcan nuevas divulgaciones.
Aquí es de dónde viene el dinero, adónde va y por qué la cifra se mantiene tan pequeña.