Cuando la IA decide sobre personas
1 · Por qué existe la ley — cuatro sistemas europeos que hicieron exactamente lo que se les dijo
Sección titulada «1 · Por qué existe la ley — cuatro sistemas europeos que hicieron exactamente lo que se les dijo»El AI Act de la UE no surgió de la nada. Existe porque los sistemas de IA ya han causado daño concreto y documentado en Europa —no por malicia, sino porque un riesgo nunca se identificó ni se trató antes de desplegar el sistema. El modelo hizo exactamente lo que sus datos le enseñaron, y ese fue el problema.
- Educación — el algoritmo de los A-levels en el Reino Unido (2020). Con los exámenes cancelados por la COVID, un algoritmo puso las notas y rebajó cerca del 39% de los resultados de los A-levels, golpeando con más fuerza a los alumnos de centros públicos desfavorecidos mientras subía a los privados —sencillamente reprodujo las desigualdades que ya estaban en los datos—. La indignación pública forzó una de las mayores marchas atrás de la educación británica, de vuelta a las notas del profesorado. El modelo codificó el pasado, y el pasado era desigual. → encuentras este riesgo en el Nivel 2 · selección de estudiantes.
- Empleo — el algoritmo del AMS en Austria. El servicio público de empleo puntuaba las opciones de cada demandante de encontrar trabajo —y ser mujer bajaba tu nota (también la discapacidad y las cargas de cuidados), apartando justo a esas personas de la mejor ayuda—. La autoridad austriaca de protección de datos lo prohibió en 2020. (Un tribunal federal revocó la prohibición en 2025; el litigio sigue abierto.) Desigualdad del mercado laboral, codificada y amplificada. → encuentras este riesgo en el Nivel 5 · cribado de candidaturas.
- Prestaciones públicas — el escándalo neerlandés de las ayudas a la infancia (Toeslagenaffaire). La administración tributaria usó perfilado de riesgo para señalar a familias por fraude en las prestaciones. Se equivocó a gran escala: decenas de miles de familias (unas 26.000) fueron falsamente acusadas, obligadas a devolver las ayudas y arruinadas económicamente; las consecuencias tumbaron al Gobierno neerlandés en enero de 2021. (El sistema relacionado de detección de fraude SyRI fue declarado ilegal por un tribunal neerlandés en 2020 por vulnerar derechos humanos.) Un riesgo sin tratar, desplegado a escala nacional.
- Prestaciones y equidad — el sistema de puntuación de la CNAF en Francia. La caja de prestaciones familiares puntúa a ~32 millones de personas por riesgo de fraude a partir de rasgos personales —rentas bajas, paro, una prestación por discapacidad o ser familia monoparental suben tu puntuación de sospecha—. En 2024, 15 organizaciones (La Quadrature du Net, Amnistía Internacional Francia) lo llevaron al Consejo de Estado, alegando que discrimina y vulnera el Art. 22 del RGPD (decisiones automatizadas). En los Países Bajos, Róterdam usó un modelo casi idéntico cuyo código fuente incluía hasta la «buena apariencia» como variable. Una decisión automatizada sobre tu dinero, sesgada por un proxy que nadie midió —la misma cuestión que encuentras en el Nivel 4 · crédito al consumo.
2 · Quién carga con la obligación
Sección titulada «2 · Quién carga con la obligación»La «IA de alto riesgo» no es el problema de otro. El AI Act asigna deberes a lo largo de la cadena, y tú estás en algún punto de ella:
- El proveedor —quien desarrolla un sistema de alto riesgo (o pone su nombre en él)— carga con las obligaciones pesadas: los deberes de riesgo, datos, registro, transparencia, supervisión y robustez de los Artículos 9-15, la documentación técnica (Anexo IV) y la Declaración de Conformidad firmada.
- El responsable del despliegue —quien usa el sistema bajo su autoridad— tiene sus propios deberes (supervisión humana, seguimiento, a veces una evaluación de impacto en los derechos fundamentales).
- Los importadores y distribuidores deben comprobar que el expediente existe antes de poner el sistema en el mercado.
Si construyes el modelo, lo más probable es que seas el proveedor —y la documentación, la gestión de riesgos y la firma son tuyas, no de tu cliente.
3 · Lo que cuesta no cumplir
Sección titulada «3 · Lo que cuesta no cumplir»Dos costes, y el segundo es el que de verdad mueve los presupuestos.
- Multas (Art. 99). Hasta 35 M€ o el 7% de la facturación anual mundial total (lo que sea mayor) por prácticas prohibidas; hasta 15 M€ o el 3% por incumplir las obligaciones de alto riesgo; hasta 7,5 M€ o el 1% por dar información incorrecta a las autoridades. Esto es más estricto que el RGPD.
- Acceso al mercado — la palanca real. Un sistema de alto riesgo no puede ponerse en el mercado ni entrar en servicio en la UE sin una evaluación de la conformidad, la documentación técnica del Anexo IV, la Declaración UE de Conformidad (Art. 47) y el marcado CE (Art. 48). Las autoridades de vigilancia del mercado pueden ordenar la retirada o recuperación del sistema (Arts. 79-83). Y los compradores públicos cada vez más exigen la conformidad con el AI Act —así que un sistema no conforme queda excluido de la licitación antes incluso de hablar de precio. (Ese último es exactamente el traspaso de licitación que construyes en el Nivel 6.)
4 · Por qué ahora — el reloj ya corre
Sección titulada «4 · Por qué ahora — el reloj ya corre»Esto no es un problema de 2030; es tu próximo sistema.
| Fecha | Qué aplica |
|---|---|
| 1 ago 2024 | El AI Act entra en vigor. |
| 2 feb 2025 | Aplican las prácticas prohibidas (Art. 5). |
| 2 ago 2025 | Obligaciones para los modelos de IA de propósito general. |
| 2 ago 2026 | Deberes de transparencia (Art. 50). |
| 2 dic 2027 | Sistemas de alto riesgo del Anexo III (con el retraso propuesto en el Digital Omnibus; era el 2 ago 2026). |
Gobernar bien un sistema de alto riesgo lleva meses. Empezar cuando llega la fecha límite significa empezar demasiado tarde —que es justo la razón para integrar el trabajo en el desarrollo ahora, en el sistema que estás construyendo este sprint.
El puente: diséñalo desde dentro, no lo documentes después
Sección titulada «El puente: diséñalo desde dentro, no lo documentes después»Aquí está la trampa que comparten las tres historias con todo esfuerzo de cumplimiento tardío. Pasas semanas montando un dosier de riesgos; lo entregas; al día siguiente reentrenas el modelo —y tu dosier ya describe un sistema que ha dejado de existir. El cumplimiento a posteriori nace obsoleto.
La salida es el mismo movimiento que el software ya hizo para la corrección (pruebas) y para la seguridad (revisiones de seguridad): lo conviertes en parte de escribir el código. Cada tratamiento de riesgo se vuelve un cambio versionado y firmado, de modo que la evidencia siempre describe el sistema que realmente existe —y detectar una regresión de equidad es solo detectar una prueba en rojo en CI, no reescribir un documento a mano la noche antes de una auditoría.
Eso es el cumplimiento por diseño, y de eso trata el resto de este sitio.