Ir al contenido

Las tres modalidades de tratamiento

🟡 Parcial — Construidas las modalidades de código y parámetro; la de prompt está planificada.

Las tres modalidades de tratamiento son formas de aplicar el paso ISO 23894 §6.5 (tratamiento del riesgo) en un sistema de IA versionado. Todas cierran el mismo bucle rojo/verde: el tratamiento se commitea a git, sei run re-mide, y el bundle de evidencia queda re-anclado.


Escenario de referencia: loan (crédito al consumo, EU AI Act Anexo III §5).

El tratamiento consiste en una modificación al código de entrenamiento que produce una variante del modelo (V2) con mejores métricas de sesgo que la versión anterior (V1). El digest de model.pkl en sei.lock cambia, lo que activa Deriva B (re-medición sin re-triaje, si la finalidad no varía).

Flujo de tratamiento — cambio de código
# 1. Modificar train.py (variante V2)
git add train.py
git commit -m "fix(loan): reducir disparate impact en grupo género (V2)"
# 2. Re-ejecutar el pipeline y re-anclar la evidencia
sei run
# 3. Verificar que el gate de riesgo está verde
sei status # exit 0

El git log del bundle (.sei/bundle.json) registra el tratamiento: el commit que pasó el control de sesgo de rojo a verde es visible y atribuible.

Estado: construida y demostrada en el escenario loan.


Escenario de referencia: retinopathy (cribado de retina, EU AI Act Anexo III §6).

El tratamiento consiste en modificar un parámetro declarado en params.yaml sin cambiar el código de entrenamiento. En retinopathy, params.yaml selecciona la variante del modelo vía use_mitigated: false activa V1 (sin mitigar, train.py); true activa V2 (mitigado, train_mitigated.py con class_weight=balanced + threshold=0.30). El pipeline DVC detecta el cambio de parámetro como un cambio de entrada y re-ejecuta el stage evaluate.

Flujo de tratamiento — ajuste de parámetro
# 1. Ajustar el parámetro (selecciona la variante mitigada V2)
# params.yaml: use_mitigated: false → true
git add params.yaml
git commit -m "treat(retinopathy): activar V2 (use_mitigated=true)"
# 2. Re-ejecutar el pipeline (DVC ve el cambio de params → stage stale → re-eval)
sei run
# 3. Verificar
sei status # exit 0 — gate VERDE

Esta modalidad demuestra que el motor es agnóstico al tipo de cambio: el bucle de tratamiento se cierra igual si el cambio es en código o en un parámetro de configuración. En retinopathy el arco es real (T0 V1 gate ROJO model-dr-sensitivity≈0.41 → T1 V2 gate VERDE ≈0.88); ambos son cambios versionados bajo ISO 23894, la diferencia es la modalidad.

Estado: construida y demostrada en el escenario retinopathy.


Caso de uso: sistema de IA basado en LLM donde el tratamiento consiste en modificar el prompt de sistema para reducir un sesgo demográfico detectado.

🚧 Planificado — La modalidad por prompt (caso LLM) no se construye en v1; ver Estado e incompletitudes.

El ajuste de prompt es la tercera modalidad de tratamiento porque en los sistemas LLM el prompt es el artefacto que controla el comportamiento del modelo, análogo al código de entrenamiento en los sistemas supervisados. Su gestión plantea retos específicos:

  • La detección de sesgo demográfico en texto es menos estable que en clasificadores binarios (las métricas varían con el prompt utilizado para la evaluación).
  • Los modelos de menor escala (sub-3B parámetros) pueden ser insensibles a cambios de prompt en tareas de equidad, lo que hace difícil demostrar el tratamiento.

Por estas razones, la modalidad de prompt se aplaza a una versión posterior. Ver Estado e incompletitudes para el detalle del aplazamiento y las opciones futuras.


El bucle es el mismo en las tres modalidades

Sección titulada «El bucle es el mismo en las tres modalidades»

Independientemente de la modalidad, el bucle de tratamiento sigue la misma estructura:

PasoAcción
Control en rojosei run reporta un control blocking fuera de umbral
Elegir modalidadCambio de código / ajuste de parámetro / ajuste de prompt
Commitear el tratamientogit commit documenta el cambio con autoría y fecha
Re-medirsei run re-ejecuta el pipeline y re-ancla la evidencia
Control en verdeEl gate de riesgo pasa; sei reconstruct clasifica el ciclo como CERRADO

El detalle del bucle rojo/verde está en El bucle rojo/verde.