La promesa de la automatización suele sonar neutral: si una decisión la toma un sistema, se supone que reduce arbitrariedad humana, acelera trámites y mejora la eficiencia. Pero en la práctica, la expansión de la gobernanza algorítmica ha creado un tipo nuevo de poder: decisiones que afectan acceso a crédito, empleo, servicios públicos, seguridad o prestaciones sin que la ciudadanía pueda ver con claridad qué datos pesaron, qué regla operó y cómo se corrige un error. La política no desaparece; se desplaza. Se vuelve cálculo opaco.
Frank Pasquale llamó a esto el problema de la caja negra: sistemas decisionales que operan con modelos y criterios no transparentes, protegidos por secreto comercial, complejidad técnica o simple opacidad burocrática. El efecto es una asimetría radical: quienes diseñan y operan el sistema ven patrones, umbrales y excepciones; quienes son evaluados por él reciben un veredicto (“rechazado”, “riesgo alto”, “no elegible”) sin explicación suficiente. Esa brecha no es un detalle técnico: es una forma de autoridad.
Rob Kitchin amplía el diagnóstico al mostrar que la gobernanza algorítmica no es solo “usar software”, sino delegar decisión y priorización a infraestructuras de datos. Esto reconfigura el Estado y las organizaciones: se gobierna por clasificación, predicción y puntajes, y el debate público se reduce a resultados (“bajó el fraude”, “mejoró la asignación”) aunque nadie pueda auditar cómo se produjo esa conclusión. El poder, entonces, se vuelve doble: poder de decidir y poder de volver esa decisión difícil de cuestionar.
Qué datos entrenan y deciden
La primera pregunta crítica es material: qué datos alimentan el sistema. En muchos casos, los datos no “representan” la realidad; la construyen desde la lógica de quien mide. Un algoritmo de riesgo crediticio, por ejemplo, no evalúa dignidad ni necesidad: evalúa señales de pago históricas. Un sistema de priorización de inspecciones no detecta “culpa”: detecta correlaciones con indicadores previos. Un modelo para detectar “fraude” en programas sociales suele usar proxies (inconsistencias, patrones de gasto, duplicidades) que pueden castigar error administrativo y pobreza irregular, no fraude real.
Ahí aparece un mecanismo clave: la proxyficación. Cuando lo que importa no se puede medir directamente (capacidad real, intención, honestidad, mérito), el sistema usa variables sustitutas. Y esas variables suelen cargar sesgos estructurales: informalidad, historial laboral discontinuo, zonas con subregistro, movilidad residencial, brechas de acceso digital. El resultado puede ser “objetivo” en el cálculo y profundamente desigual en el impacto.
Opacidad como tecnología de gobierno
La opacidad no es siempre falla; muchas veces es función. En términos de gobernanza, la caja negra cumple al menos tres roles:
-
Reduce contestación: si no puedes ver el criterio, no puedes debatirlo.
-
Externaliza responsabilidad: “lo dice el sistema” reemplaza “yo decidí”.
-
Normaliza exclusión: decisiones duras se vuelven rutinarias y escalables.
Ese es el giro político: la automatización permite administrar poblaciones a gran escala con menor costo reputacional para instituciones. La decisión ya no necesita justificar caso por caso; necesita sostener un promedio.
Cómo se apela una decisión automatizada
En teoría, un sistema justo debe permitir explicación y apelación. En la práctica, muchas arquitecturas digitales están diseñadas para lo contrario: son eficientes en negar, lentas en corregir. La asimetría se refuerza cuando la persona afectada no conoce el dato que la dañó (un registro incorrecto, un cruce erróneo, una homonimia, una geolocalización mal asociada) y no existe un procedimiento claro de rectificación.
Para que la apelación sea real y no performativa, se necesitan tres condiciones mínimas:
-
Explicabilidad operativa: no basta con “modelo propietario”; se requiere indicar variables relevantes, umbrales o reglas de decisión comprensibles.
-
Derecho a corrección de datos: acceso a los registros que se usaron y mecanismo rápido de enmienda.
-
Revisión humana efectiva: un canal donde una persona con autoridad pueda revertir y documentar la corrección, no solo “reprocesar” la misma caja negra.
Sin estas garantías, la automatización produce un fenómeno clásico de poder burocrático: la denegación sin rostro.
Quién audita sesgos y errores
La auditoría es el punto donde la gobernanza algorítmica revela si es administración moderna o autoridad opaca. Auditar no es solo revisar precisión técnica; es revisar impacto, equidad, falsos positivos/negativos, robustez, deriva del modelo (cuando cambian patrones y el sistema se vuelve menos fiable) y gobernanza de proveedores (cuando empresas externas controlan componentes críticos).
Un sistema se vuelve especialmente riesgoso cuando ocurre lo siguiente: el operador no puede explicar el modelo, el proveedor no permite inspección por “propiedad intelectual” y la institución pública no tiene capacidad técnica para exigir transparencia. Eso convierte la política pública en subcontrato: el Estado aplica decisiones que no comprende del todo, y la ciudadanía enfrenta un poder sin ventanilla real.
El núcleo democrático del problema
La discusión no es “tecnología sí o no”. Es qué tipo de poder crea la automatización. Si la decisión es automatizada y la explicación es inaccesible, la opacidad se convierte en ventaja institucional: permite gobernar por clasificación sin rendición de cuentas. La solución de alto nivel es clara en principio, difícil en práctica: transparencia proporcional al impacto, derechos de apelación efectivos, auditorías independientes, y capacidad pública para no depender ciegamente de cajas negras privadas.
Porque cuando el algoritmo decide, la pregunta democrática no es “¿funciona?” sino “¿quién puede entenderlo, discutirlo y corregirlo?”. Ahí empieza la rendición de cuentas.
Referencias
Kitchin, R. (2017). Thinking critically about and researching algorithms. Information, Communication & Society, 20(1), 14–29.
Pasquale, F. (2015). The black box society: The secret algorithms that control money and information. Harvard University Press.
0 Comentarios