Abrí una terminal y escribí un comando que nunca habías corrido. Podés leer su código fuente, rastrear su salida, encadenarlo a otro comando, deshacer lo que haya hecho. Ahora intentá averiguar por qué te negaron el crédito, por qué te subió la prima del seguro, por qué un algoritmo de selección te puso por debajo de un desconocido. No podés. No porque el razonamiento sea demasiado complejo de explicar, sino porque nadie que construyó el sistema tenía intención de que lo vieras. Poné las dos cosas una al lado de la otra y aparece una pregunta que no tiene nada que ver con computadoras específicamente: ¿qué le debe un sistema a las personas que gobierna, y por qué algunos sistemas honran esa deuda mientras otros tratan la opacidad como una virtud?

I. Un Requisito Escondido a Plena Vista

Una entrada anterior sobre la terminal Unix la elogiaba como la interfaz más duradera en la historia de la computación, y es duradera por una razón específica: cada comando es texto, cada script es inspeccionable, cada tubería conecta dos procesos transparentes en lugar de dos cajas negras. Ese elogio no era realmente sobre elegancia. Era sobre una propiedad que la terminal tiene y que la mayoría de los sistemas modernos no tienen: la propiedad de poder ser leída por quienes la usan. Una vez que notás esa propiedad, empezás a ver su ausencia en todos lados: en el algoritmo que fija tu puntaje crediticio, en la red neuronal que marca tu estudio médico, en el archivero de reglas no escritas que decide si tu apelación se escucha o no. Parecen problemas sin relación entre sí —finanzas, medicina, burocracia— pero comparten un solo defecto. Llamémoslo el imperativo de la auditoría: un sistema que gobierna personas debe poder ser leído por esas personas, y un sistema que no puede leerse terminará sirviendo a intereses distintos de los suyos.

II. Qué Significa Realmente “Legible”

Legible no es una sensación, son cuatro condiciones, y un sistema las cumple o no las cumple. Las reglas tienen que estar publicadas —no solo su existencia, sino su contenido completo, en una forma que alguien sin formación técnica pueda entender—, lo cual descarta “el algoritmo es propietario” como respuesta aceptable a “¿por qué me lo negaron?”. La aplicación de las reglas tiene que ser rastreable: para cualquier decisión específica podés reconstruir los datos de entrada, el proceso y el razonamiento que la produjo, no solo recibir el resultado. El sistema tiene que ser modificable: cuando las reglas producen malos resultados existe un mecanismo para cambiarlas que no requiere el permiso de quien se beneficia de las actuales. Y la salida tiene que ser real: si el sistema no puede volverse legible, quienes están sujetos a él pueden irse sin una pérdida catastrófica. Si falta una sola de estas condiciones no tenés una versión un poco peor de un sistema auditable. Tenés uno que no rinde cuentas, porque las cuatro condiciones no son una lista de deseos, son el mecanismo por el cual el poder llega a estar controlado.

III. El Mecanismo de Auditoría Original

El ejemplo funcional más antiguo es anterior a la computación por cinco siglos. Una entrada anterior sobre contabilidad rastreó cómo la partida doble obliga a cada transacción a entrar en dos registros independientes que deben coincidir —debe acá, haber allá— y si no coinciden, algo está mal y la discrepancia no puede esconderse. Ese es el imperativo de la auditoría en su forma mecánica más pura: no una promesa de honestidad sino una estructura que hace visible la deshonestidad por diseño. Luca Pacioli no inventó la partida doble para volver virtuosos a los comerciantes. La inventó para volver legibles sus libros a cualquiera que supiera leer un balance —un socio, un heredero, un recaudador de impuestos, el propio comerciante del futuro tratando de recordar qué pasó. El sistema no necesitaba que el comerciante fuera confiable. Necesitaba que sus registros fueran verificables, un requisito categóricamente más débil y mucho más duradero.

IV. Cuando el Libro Mayor no Tiene Segunda Columna

La mayoría de los sistemas de gobernanza modernos fallan esta prueba de la misma manera específica: tienen una primera columna y ninguna segunda. Un algoritmo de puntaje crediticio, una evaluación de riesgo para la libertad bajo fianza, un modelo de tarificación de seguros: cada uno produce un número, y el número se trata como el registro. No hay una entrada independiente con la que tenga que coincidir, ninguna discrepancia que pueda salir a la superficie, porque no hay nada contra qué compararlo salvo consigo mismo. Una entrada anterior sobre IA neurosimbólica planteó la versión arquitectónica de este argumento: el razonamiento simbólico es rastreable paso a paso, de la misma forma en que un asiento contable puede rastrearse hasta una transacción, mientras que la decisión de una red neuronal es una suma ponderada a través de millones de parámetros que nadie, ni siquiera quienes la entrenaron, puede desandar hasta convertir en una razón. El problema no es que estos sistemas se equivoquen más seguido que los humanos —en dominios acotados frecuentemente se equivocan menos. El problema es que cuando se equivocan, el error no tiene dirección. Nadie puede señalar el asiento que no cuadra, porque nunca hubo una segunda columna contra la cual verificarlo.

V. El Precedente Simbólico

Una entrada anterior sobre Nefasto describió un programa de Prolog de 1989 construido para satirizar la opacidad del discurso académico —un lenguaje pomposo y evasivo generado por reglas que el autor del programa podía señalar y nombrar. El chiste funcionaba porque Prolog es un sistema donde cada inferencia es rastreable hasta una premisa: le preguntás por qué concluyó algo y puede mostrarte la cadena. El blanco de la sátira, la jerga académica diseñada para sonar autorizada sin comprometerse con una afirmación verificable, era la caja negra burocrática disfrazada de saco de tweed. Treinta y siete años después la forma del problema no cambió, solo su instrumento: un modelo de lenguaje ahora puede generar esa misma plausibilidad evasiva a una escala que ningún comité humano logró jamás, y a diferencia del programa en Prolog, no puede mostrarte la cadena, porque no hay ninguna que mostrar.

VI. El Fusible que Desapareció

Una entrada anterior sobre consejos médicos y modelos de lenguaje nombró el daño específico que aparece cuando un sistema tan opaco se inserta en una decisión que antes requería un humano con licencia y responsabilidad: el fusible entre la sugerencia y la consecuencia desaparece. Un médico que se equivoca puede ser interpelado a explicar su razonamiento, puede perder la licencia, puede ser demandado, puede equivocarse de una forma que deja un registro con un nombre asociado. Un modelo que se equivoca produjo una oración que sonaba plausible, y la cadena de responsabilidad termina en una cláusula de exención de términos y condiciones. Esta es la cuarta condición del imperativo de la auditoría fallando en silencio: acá el problema no es la salida, es la trazabilidad —no existe un mecanismo por el cual la persona afectada pueda reconstruir por qué ocurrió el daño, solo un párrafo seguro de sí mismo y nadie obligado a responder por él.

VII. Por Qué “Propietario” No Es una Respuesta

La defensa estándar contra todo esto es que el algoritmo es propietario, un secreto comercial, sensible desde el punto de vista competitivo —y adentro de esa defensa hay una distinción real que vale la pena preservar en lugar de descartar. Que una empresa mantenga en secreto su receta frente a sus competidores no es la misma afirmación que una empresa manteniendo en secreto la lógica de su decisión frente a la persona sobre la que se tomó esa decisión. Lo primero es competencia ordinaria. Lo segundo es negarle a los sujetos de un sistema lo único que les permitiría verificar si el sistema los está tratando con justicia, y vestir esa negación con el lenguaje de la propiedad intelectual no cambia lo que es. Una prueba útil: ¿la explicación, si se publicara, ayudaría a un competidor a copiar el negocio, o solo ayudaría a la persona afectada a entender su propio caso? Los ponderadores de un puntaje crediticio son a veces el primer tipo de secreto y siempre el segundo —y una regla que no puede sobrevivir a ser explicada a la persona a la que se le aplicó probablemente nunca fue una regla legítima.

VIII. La Forma General

Nada de esto es realmente sobre algoritmos. Los algoritmos son solo la instancia más nueva y de más rápida escala de un fallo antiguo —la burocracia opaca hizo esto primero: reglas que técnicamente existen pero nunca se publican, decisiones que se toman pero nunca se explican, apelaciones que en teoría son posibles pero en la práctica son inaccesibles para cualquiera sin un abogado contratado. El mecanismo es idéntico sea la caja negra de silicio o de papeleo: la opacidad protege a quien decide de la disciplina de ser verificado, y un sistema no necesita intención maliciosa para derivar hacia servir a sus operadores por sobre sus sujetos —solo necesita la ausencia de un mecanismo que atrape esa deriva. La terminal se mantuvo honesta durante cincuenta años no porque sus diseñadores fueran inusualmente virtuosos, sino porque cada comando siguió siendo visible para quienes dependían de él. La partida doble atrapó fraudes durante cinco siglos no porque los comerciantes se volvieran más honestos, sino porque el libro mayor tenía dos columnas en lugar de una. El imperativo de la auditoría no es un ruego por buen comportamiento. Es la observación de que el buen comportamiento no es lo que hay que diseñar —lo que hay que diseñar es la verificabilidad, porque la verificabilidad es la única propiedad que sobrevive al contacto con un operador que no tiene ganas de comportarse bien.

Lecturas recomendadas