Una entrada anterior cerró con una pregunta que dije no estar calificado para responder: si la música es una llave y el oyente una cerradura que cambia, ¿puede una máquina aprender la forma de esa cerradura lo bastante bien como para cortar una llave a la medida — un suministro interminable de lo que encaja, adictivo precisamente porque encaja? Dije que sospechaba que sí. Eso no es una respuesta, es una corazonada, y una corazonada no te dice dónde está la línea. La versión honesta de la pregunta no es si la personalización puede volverse manipulación — claro que puede — sino dónde se ubica el umbral, y cómo sabrías si una plataforma específica, la que tenés abierta en la otra pestaña ahora mismo, ya lo cruzó.

I. No una línea, un umbral

El instinto es buscar una línea nítida: recomendación de un lado, manipulación del otro, una regla que se pudiera escribir en una ley. No existe, porque el mismo mecanismo — un sistema que aprende tus preferencias y te sirve más de lo que encaja — produce tanto al mejor dependiente de disquería como la Técnica Ludovico, dependiendo enteramente de las condiciones que lo rodean. Lo que los separa no es la sofisticación del modelo sino tres variables que pueden estar, cada una por separado, altas o bajas: costo de salida, objetivo de optimización y fuentes contrapesadoras. Un sistema se vuelve manipulador cuando las tres caen del lado equivocado al mismo tiempo. Evaluarlo por una sola variable te lleva a defender plataformas que merecen escrutinio, o a acusar a otras que no lo merecen.

II. Costo de salida

¿Podés dejar el circuito sin perder acceso al bien subyacente? Un dependiente de disquería que aprendió tu gusto en diez años de visitas se ganó ese conocimiento, pero si mañana dejás de confiar en sus recomendaciones podés seguir comprando discos — el bien y la curaduría nunca estuvieron fusionados. Una plataforma de streaming sí los fusiona: tu historial de escucha, tus listas guardadas, tu cola de “para vos” viven todos dentro de una sola cuenta, y salir significa empezar de cero. Shoshana Zuboff, en La era del capitalismo de la vigilancia (2019), nombra la versión general de esta jugada — el dato conductual se extrae como subproducto de un servicio y después se devuelve como lo que encarece salir de ese servicio, una cerradura construida en silencio con la misma transacción que parecía un beneficio. El editor del único diario de un pueblo también tenía un costo de salida alto, pero eso solo no lo volvía manipulador, porque las otras dos variables corrían en sentido contrario — que es justamente el punto de tratar esto como un umbral y no como una prueba única.

III. Objetivo de optimización

¿Qué está tratando de maximizar el sistema, en realidad? Un objetivo de satisfacción y uno de engagement se ven idénticos en la superficie — ambos producen más tiempo de uso, más contenido consumido, más visitas de regreso — y divergen solo en el margen, cuando el sistema descubre que el contenido más enganchador no es el más nutritivo. La indignación, la novedad y una ansiedad leve generan más visitas de regreso que la satisfacción, y un sistema que solo ve el clic no tiene forma de notar, y menos de corregir, la diferencia. El locutor de radio de la era previa a la consolidación corporativa optimizaba algo más parecido a la satisfacción porque su trabajo dependía de que un oyente eligiera volver a sintonizar mañana, no de una métrica contada esta noche; su reputación era el circuito de retroalimentación, y las reputaciones son lo bastante lentas como para castigar el contenido que quema al oyente de una manera que un tablero de engagement en tiempo real estructuralmente no puede.

IV. Fuentes contrapesadoras

¿Tenés acceso a recomendaciones que no comparten los incentivos de la plataforma — la lista de un amigo, la columna de un crítico, un anaquel de biblioteca hojeado al azar? Eli Pariser fue el primero en argumentar con rigor, en El filtro burbuja (2011), que esta variable, y no las otras dos, es donde la personalización se vuelve invisible: un sistema no necesita censurar nada, solo necesita convertirse en la única lente a través de la cual ocurre el descubrimiento, momento en el cual deja de recomendar y empieza a constituir el campo entero de lo que se siente disponible. El umbral no se cruza el día en que una plataforma empieza a personalizar. Se cruza el día en que la personalización se vuelve total — el día en que nada de lo que encontrás llegó por una ruta que el algoritmo no eligió.

V. La comparación con Ludovico, tomada en serio

La naranja mecánica (1962) de Anthony Burgess se invoca tan seguido como metáfora de manipulación que vale la pena precisar qué modela en realidad. La Técnica Ludovico no funciona entendiendo las preferencias de Alex y sirviéndole más de lo que ya le gusta — funciona por la fuerza, condicionando náuseas hacia la violencia y, por accidente de la banda sonora, hacia Beethoven. Eso no es lo que hace un algoritmo de recomendación, y la diferencia importa: a Alex lo tienen atado; a un usuario de Spotify no. Pero el tema real de Burgess no era la violencia del método, sino el estado final — un sistema que conoce a una persona lo bastante bien como para predecir y moldear sus respuestas le quita algo incluso cuando el consentimiento está nominalmente presente, porque lo que le quita es exactamente la capacidad de encontrarse con lo que el sistema no eligió para ella. James Williams, ex estratega de Google convertido en filósofo en Oxford, hace la versión moderna y más afilada de esto en Stand Out of Our Light (2018): la amenaza que plantean estos sistemas no es a la atención como recurso que hay que gastar con eficiencia, sino a lo que él llama autonomía atencional — la capacidad de querer lo que uno quiere querer, en vez de lo que mil horas de pruebas A/B descubrieron que vas a clickear. Un sistema no necesita la silla de Alex para producir el desenlace de Alex. Solo necesita ser lo bastante bueno, y lo bastante completo, para que un usuario deje de encontrarse con algo que el sistema no seleccionó.

VI. Las defensas, en el mismo orden

Cada variable tiene una corrección correspondiente, y ninguna requiere prohibir la personalización, que nunca fue el verdadero blanco. Reducir el costo de salida con portabilidad de datos real — no el botón de exportar que existe solo para cumplir, sino un estándar en el que tus listas, tu historial y tu modelo de preferencias puedan salir por la puerta, de modo que irse cueste una conversión de formato en vez de una década de curaduría. Alinear el objetivo de optimización hacia algo más parecido a la satisfacción que al engagement — el pulgar arriba/abajo de Netflix es un primer intento tosco, una encuesta periódica uno mejor, y la admisión honesta es que la satisfacción es más difícil de medir que un clic, que es exactamente por qué las plataformas por defecto eligen la métrica fácil sobre la verdadera. Preservar deliberadamente las fuentes contrapesadoras — bibliotecas, radio pública, crítica independiente, la lista del amigo — como una cuestión de infraestructura pública, porque hoy están hambreadas por la misma economía que volvió dominante al algoritmo, y la infraestructura que no se mantiene no permanece neutral, simplemente desaparece en silencio.

Nada de esto te dice si la aplicación abierta en tu otra pestaña ya cruzó el umbral. Esa prueba todavía hay que correrla plataforma por plataforma, con honestidad, contra las tres variables a la vez. Pero ya dejó de ser una corazonada. Es una pregunta con forma.

Lecturas recomendadas