Esta entrevista está incluida en LaMarea84. Puedes conseguirla aquí o suscribirte desde 40 euros. Y además, ahora, también puedes ayudarnos con una suscripción conjunta con El Salto. ¡Muchas gracias!
Ezekiel Dixon-Román me recibe por Skype desde su nuevo apartamento (alquilado) en el Bronx. Según mueva la cámara, se puede apreciar una vista apabullante de los rascacielos de alrededor, o las cajas que aún le quedan por abrir de la mudanza. “Lo sé, está todo hecho un desastre”, se ríe. Es profesor de Políticas sociales y estudios culturales de la cuantificación en la Universidad de Pensilvania, además de doctor en Psicometría, y experto en destripar cómo el poder y las desigualdades sociales se reproducen a través de distintos métodos cuantitativos en áreas como la educación y la gestión policial de nuestros cuerpos. Apasionado de las matemáticas y la teoría crítica, foucaultiano de corazón, su trabajo Inheriting Possibility: Social Reproduction & Quantification in Education (2017, University of Minnesota Press) le valió el Premio al Mejor Libro por la Asociación Americana de Investigación en Educación (AERA). En un mundo cada vez más híper-especializado, donde se suele partir del maniqueísmo ciencias vs. letras, me he encontrado pocas veces con cerebros como el suyo, capaz de saltar de las más profundas disquisiciones filosóficas al álgebra o la programación informática, siempre con un enfoque en la igualdad social y el antirracismo, temas que hemos trabajado juntos en varias ocasiones. Hoy lo llamo para hablar de algoritmos, uno de los puntos fuertes de su investigación.
Comencemos por el principio. ¿Qué es un algoritmo y cómo funciona?
En su definición más simple, es un procedimiento o conjunto de operaciones que nos permite hacer algo. Ahora, el algoritmo del que solemos hablar en los medios u otros discursos públicos, especialmente en áreas como la informática o el Big Data, es más sofisticado. Estos son algoritmos conocidos como ‘análisis predictivo’ o machine learning, lo cual es un tipo de inteligencia artificial. Parte de lo que estos algoritmos hacen es procesar datos en los que han sido previamente entrenados para ofrecer información predictiva sobre el perfil psicológico de alguien, o un perfil estadístico, como los análisis de riesgo para la policía –lo que se llama predictive policing o policiamiento predictivo– o un diagnóstico en el contexto sanitario. Basándose en información que el médico ha obtenido previamente sobre ti, puede introducirla en el algoritmo y este nos da un diagnóstico probable. Y luego están los que nos encontramos todos los días, los algoritmos de recomendaciones, como el de las búsquedas en Google o las sugerencias de Amazon, que se basan en patrones de compra. Otro más divertido es el que se usa en la pornografía online. Estos algoritmos se pueden utilizar en distintas plataformas, porque los patrones de comportamiento se pueden extrapolar.
Ezekiel, su trabajo se centra en investigar cómo la desigualdad social se reproduce a través de métodos de cuantificación como los algoritmos y la inteligencia artificial en general. ¿Cómo tiene lugar este fenómeno y cuáles son los peligros?
¡Esa es la pregunta del millón! Hay varias maneras en que lo social se introduce en la lógica del algoritmo y, como resultado, sus predicciones generan desigualdad. La primera es a través de los datos mismos. La inteligencia artificial funciona debido a los datos en que se entrena, y estos se producen en algún tipo de infraestructura, por ejemplo: en Facebook. Piensa en cómo interactuamos con la plataforma cuando vemos una imagen, o un post: podemos mirarlo (y, literalmente, calculan cuánto tiempo lo miramos), o descartarlo, o darle a ‘me gusta’, ‘me encanta’ y el resto de las opciones. Saben cuáles son nuestras reacciones, y esas reacciones están guiadas por fuerzas sociales, culturales y políticas. Esos datos que generamos no están basados en alguna verdad universal o en algún tipo de ‘naturaleza’, sino en valores sociales que atraviesan nuestro comportamiento. Así que estamos limitados en nuestras respuestas.
Luego hay mecanismos de medición diseñados para producir datos; por ejemplo, a través de encuestas. Y funcionan de la misma manera: son datos que están moldeados política, social y culturalmente. Con esos datos se entrenan los algoritmos y se calibran sus parámetros. Ahora, pongamos que hablamos del policiamiento predictivo. Tenemos una variable que es el código postal (el barrio donde vive la gente), y queremos saber la probabilidad de que alguien cometa algún delito. Da igual que yo no sea un criminal ya que, por el hecho de que vivo en ese código postal donde se ha registrado un mayor grado de violencia, voy a tener más probabilidad de comerte un delito que alguien que viva en otra zona con menos violencia registrada. Si esto fuese ‘la naturaleza’, el código postal sería simplemente un lugar, pero aquí está impregnado de esas fuerzas culturales, políticas y sociales que lo componen.
Los algoritmos están entrenados en estos datos: código postal, género, antecedentes penales, nivel educativo de la persona y de sus padres… solo no incluyen raza porque los políticos piensan que eso hace algo, pero no importa; el poder predictivo de la raza lo absorben las otras variables. Estamos hablando de docenas de variables que se introducen en el algoritmo cada vez que se delibera si a una persona le conceden, digamos… la libertad condicional o no, porque meten ahí la información y sale una nota en el análisis de riesgo.
Y me imagino que a cierta gente no se la concederán, según estas variables.
Depende de dónde. En Filadelfia, la puntuación es: cero riesgo, riesgo bajo o riesgo alto. En realidad, tiene que ver con dónde destinar recursos, es decir, aumentar la vigilancia. Con riesgo bajo, se destinan algunos recursos. Si sale riesgo algo, más recursos (policía) o no le dan la libertad condicional a esa persona. El análisis de riesgo en teoría se usa para documentar mejor las decisiones, pero al final es lo que las determina. Sabemos que los varones latinos y negros tienen entre dos y tres veces más probabilidad que los blancos de que se prediga o se estime que pueden cometer un delito, pero de forma falsa. Es un falso positivo.
Cuando se habla de algoritmos, la alarma que más suena es la de la privacidad. Sin embargo, hay expertos que han apuntado a algo peor: el hecho de que, mediante la predicción, acaban modificando nuestros comportamientos. Douglas Rushkoff, escritor experto en redes, da un ejemplo muy simple pero significativo cuando explica cómo la probabilidad de que nos pongamos a dieta aumenta después de ver anuncios relacionados en Facebook. ¿Está de acuerdo?
Sí. Podemos hablar de este fenómeno en cualquier situación donde hay análisis predictivo, es decir, algoritmos. De hecho, yo siempre digo que la predicción no va de predecir algún evento futuro, sino de moldear nuestros comportamientos. Una ocasión donde vimos esto fue el 6 de enero, con la insurrección en el Capitolio. Todo eso brotó de los discursos algorítmicos de las redes sociales. Podemos pensar en cómo un contenido específico se comparte, se pasa entre cierta gente, y luego se crean cámaras de eco de ese contenido y quienes tienen la misma ideología política. Esas cámaras de eco acaban siendo reforzadas porque lo que era una verdad escéptica se transforma en una verdad concretizada.
Mira, cuatro años antes, más o menos, durante la campaña electoral de 2016, lo que hizo la Agencia de Investigación de Internet rusa (IRA, en sus siglas en inglés) fue lanzar contenido sobre temas que causan divisiones políticas: raza, inmigración, sexualidad… Estos temas son muy conflictivos en Estados Unidos. Pues crearon estos contenidos y los pusieron en Facebook. Cualquiera de nosotros puede poner un anuncio en Facebook, luego este pasa a su algoritmo, que lo filtra y nos lleva al público que buscamos… Digamos, quiero que todo el mundo en Estados Unidos lo vea, pero ¡ah!, no hicieron eso, sino que lo destinaron a la población “persuadible”. Bueno, pues después el algoritmo calcula, basándose en el anuncio y en su público objetivo, quién es más probable que reaccione. Antes incluso de publicarse, el algoritmo ya está actuando. Luego el anuncio se hace público y el algoritmo empieza a aprender de las interacciones de los usuarios de Facebook hasta que, finalmente, ese anuncio acaba aglutinando a personas con un perfil específico. Nos podemos imaginar quiénes eran esos usuarios.
Por ejemplo, había una imagen de la frontera con México que decía “paren a los invasores”. Por si fuera poco, muchos de estos anuncios incluían acción. Me acuerdo de uno falso de Black Lives Matter que era una convocatoria a una protesta, con información sobre la fecha, la hora, etc. Hubo gente que fue, ¡y era un anuncio completamente falso procedente de la IRA y del algoritmo! El anuncio lo diseñó una persona, pero el algoritmo es quien está haciendo todo el trabajo. Por eso digo que las predicciones moldean comportamientos. Estos son ejemplos muy peligrosos porque, literalmente, el comportamiento político de las personas está siendo moldeado por el algoritmo. He dicho que esto pasó hace cuatro años pero, en realidad, es la combinación de todo lo anterior lo que condujo a la insurrección en el Capitolio. Y la historia no ha acabado, el 6 de enero fue solo un momento de ruptura.
Podemos decir que hay un riesgo político enorme en el uso de este tipo de inteligencia artificial.
Sí. Muchos de estos algoritmos desplegados en las redes están específicamente diseñados para construir grupos concretos de gente, para polarizar. No están diseñados para crear las condiciones que nos lleven a debatir o exponer argumentos. Es otro tipo de interacción la que producen, para grupos muy homogéneos.
Hablando de homogeneización… Esto se traduce en muchas áreas. Tenemos la producción de fuerzas homogeneizadoras en la política, pero lo mismo ocurre en el mundo de los negocios, donde las empresas que son capaces de recolectar más datos cuentan con más herramientas para el éxito, por lo que el Big Data acaba favoreciendo la concentración de mercado. Esto lo dice Viktor Mayer- Schönberger, profesor de gobernanza digital en la Universidad de Oxford.
No estoy familiarizado con ese tema, pero no me sorprende. Tiene sentido. Los datos son un incentivo para las empresas, facilitan la creación de monopolios.
Hay más. Una transformación de la mercancía para convertirla en máquina generadora de datos. Shoshana Zuboff, profesora en Harvard y autora de ‘Surveillance Capitalism’, lo explica muy bien con el ejemplo de los coches: antes el negocio era fabricarlos y venderlos, ahora el verdadero negocio se encuentra en la recolección de datos sobre lo que pasa dentro y fuera del coche, a través de las cámaras que incorporan.
Es lo que llamamos ‘economía de la información’, cuando los datos se convierten en el objetivo. A veces se pueden ver anuncios que ni lo esconden: “Déjanos extraer tus datos para un mañana poderoso”. WOW. ¿Se dan cuenta de que están hablando de colonialismo? Por cierto, he mencionado cómo los datos y cómo los entrenamos ayudan a producir predicciones que reproducen desigualdades. Lo que no he dicho aún es que las mismas matemáticas se desarrollaron según lógicas colonialistas. Pongamos el cálculo diferencial, que fue crucial para la invención del machine learning. Cuando Leibniz, matemático y filósofo, como tantos otros durante la Ilustración y más tarde, estaba desarrollando el cálculo diferencial, lo hacía con el interés de legitimar lógicas de expropiación y explotación del capitalismo colonial. El cálculo diferencial trataba de crear maneras de organizar, matemáticamente, las diferencias espacio-temporales, las distancias del mundo, para producir una jerarquía colonial entre lo europeo y lo no europeo. Esto se ve en la tecnología de reconocimiento facial, que mide la distancia entre los ojos, la forma de la boca, etc. Todo eso es cálculo diferencial. Así que piensa en la forma geohistórica en que las diferencias corporales existen: esa misma lógica del cálculo diferencial está actuando en el reconocimiento facial a través de las mismas diferencias geohistóricas.
Por eso a veces la tecnología no reconoce las caras negras.
Sí, pero es más complejo. Mucha gente afirma que el algoritmo solo necesita que lo entrengamos con gente negra. No es tan fácil. Parte del problema tiene que ver con que la visión artificial se sitúa en la historia de la fotografía y, como sabes, la historia de la fotografía está racializada. Necesitamos corregir esa historia y, con ella, el desarrollo de la tecnología de la cámara.
Me da la sensación de que estos algoritmos son entidades malignas, ya que discriminan, recompensan a las grandes empresas y penalizan a las pequeñas, polarizan sociedades y favorecen a la extrema derecha… ¿Se pueden utilizar para el bien común? ¿O deberíamos quemar los ordenadores y volver al estado de naturaleza?
¡Eso estaría genial! (risas) A ver… las matemáticas son una práctica cultural, como la lengua que hablamos, por lo que se pueden utilizar como un arma arrojadiza o se pueden usar para la acción social. Hay formas de modificar cómo nos pensamos como sujetos que está siendo predichos y al mismo tiempo prediciendo, cómo logramos saber qué es una predicción, qué son los datos… Y los valores y posturas éticas que se adoptan. Dependiendo del sistema de valores… eso va a influenciar la interpretación de los datos. Lo que es seguro es que no hay un afuera, tenemos que encontrar la manera de meternos de lleno y relacionarnos con este fenómeno. Es un proceso constate de diálogo.
Además, los algoritmos están diseñados para llevar el sistema a la entropía, a sus propios límites, pero no al caos porque entonces sería un completo apocalipsis. Una vez que el sistema alcanza sus límites, la tecnología se convierte en salvadora. Tenemos este virus que ha conquistado el mundo, y una serie de sistemas políticos-sociales; fíjate en cómo está moldeando la gobernanza. Pero, ¡ah! ¿Qué ocurre? Que llega Zoom, y luego Microsoft Teams, Amazon, Uber Eats, todas estas formas de tecnología que vienen a hacer de salvadoras, y en el proceso se concretiza el tecno-optimismo. Así que ese tensar las cuerdas, ese ponernos al límite… el capital lo necesita. A la idea de que existe una progresión hacia algún tipo de contradicción social que producirá una revolución, la tecnología responde: ¡que te lo has creído tú! Vamos a ganar dinero con tus contradicciones sociales.
Todavía no me ha respondido a la pregunta sobre el bien común… (risas) Se lo diré de otra manera. ¿Hay algo que podamos hacer a nivel social para evitar estas dinámicas?
Lo primero es negarnos a compartir nuestros datos. Ahora hay muchos sitios en Estados Unidos y en Europa que te dan la opción: ¿autorizas que se compartan tus datos? No. La otra alternativa es negarnos a usar Facebook, Twitter, las redes sociales. Qué más… Podemos intentar encontrar formas de comportarnos de manera no normativa. ¡Que le den al algoritmo! Otra opción es desarrollar tu propio bot, cualquiera puede hacer eso. Desarrolla algo diferente, y que haga el bot el trabajo político: cada vez que alguien diga algo, que el bot le dé el coñazo. Esta es una forma de ser digitalmente molesto, y ser molesto es un acto político. En general, tenemos que pensar distintas vías para ser digitalmente, desarrollar plataformas donde se creen espacios para el diálogo y el debate.
No quiero que se vaya sin que hablemos de privacidad. Sabemos que, desde que se aprobó el Patriot Act, después del ataque a las Torres Gemelas, el Gobierno de EEUU puede acceder fácilmente a nuestros datos. Esto está ocurriendo también en otros países. Estamos perdiendo privacidad en las sociedades digitales, ¿debería preocuparnos?
Sí, pero creo que no tanto por las agencias estatales, sino más bien por tecnocapitalistas como Bezos o Zuckerberg. Tienen muchísima información sobre todo, y precisamente por eso son capaces de producir, de moldear el mercado. Pueden fabricar productos basándose en tus hábitos de compra. Especialmente, me preocupan las estructuras de vigilancia que, literalmente, están suscitando preguntas sobre hasta qué punto cualquier sistema democrático está comprometido. ¿Es esto una democracia cuando tú tienes toda esa información sobre mí y yo no tengo ninguna sobre ti, y además no sé para qué se está utilizando la mía? Me preocupa cómo estas empresas tecno-capitalistas están acumulando tantísimo poder económico que desbancan, o transgreden, todas las barreras y órdenes geopolíticos, y el tipo de poder político que ostentan como resultado. Pueden arrastrar gobiernos. Jeff Bezos solamente vale más que naciones enteras. Eso es lo que me preocupa. Mira, la gente estaba tan contenta porque Bezos habló de donar 100 millones de dólares a Van Jones (periodista de la CNN) y al chef José Andrés. Lo primero: eso es calderilla para él. Lo segundo: ¡la gente debería estar enfadada! Por el hecho de que tenga tantísimo dinero para regalar, el poder de decidir a quién y las condiciones de la donación. ¡Eso no es política social! ¡El Gobierno debería obligarle a pagar unos impuestos de la hostia! Y luego que la gente decida cómo se usa ese dinero.
