Kate Crawford

ATLAS DE INTELIGENCIA ARTIFICIAL

Poder, política y costos planetarios

Desde mediados de la década de 2000, la inteligencia artificial (IA) se ha expandido a gran velocidad a nivel mundial, como campo académico y como industria. Pero ¿es posible crear inteligencia? ¿Cómo son los sistemas de IA que se desarrollan a escala planetaria? ¿Qué tipos de políticas están contenidas en el modo en que esos sistemas cartografían e interpretan el mundo? ¿Cuáles son las consecuencias de incluir la IA en los sistemas de toma de decisiones en los lugares de trabajo, la educación, la salud, las finanzas, la justicia y el gobierno?

Atlas de inteligencia artificial demuestra que la IA no es una innovación tecnológica neutral u objetiva ni una fuerza espectral o incorpórea, sino una verdadera industria de extracción global. De hecho, la creación de los sistemas de IA contemporáneos dependen de la explotación de los recursos energéticos y minerales del planeta, de la mano de obra barata y de los datos a gran escala. De manera crítica, advierte cómo la IA altera la forma en que el mundo es visto y entendido, e impulsa un cambio hacia gobiernos antidemocráticos, una mayor desigualdad y enormes daños medioambientales.

De modo contundente, Kate Crawford sostiene: “La IA no es artificial ni inteligente. Más bien existe de forma corpórea, como algo material, hecho de recursos naturales, combustible, mano de obra, infraestructuras, logística, historias y clasificaciones. Los sistemas de IA no son autónomos, racionales ni capaces de discernir algo sin un entrenamiento extenso e intensivo”. Se trata de sistemas diseñados para servir a los intereses dominantes ya existentes: son, finalmente, un certificado de poder.

KATE CRAWFORD

Es una destacada profesora especialista en inteligencia artificial. Es investigadora en USC Annenberg School for Communication and Journalism, University of Southern California; investigadora principal en Microsoft Research Lab de Nueva York y en la cátedra de inteligencia artificial y justicia en École Normale Supérieure de París. Asimismo, es directora del proyecto Knowing Machines, una colaboración de investigación internacional centrada en el estudio de los fundamentos del aprendizaje automático. También ha sido asesora de diversos responsables políticos en las Naciones Unidas, la Casa Blanca y el Parlamento Europeo.

Recibió numerosos premios, entre los que se cuentan el Ayrton, de British Society for the History of Science, y el Beazley Design, junto con el artista Vladan Joler, por su trabajo en el proyecto Anatomy of an AI System, que se encuentra desde entonces en la colección permanente de Museum of Modern Art de Nueva York y en Victoria and Albert Museum de Londres.

Durante su carrera como investigadora ha publicado ensayos innovadores en revistas especializadas y en medios como Nature, Science, Technology & Human Values y AI and Society, entre otros. Es autora de Adult Themes. Rewriting the Rules of Adulthood (2006).

Traducción de

FRANCISCO DIAZ KLAASSEN

Para Elliott y Margaret

Agradecimientos

TODOS los libros son proyectos colectivos, y, cuanto más tardan en escribirse, más grande es el colectivo detrás de ellos. El Atlas de inteligencia artificial fue una tarea de muchos años, posible gracias a los amigos, colegas, colaboradores y compañeros de aventuras que estuvieron a mi lado durante ese tiempo. Hubo muchas conversaciones nocturnas y cafés de madrugada, así como viajes por carretera y mesas redondas responsables de darle vida a este libro. Siento tanta gratitud como para escribir un volumen aparte, pero por ahora estas pocas palabras tendrán que bastar.

Primero, a los académicos y amigos cuyo trabajo dejó las huellas más profundas en este libro: Mike Ananny, Geoffrey Bowker, Benjamin Bratton, Simone Browne, Wendy Chun, Vladan Joler, Alondra Nelson, Jonathan Sterne, Lucy Suchman, Fred Turner y McKenzie Wark. A Jer Thorp: gracias por los días escribiendo codo a codo y por las conmiseraciones y celebraciones (dependiendo de la semana).

A lo largo de los años, he tenido la suerte de ser parte de múltiples comunidades de investigación que me han enseñado mucho. Hay muchos académicos e ingenieros que hacen de Microsoft Research un lugar excepcional, y agradezco ser miembro tanto del grupo Fairness, Accountability, Transparency, and Ethics (FATE) como de Social Media Collective. Gracias a Ifeoma Ajunwa, Peter Bailey, Solon Barocas, Nancy Baym, Christian Borgs, Margarita Boyarskaya, danah boyd, Sarah Brayne, Jed Brubaker, Bill Buxton, Jennifer Chayes, Tressie McMillan Cottom, Hal Daume, Jade Davis, Fernando Diaz, Kevin Driscoll, Miro Dudik, Susan Dumais, Megan Finn, Timnit Gebru, Tarleton Gillespie, Mary L. Gray, Dan Greene, Caroline Jack, Adam Kalai, Tero Karppi, Os Keyes, Airi Lampinen, Jessa Lingel, Sonia Livingstone, Michael Madaio, Alice Marwick, J. Nathan Matias, Josh McVeigh-Schultz, Andrés Monroy-Hernández, Dylan Mulvin, Laura Norén, Alexandra Olteanu, Aaron Plasek, Nick Seaver, Aaron Shapiro, Luke Stark, Lana Swartz, TL Taylor, Jenn Wortman Vaughan, Hanna Wallach y Glen Weyl. No podría ocurrírseme una constelación más luminosa de académicos.

Un agradecimiento especial a todos los que han tomado parte en la creación del AI Now Institute en New York University (NYU): Alejandro Calcaño Bertorelli, Alex Butzbach, Roel Dobbe, Theodora Dryer, Genevieve Fried, Casey Gollan, Ben Green, Joan Greenbaum, Amba Kak, Elizabeth Kaziunas, Varoon Mathur, Erin McElroy, Andrea Nill Sanchez, Mariah Peebles, Deb Raji, Joy Lisi Rankin, Noopur Raval, Dillon Reisman, Rashida Richardson, Julia Bloch Thibaud, Nantina Vgontzas, Sarah Myers West y Meredith Whittaker.

Y siempre les estaré agradecida a los extraordinarios académicos australianos que me apoyaron desde el principio, incluidos Kath Albury, Mark Andrejevic, Genevieve Bell, Jean Burgess, Chris Chesher, Anne Dunn, Gerard Goggin, Melissa Gregg, Larissa Hjorth, Catharine Lumby, Elspeth Probyn, Jo Tacchi y Graeme Turner. El camino es largo, pero siempre nos trae de vuelta a casa.

A lo largo de los años, este libro se benefició enormemente de la labor de varios ayudantes de investigación, lectores y archivistas, todos los cuales son por derecho propio académicos extraordinarios. Gracias a Sally Collings, Sarah Hamid, Rebecca Hoffman, Caren Litherland, Kate Miltner, Léa Saint-Raymond y Kiran Samuel por ayudarme a pensar más arduamente, rastrear fuentes, acceder a archivos y completar las notas al final. Un agradecimiento especial a Alex Campolo por su profundo conocimiento de la historia de la ciencia en el siglo XX; es un placer trabajar contigo. Elmo Keep fue un interlocutor brillante y Joy Lisi Rankin una perspicaz editora. Varios archivistas me ayudaron generosamente con este proyecto, pero en particular Janet Monge en el archivo de cráneos de Samuel Morton y Henrik Moltke con el archivo de Snowden.

A Joseph Calamia, te debo tanto. Gracias por creer en este proyecto y por tu paciencia mientras llevaba a cabo los muchos viajes que requería. Gracias también a Bill Frucht y a Karen Olson de Yale University Press por hacerlo realidad.

Estoy profundamente en deuda con las instituciones que me extendieron invitaciones y me dieron tiempo para escribir. Gracias a École Normale Supérieure en París, donde di la lección inaugural de IA y justicia, a Robert Bosch Academy en Berlín, donde fui becaria Richard von Weizsäcker, y a University of Melbourne por la beca Miengunyah Distinguished Visiting. Las comunidades de cada una de estas instituciones han sido muy acogedoras y han ampliado los contextos de este atlas. Por hacer todo eso posible, gracias a Anne Bouverot, Tanya Perelmuter, Mark Mezard, Fondation Abeona, Sandra Breka, Jannik Rust y Jeannie Paterson.

Desarrollé las ideas que contiene este libro en charlas, exposiciones y conferencias a lo largo de una década, en los campos de la arquitectura, el arte, la geografía crítica, la informática, los estudios culturales, el derecho, las ciencias de la comunicación, la filosofía y los estudios en ciencia y tecnología. El público de Australian National University, California Institute of Technology, Columbia University, Haus der Kulturen der Welt, Massachusetts Institute of Technology (MIT), National Academy of Science, New York University, Royal Society of London, el Smithsonian Museum, University of New South Wales, Yale University, École Normale Supérieure y en conferencias como Neural Information Processing Systems (NeurIPS), Association of Internet Researchers (AoIR) e International Conference on Machine Learning (ICML) hizo comentarios vitales mientras desarrollaba este proyecto.

Parte del material de varios de los capítulos fue extraído de artículos de revistas publicados con anterioridad, modificado sustancialmente para este contexto, y me gustaría agradecer a todos los coautores y revistas con quienes tuve el honor de colaborar: “Enchanted Determinism: Power without Responsibility in Artificial Intelligence”, en Engaging Science, Technology, and Society, vol. 6, 2020, pp. 1-19 (con Alex Campolo); “Excavating AI: The Politics of Images in Machine Learning Training Sets”, en AI and Society, 2020 (con Trevor Paglen); “Alexa, Tell Me about Your Mother: The History of the Secretary and the End of Secrecy”, en Catalyst: Feminism, Theory, Technoscience, vol. 6, núm. 1, 2020 (con Jessa Lingel); “AI Systems as State Actors”, en Columbia Law Review, vol. 119, 2019, pp. 1941-1972 (con Jason Schultz); “Halt the Use of Facial-Recognition Technology until It Is Regulated”, en Nature, vol. 572, 2019, p. 565; “Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice”, en NYU Law Review Online, vol. 94, núm. 15, 2019, pp. 15-55 (con Rashida Richardson y Jason Schultz); “Anatomy of an AI System: The Amazon Echo as an Anatomical Map of Human Labor, Data and Planetary Resources”, en AI Now Institute and Share Lab, 7 de septiembre de 2018 (con Vladan Joler); “Datasheets for Datasets”, en Fifth workshop on Fairness, Accountability and Transparency in Machine Learning, Estocolmo, 2018 (con Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, y Hal Daumeé III); “The Problem with Bias: Allocative Versus Representational Harms in Machine Learning”, conferencia SIGCIS 2017 (con Solon Barocas, Aaron Shapiro, y Hanna Wallach); “Limitless Worker Surveillance”, California Law Review, vol. 105, núm. 3, 2017, pp. 735-776 (con Ifeoma Ajunwa y Jason Schultz); “Can an Algorithm Be Agonistic? Ten Scenes from Life in Calculated Publics”, en Science, Technology and Human Values, vol. 41, 2016, pp. 77-92; “Asking the Oracle”, en Laura Poitras (ed.), Astro Noise, New Haven, Yale University Press, 2016, pp. 128-141; “Seeing without Knowing: Limitations of the Transparency Ideal and Its Application to Algorithmic Accountability”, en New Media and Society, vol. 20, núm. 3, 2018, pp. 973-989 (con Mike Ananny); “Where Are the Human Subjects in Big Data Research? The Emerging Ethics Divide”, en Big Data and Society, vol. 3, núm. 1, 2016 (con Jake Metcalf); “Exploring or Exploiting? Social and Ethical Implications of Autonomous Experimentation in AI”, en Workshop on Fairness, Accountability and Transparency in Machine Learning (FAccT), 2016 (con Sarah Bird, Solon Barocas, Fernando Diaz y Hanna Wallach); “There is a Blind Spot in AI Research”, en Nature, vol. 538, 2016, pp. 311-313 (con Ryan Calo); “Circuits of Labour: A Labour Theory of the iPhone Era”, en TripleC: Communication, Capitalism and Critique, 2014 (con Jack Qiu y Melissa Gregg); “Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms”, en Boston College Law Review, vol. 55, núm. 1, 2014 (con Jason Schultz), y “Critiquing Big Data: Politics, Ethics, Epistemology”, en International Journal of Communications, vol. 8, 2014, pp. 663-672 (con Kate Miltner y Mary Gray).

Más allá de los artículos, he tenido la suerte de poder participar en los siguientes informes de colaboración con el equipo de AI Now Institute, que han dado forma a este libro: AI Now 2019 Report, en AI Now Institute, 2019 (con Roel Dobbe, Theodora Dryer, Genevieve Fried, Ben Green, Amba Kak, Elizabeth Kaziunas, Varoon Mathur, Erin McElroy, Andrea Nill Sánchez, Deborah Raji, Joy Lisi Rankin, Rashida Richardson, Jason Schultz, Sarah Myers West y Meredith Whittaker); “Discriminating Systems: Gender, Race and Power in AI”, AI Now Institute, 2019 (con Sarah Myers West y Meredith Whittaker); en AI Now Report 2018, en AI Now Institute, 2018 (con Meredith Whittaker, Roel Dobbe, Genevieve Fried, Elizabeth Kaziunas, Varoon Mathur, Sarah Myers West, Rashida Richardson, Jason Schultz y Oscar Schwartz); “Algorithmic Impact Assessments: A Practical Framework for Public Agency Accountability”, AI Now Institute, 2018 (con Dillon Reisman, Jason Schultz y Meredith Whittaker); en AI Now 2017 Report, en AI Now Institute, 2017 (con Alex Campolo, Madelyn Sanfilippo, y Meredith Whittaker), y AI Now 2016 Report, NYU Information Law Institute, 2016 (con Madeleine Clare Elish, Solon Barocas, Aaron Plasek, Kadija Ferryman y Meredith Whittaker).

Finalmente, este libro no existiría sin las siguientes personas: Trevor Paglen, una verdadera brújula, desde las exploraciones en el desierto hasta las investigaciones arqueológicas; Vladan Joler, un amigo en la elaboración de mapas, cuyos diseños iluminan este libro y mi pensamiento; Laura Poitras, que me dio el valor; Karen Murphy, por su ojo de diseñadora; Adrian Hobbes y Edwina Throsby, por ayudarme a apagar incendios; Bo Daley, quien mejoró todo, y mi familia, Margaret, James, Judith, Claudia, Cliff y Hilary. Un agradecimiento eterno para Jason y Elliott, mis cartógrafos favoritos.

Introducción

EL CABALLO MÁS INTELIGENTE DEL MUNDO

A fines del siglo XIX, Europa se encontraba embelesada por un caballo llamado Hans. “Clever Hans”* era una verdadera maravilla: podía resolver problemas matemáticos, decir la hora, identificar días en el calendario, diferenciar tonos musicales y deletrear palabras y frases. La gente acudía en masa a ver al semental alemán golpeteando con el casco las respuestas a problemas complejos y dando consistentemente las respuestas correctas. “¿Cuánto es dos más tres?” De manera diligente, Hans chocaba un casco contra el suelo cinco veces. “¿Qué día de la semana es?” El caballo entonces se acercaba a un tablero especialmente diseñado y deletreaba la respuesta correcta usando el mismo método. Hans llegó incluso a dominar preguntas más complejas: “Estoy pensando en un número. Si le quito nueve, me quedan tres. ¿De qué número se trata?”. Para 1904, Clever Hans ya era famoso en el mundo entero, y The New York Times promovía sus habilidades con el siguiente titular: “El maravilloso caballo de Berlín. ¡Solo le falta hablar!”.¹

El entrenador de Hans, Wilhelm von Osten —un profesor de matemáticas retirado—, había estado fascinado por la inteligencia animal durante mucho tiempo. Intentó sin éxito enseñarles a gatitos y crías de oso los números cardinales, y solo triunfó cuando empezó a trabajar con su propio caballo. Primero, le enseñó a contar sujetándole la pata, mostrándole un número y luego golpeteando con el casco el número correcto de veces. Pronto Hans fue capaz de realizar sumas simples. A continuación, Von Osten incorporó un pizarrón que tenía escrito el abecedario, de modo que el caballo pudiera hacer chocar un casco sobre un número para cada letra. Después de dos años de entrenamiento, Von Osten estaba asombrado por la capacidad del animal para comprender conceptos intelectuales avanzados. Así que se lo llevó de gira para probarle al mundo que los animales podían razonar. Hans se viralizó durante la Belle Époque.

Pero había muchos escépticos, y el consejo educativo alemán creó una comisión de investigación para comprobar la validez de las declaraciones científicas hechas por Von Osten. La Comisión Hans estaba dirigida por el psicólogo y filósofo Carl Stumpf y su asistente Oskar Pfungst, e incluía a un director de circo, un profesor retirado, un zoólogo, un veterinario y un oficial de caballería. Sin embargo, después de que interrogaran largamente a Hans, tanto con su entrenador presente como sin él, el caballo mantuvo su registro de respuestas correctas, y la comisión no fue capaz de encontrar evidencia alguna de fraude. Como escribiría más tarde Pfungst, Hans actuó frente a “miles de espectadores, aficionados a los caballos, entrenadores de calibre, y ninguno de ellos, durante el transcurso de observaciones que duraron muchos meses, descubrió algún tipo de señal secreta regular” entre el interrogador y el caballo.²

La comisión descubrió que los métodos enseñados a Hans se asemejaban más a “la enseñanza en la educación básica” que al entrenamiento de animales, y eran “dignos de estudiarse científicamente”.³ Pero Stumpf y Pfungst todavía tenían algunas dudas. Un hallazgo en particular los preocupaba: cuando el mismo interrogador no sabía la respuesta a la pregunta que estaba formulando o cuando estaba muy lejos de Hans, este rara vez acertaba. Esto los llevó a considerar que quizás alguna señal involuntaria le estuviera dando las respuestas a Hans.

Wilhelm von Osten y Clever Hans.

Como Pfungst describió en su libro de 1911, no se equivocaban: la postura del interrogador, así como su respiración y expresión facial, cambiaban sutilmente cuando los golpeteos de Hans alcanzaban la respuesta correcta, lo que lo hacía parar justo en ese momento.⁴ Pfungst probó esta hipótesis más tarde en sujetos humanos y confirmó sus resultados. Para él, la parte deslumbrante de este descubrimiento era que, por lo general, los interrogadores no sabían que le estaban dando pistas al caballo. La solución al enigma de Clever Hans, escribió Pfungst, eran las indicaciones inconscientes de los interrogadores.⁵ El caballo estaba entrenado para producir los resultados que su dueño quería ver, pero el público se sintió estafado porque esta no era la inteligencia extraordinaria que se habían imaginado.

La historia de Clever Hans es cautivante por muchos motivos: la relación entre el deseo, la ilusión y la acción; el negocio del espectáculo; la manera en que antropomorfizamos lo no humano; cómo emergen los sesgos y la política de la inteligencia. Hans inspiró un término en psicología que se usa para un tipo especial de trampa conceptual, el efecto Clever Hans, también llamado sesgo de expectativa, que describe la influencia que tienen las pistas involuntarias que los investigadores dan a los sujetos de investigación. La relación entre Hans y Von Osten tiene que ver con los complejos mecanismos a través de los cuales los sesgos se abren camino en los sistemas y cómo la gente termina enredada con los fenómenos que estudia. En la actualidad, la historia de Hans se usa en aprendizaje automático como un recordatorio admonitorio de que no siempre se puede estar seguro de lo que ha aprendido un modelo a partir de los datos que se le han dado.⁶ Incluso un sistema que parece funcionar de forma espectacular durante las prácticas puede hacer predicciones terribles cuando se le presentan datos nuevos en el mundo real.

Esto nos lleva a la pregunta central de este libro: ¿cómo se “hace” la inteligencia y con qué trampas nos podemos encontrar a partir de este proceso? A primera vista, la historia de Clever Hans es la historia de un hombre que construyó inteligencia entrenando a un caballo para que siguiera pistas y emulara la cognición humana. Pero, en otro nivel, podemos observar que la práctica de crear inteligencia se extendió considerablemente más allá de esta situación. El empeño requirió la validación de múltiples instituciones, incluida la academia, la educación, la ciencia, el público y las fuerzas armadas. Luego, está el mercado en el que se insertaron Von Osten y su notable caballo: inversiones tanto emocionales como económicas que estaban detrás de las giras, los artículos periodísticos, las charlas. Autoridades burocráticas congregadas para sopesar y analizar las habilidades del caballo. Una constelación de intereses financieros, culturales y científicos que cumplieron un rol en la construcción de la inteligencia de Hans y que tenían un interés tangible en que esta fuera realmente notable.

Aquí podemos ver dos mitologías distintas. El primer mito es que los sistemas no humanos (sean computadoras o caballos) son análogos a la mente humana. Esta perspectiva presupone que, con el entrenamiento adecuado o los recursos suficientes, una inteligencia parecida a la de un ser humano se puede crear de cero sin tener en consideración las maneras fundamentales en que las personas se encarnan, se relacionan y se ubican dentro de contextos más amplios. El segundo mito es que la inteligencia es algo que existe de forma independiente, como algo natural y separado de las fuerzas sociales, culturales, históricas y políticas. Este concepto de inteligencia ha causado un daño enorme durante siglos y se ha usado para justificar relaciones de dominación desde la esclavitud hasta la eugenesia.⁷

Estas mitologías prevalecen particularmente en el campo de la inteligencia artificial (IA), donde la creencia de que las máquinas pueden formalizar y reproducir la inteligencia humana ha sido axiomática desde mediados del siglo XX. Así como se consideraba la inteligencia de Hans equiparable a la de un ser humano, cuidadosamente fomentada como la de un niño durante su educación básica, en muchas ocasiones se han descripto los sistemas de IA como formas simples de inteligencia pero parecidas a la humana. En 1950, Alan Turing predijo que “para el fin de siglo el uso de palabras y opiniones generales razonadas habrá cambiado tanto que uno podrá hablar de máquinas pensantes sin esperar a que lo contradigan”.⁸ En 1958, el matemático John von Neumann aseguró que el sistema nervioso de los seres humanos es, “a primera vista, digital”.⁹ En cierta ocasión, ante la pregunta de si las máquinas podían pensar, el profesor del Massachusetts Institute of Technology (MIT) Marvin Minsky respondió: “Por supuesto que las máquinas pueden pensar; nosotros podemos pensar y somos ‘máquinas hechas de carne’”.¹⁰ Pero no todo el mundo estaba tan convencido. Uno de los precursores de la invención de la IA, Joseph Weizenbaum, creador de ELIZA, el primer programa conversacional, creía que la idea de que los seres humanos son meros sistemas procesadores de información involucraba una noción demasiado simplista de la inteligencia, y que esa noción estaba detrás de la “perversa fantasía de proporciones” que suponía pensar que los científicos de la IA llegarían a crear una máquina que aprendiera “al igual que un niño”.¹¹

Esta ha sido una de las discusiones centrales en la historia de la IA. En 1961, el MIT fue sede de una serie de importantes conferencias con el título de “Administración de empresas y la computadora del futuro”. El programa incluía la participación de una serie estelar de científicos informáticos, entre los que se encontraban Grace Hopper, Joseph Carl Robnett Licklider, Marvin Minsky, Allen Newell, Herbert Simon y Norbert Wiener, para discutir los rápidos avances que se estaban produciendo en la computación digital. En su osada conclusión, John McCarthy argumentó que las diferencias entre las tareas humanas y las de las máquinas eran ilusorias. Se trataba simplemente de que las máquinas requerirían más tiempo para formalizar y resolver algunas de las tareas humanas más complicadas.¹²

Pero el profesor de filosofía Hubert Dreyfus contraargumentó, preocupado por el hecho de que los ingenieros en su conjunto “ni siquiera consideraran la posibilidad de que el cerebro pudiera procesar información de una manera completamente diferente a una computadora”.¹³ En una obra posterior, What Computers Can’t Do, Dreyfus señala que la inteligencia y la pericia humanas dependen en gran medida de muchos procesos, inconscientes y subconscientes, mientras que las computadoras requieren que todos los procesos y los datos sean explícitos y estén formalizados.¹⁴ Como resultado, los aspectos menos formales de la inteligencia tienen que ser abstraídos, eliminados y aproximados, lo que vuelve a las computadoras incapaces de procesar información sobre situaciones como lo harían los seres humanos.

Mucho ha cambiado en la IA desde la década de 1960, incluido un giro de los sistemas simbólicos a la más reciente ola hiperbólica sobre las técnicas de aprendizaje automático. En varios sentidos, las primeras discusiones sobre lo que puede hacer la IA han sido olvidadas y el escepticismo se ha desvanecido. Desde mediados de la década de 2000, la IA se ha expandido rápidamente, como campo académico y como industria. Hoy en día, un pequeño número de compañías tecnológicas poderosas hace uso de sistemas de IA a escala planetaria, y sus sistemas son aclamados, una vez más, como similares o incluso superiores a la inteligencia humana.

Sin embargo, la historia de Clever Hans también nos recuerda cuán estrechamente consideramos o reconocemos la inteligencia. A Hans se le enseñó a imitar tareas dentro de un rango muy acotado: sumar, restar y deletrear. Esto refleja una perspectiva limitada de lo que los caballos o los seres humanos pueden hacer. En términos de comunicación entre especies, Hans llevaba a cabo hazañas notables, además de actuar frente al público y tener una considerable paciencia; sin embargo, ninguna de estas acciones se reconocía como inteligencia. En palabras de la autora e ingeniera Ellen Ullman, esta creencia de que la mente es como una computadora, y viceversa, ha “infectado décadas de pensamiento en las ciencias de la computación y cognitivas”, y se volvió una especie de pecado original en el campo.¹⁵ Se trata de la ideología del dualismo cartesiano en la IA, en la que esta se limita a ser entendida como una inteligencia incorpórea, liberada de cualquier relación con el mundo material.

¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? NI ARTIFICIAL NI INTELIGENTE

Hagamos la pregunta, en apariencia simple, de qué es la IA. Si le preguntas a alguien en la calle, puede que mencione a Siri de Apple, la nube de Amazon, los autos de Tesla o el algoritmo de búsqueda de Google. Si les preguntas a los expertos en aprendizaje profundo, puede que te den una respuesta técnica acerca de cómo las redes neuronales se organizan en docenas de capas que reciben datos etiquetados a los que se les asignan pesos y niveles de capacidad para, de esta manera, poder clasificarlos de modos que aún no podemos explicar del todo.¹⁶ En 1978, mientras discutía sobre los sistemas expertos, el profesor Donald Michie describió la IA como el refinamiento del conocimiento, donde “se puede producir una confiabilidad y competencia en la codificación que supera con creces el nivel más alto que un ser humano experto y sin ayuda haya podido, o quizás incluso pueda algún día, alcanzar”.¹⁷ En uno de los manuales más populares sobre el tema, Stuart Russell y Peter Norvig señalan que la IA es el intento por entender y construir entidades inteligentes. “La inteligencia se ocupa principalmente de la acción racional —aseguran—. De manera ideal, un agente inteligente toma la mejor decisión posible en una situación.”¹⁸

Cada una de estas formas de definirla cumple con un cometido y establece un marco de referencia para entenderla, medirla, valorarla y gobernarla. Cuando a la IA la definen marcas de consumo para la infraestructura empresarial, entonces son el marketing y la publicidad las que han predeterminado el horizonte. Cuando los sistemas de IA se ven más confiables o racionales que cualquier experto humano, capaces de realizar la “mejor acción posible”, entonces se está sugiriendo que debería confiárseles la toma de decisiones de importancia en salud, educación y justicia criminal. Cuando el único enfoque son las técnicas algorítmicas específicas, se está sugiriendo que solo importa el progreso técnico continuo, sin considerar el costo computacional de estos acercamientos ni sus impactos de alto alcance en un planeta bajo presión.

Por el contrario, en este libro sostengo que la IA no es artificial ni inteligente. Más bien existe de forma corpórea, como algo material, hecho de recursos naturales, combustible, mano de obra, infraestructuras, logística, historias y clasificaciones. Los sistemas de IA no son autónomos, racionales ni capaces de discernir algo sin un entrenamiento extenso y computacionalmente intensivo, con enormes conjuntos de datos o reglas y recompensas predefinidas. De hecho, la IA como la conocemos depende por completo de un conjunto mucho más vasto de estructuras políticas y sociales. Y, debido al capital que se necesita para construir IA a gran escala y a las maneras de ver que optimiza, los sistemas de IA son, al fin y al cabo, diseñados para servir a intereses dominantes ya existentes. En ese sentido, la IA es un certificado de poder.

En este libro, exploraremos cómo se hace la IA, en el sentido más amplio, y las fuerzas económicas, políticas, culturales e históricas que la moldean. Una vez que conectamos la IA con estas estructuras y sistemas sociales más extendidos, podemos escapar de la noción de que es un dominio puramente técnico. En un nivel más básico, la IA es una serie de prácticas técnicas y sociales; es instituciones e infraestructuras, política y cultura. El razonamiento computacional y el trabajo físico están profundamente enraizados: los sistemas de IA reflejan y producen al mismo tiempo relaciones sociales y entendimientos del mundo.

Vale la pena señalar que el término “inteligencia artificial” puede crear malestar en la comunidad informática. La frase se ha puesto y pasado de moda a lo largo de las décadas, y se usa más en el marketing que en la investigación. En la bibliografía técnica, se emplea más a menudo la expresión “aprendizaje automático”. Sin embargo, la nomenclatura de IA se adopta con frecuencia cuando se solicitan financiamientos, cuando los emprendedores aparecen con sus chequeras, o cuando los investigadores buscan llamar la atención de la prensa sobre un nuevo descubrimiento científico. Como consecuencia, el término es usado y rechazado a la vez, manteniendo su significado en constante cambio. Para los propósitos de este libro, uso el término IA para hablar sobre esa enorme formación industrial, que incluye política, mano de obra, cultura y capital. Cuando me refiero a aprendizaje automático, hablo de un rango de acercamientos técnicos (que también son, de hecho, de naturaleza social e infraestructural, aunque rara vez se los catalogue de esa manera).

Hay razones significativas que explican por qué el campo se ha concentrado tanto en el aspecto técnico —avances en los algoritmos, mejoras crecientes del producto y mayor conveniencia—. Las estructuras de poder que se ubican en la intersección entre la tecnología, el capital y el gobierno están bien cubiertas por este análisis limitado y abstracto. Pero, para entender que la IA es fundamentalmente política, debemos ir más allá de las redes neuronales y el reconocimiento de patrones estadísticos y preguntarnos, en cambio, qué se está optimizando, para quién y quién toma esas decisiones. Entonces, podemos rastrear sus implicaciones.

VER LA INTELIGENCIA ARTIFICIAL COMO UN ATLAS

¿Cómo puede ayudarnos un atlas a entender cómo se hace la IA? Un atlas es un tipo de libro inusitado. Es una colección de partes dispares, con mapas que varían en resolución desde una vista satelital del planeta a un detalle ampliado de un archipiélago. Cuando abres un atlas es posible que estés buscando información específica sobre un lugar en particular, o quizás estés errando, siguiendo tu curiosidad, encontrando senderos inesperados y nuevas perspectivas. Como señala la historiadora de la ciencia Lorraine Daston, todos los atlas científicos buscan entrenar el ojo, llevar la atención del observador a detalles particularmente reveladores y a características importantes.¹⁹ El atlas te presenta un punto de vista específico del mundo, con el visto bueno de la ciencia (escalas y radios, latitudes y longitudes), pero también una sensación de forma y consistencia.

Y, sin embargo, un atlas no solo es un acto creativo —una intervención subjetiva, política y estética—, sino también una recopilación científica. El filósofo francés Georges Didi-Huberman piensa que el atlas es algo que habita tanto el paradigma estético de lo visual como el paradigma epistémico del conocimiento. Esta concomitancia socava la idea de que la ciencia y las artes están siempre completamente separadas.²⁰ Por el contrario, un atlas nos ofrece la posibilidad de releer el mundo, conectando las piezas de forma distinta y “reeditando y volviendo a armarlo sin pensar que lo estamos resumiendo o agotando”.²¹

Quizá mi explicación favorita de cuán útil puede llegar a ser un acercamiento cartográfico la brinda Ursula Franklin, física y crítica de la tecnología: “Los mapas representan empeños intencionados: están destinados a ser útiles, a ayudar al viajero cubriendo la brecha entre lo conocido y lo desconocido; son un testamento del conocimiento y la perspicacia colectivos”.²²

En el mejor de los casos, los mapas nos ofrecen un compendio de caminos abiertos —formas compartidas del conocimiento—, que pueden mezclarse y combinarse para crear nuevas interconexiones. Pero también existen los mapas de dominación, esos mapas nacionales en los que el territorio se ve tallado a lo largo de las fallas geológicas del poder: desde la intervención directa del trazado de fronteras sobre territorios en disputa hasta la revelación de los caminos coloniales de los imperios. Al invocar un atlas estoy sugiriendo que necesitamos nuevas maneras de entender los imperios de la IA. Necesitamos una teoría de la IA que tome en cuenta los Estados y las corporaciones que la manejan y dominan, la minería de extracción que deja una huella en el planeta, la captura masiva de datos y las prácticas laborales profundamente desiguales y cada vez más explotadoras que la sustentan. Estos son los movimientos tectónicos de poder en la IA. Un acercamiento topográfico ofrece distintas perspectivas y escalas, más allá de las promesas abstractas de la IA o de los últimos modelos de aprendizaje automático. La meta es entenderla en un contexto más amplio, atravesando los diferentes paisajes de la computación y viendo cómo se conectan.²³

Los atlas también son relevantes aquí por otro motivo. El campo de la IA está explícitamente intentando capturar el planeta de una forma que sea legible por computadora. Esto no es una metáfora, sino la ambición directa de la industria, que está creando y normalizando sus propios mapas, a modo de visión cenital centralizada del movimiento, la comunicación y la mano de obra humana. Algunos científicos de la IA han declarado su deseo de capturar el mundo y de sustituir otras formas de conocimiento. La profesora de IA Fei-Fei Li describe que el objetivo de su proyecto ImageNet es “trazar un mapa de todo el mundo de los objetos”.²⁴ En su manual, Russell y Norvig describen la IA como “relevante para cualquier tarea intelectual; es realmente un campo universal”.²⁵ Woody Bledsoe, uno de los fundadores de la IA y de los primeros en hacer experimentos con el reconocimiento facial, lo dijo sin tapujos: “A largo plazo, la IA es la única ciencia”.²⁶ Este no es un deseo de crear un atlas del mundo, sino de ser el atlas: la forma dominante de ver las cosas. Este impulso colonizador centraliza el poder en el campo de la IA: determina cómo se mide y define el mundo, mientras, al mismo tiempo, niega que se trate de una actividad inherentemente política.

En vez de fingir ser universal, este libro es un informe parcial. Al llevarlos conmigo a través de mis investigaciones, espero mostrarles cómo se fueron formando mis ideas. Nos encontraremos con los paisajes más reconocibles de la computación, así como con otros menos conocidos: las minas a cielo abierto, los largos pasillos de centros de datos que devoran cantidades inmensas de energía, los archivos de cráneos, las bases de datos de imágenes y los hangares con luces fluorescentes de los centros de distribución. Incluyo estos sitios no solo para ilustrar la construcción material de la IA y sus ideologías, sino también para “iluminar los aspectos inevitablemente subjetivos y políticos de la creación de mapas, y para proporcionar alternativas a los enfoques hegemónicos, autoritarios (y a menudo naturalizados y cosificados)”, en palabras de Shannon Mattern, académica experta en medios.²⁷

Los modelos para comprender y hacer rendir cuentas a los sistemas han reposado largamente en los ideales de la transparencia. Como he escrito junto con Mike Ananny, académico experto en medios, a veces se equipara el poder ver un sistema con el saber cómo funciona y cómo gobernarlo.²⁸ Pero esta tendencia tiene serias limitaciones. En el caso de la IA, no hay una única caja negra por abrir, ningún secreto por exponer, sino una multitud de sistemas de poder entrelazados. Por lo tanto, la transparencia completa es una meta inalcanzable. Mejor dicho, adquirimos un mejor entendimiento de la función de la IA en el mundo al enfrentarnos a su arquitectura material, sus entornos contextuales y políticas imperantes, y rastreando cómo se conectan entre sí.

Fundo mis opiniones en este libro en las disciplinas de estudios científicos y tecnológicos, en las leyes y la filosofía política, y en mi experiencia de trabajo tanto en la academia como en un laboratorio de investigación de IA industrial durante más de una década. A lo largo de esos años, la generosidad de muchos colegas y comunidades ha cambiado la manera en que veo el mundo: crear mapas siempre es un ejercicio colectivo y esta no ha sido la excepción.²⁹ Agradezco a los académicos que crearon nuevas formas de entender los sistemas sociotécnicos, incluidos Geoffrey Bowker, Benjamin Bratton, Wendy Chun, Lorraine Daston, Peter Galison, Ian Hacking, Stuart Hall, Donald MacKenzie, Achille Mbembe, Alondra Nelson, Susan Leigh Star y Lucy Suchman, entre muchos otros. El presente ensayo se ha beneficiado de muchas conversaciones en persona, así como de la lectura de los trabajos recientes de autores que estudian las políticas de la tecnología: Mark Andrejevic, Ruha Benjamin, Meredith Broussard, Simone Browne, Julie Cohen, Sasha Costanza-Chock, Virginia Eubanks, Tarleton Gillespie, Mar Hicks, Tung-Hui Hu, Yuk Hui, Safiya Umoja Noble y Astra Taylor.

Al igual que cualquier otro libro, este surge de mi experiencia personal, lo que impone limitaciones. Como alguien que ha vivido y trabajado en Estados Unidos durante la última década, mi foco vira hacia la industria de la IA en los centros de poder occidentales. Sin embargo, mi objetivo no es el de crear un atlas global completo; esa sola idea invoca una captura y un control coloniales. Por el contrario, la visión de cualquier autor solo puede ser parcial, basada en observaciones e interpretaciones locales, en lo que la geógrafa ambiental Samantha Saville ha llamado una “geografía humilde” que da cuenta de la perspectiva específica propia antes que presumir de objetividad o dominio.³⁰

Así como hay muchas maneras de hacer un atlas, en el futuro la IA también podrá usarse de muchas formas distintas. El alcance expansivo de los sistemas de IA puede parecer inevitable, pero esta aseveración resulta discutible e incompleta. Los enfoques subyacentes del campo no surgen de forma autónoma, sino que, por el contrario, se han construido a partir de un conjunto de creencias y perspectivas específicas. Los principales diseñadores detrás del atlas contemporáneo de la IA pertenecen a un grupo pequeño y homogéneo de personas, radicado en un puñado de ciudades, que trabaja en una industria que actualmente es la más próspera del mundo. Como uno de esos mapamundis europeos medievales, que ilustraban tanto conceptos religiosos y clásicos como coordenadas geográficas, los mapas creados por la industria de la IA son intervenciones políticas, no imágenes neutrales del mundo. Este libro está hecho en oposición al espíritu de la lógica cartográfica colonial y abarca diferentes historias, locaciones y bases del conocimiento para comprender mejor la función de la IA en el mundo.

TOPOGRAFÍAS DE LA COMPUTACIÓN

¿Cómo se conceptualiza y construye la IA a estas alturas del siglo XXI? ¿Qué está en juego en el giro hacia la IA y qué tipos de políticas están contenidas en la manera en que se cartografía e interpreta el mundo? ¿Cuáles son las consecuencias, sociales y materiales, de incluir la IA y los sistemas algorítmicos vinculados a ella en los sistemas de toma de decisiones de instituciones sociales, como la educación y la atención médica, las finanzas, las operaciones gubernamentales, las interacciones en el lugar de trabajo y las contrataciones, los sistemas de comunicación y el sistema judicial? Este libro no es una historia acerca de la programación y los algoritmos, ni acerca de las últimas consideraciones sobre la visión artificial o el procesamiento de lenguaje natural o el aprendizaje reforzado. Muchos otros libros tratan esos asuntos. Tampoco es un relato etnográfico sobre los efectos de la IA en la experiencia de trabajo, vivienda o salud de una comunidad específica; aunque ciertamente nos hacen falta más de esos.

En cambio, es una visión amplia de la IA como una industria de extracción. La creación de los sistemas de IA contemporáneos depende de la explotación de los recursos energéticos y minerales del planeta, de la mano de obra barata y los datos a gran escala. Para observar este funcionamiento, realizaremos una serie de viajes a lugares que revelan de qué está hecha verdaderamente la IA.

Mapamundi de Heinrich Bünting, conocido como “El mundo en una hoja de trébol”, que simboliza la Santísima Trinidad, con la ciudad de Jerusalén como centro del mundo, rodeada por tres continentes centrales. Incluido en Itinerarium Sacrae Scripturae (Magdeburgo, 1581).

Comenzamos el capítulo I en las minas de litio de Nevada, uno de los tantos sitios de extracción mineral que se necesita para proporcionar energía a la computación contemporánea. En la minería, vemos la política de extracción de la IA de forma más literal. Existe una vasta demanda por parte del sector tecnológico de minerales de tierras raras, petróleo y carbón, pero los costos de esa extracción nunca los asume la propia industria. Por el lado del software, la construcción de modelos para procesar lenguaje natural y visión artificial consume enormes cantidades de recursos energéticos, y la competencia por producir modelos más rápidos y eficientes ha impulsado métodos computacionalmente codiciosos que expanden la huella de carbono. Desde los últimos árboles en Malasia, cosechados para producir látex para los primeros cables submarinos transatlánticos, hasta el gigante lago artificial de residuos tóxicos en la Mongolia Interior, rastreamos los lugares de nacimiento, tanto ambientales como humanos, de las redes planetarias de computación y vemos cómo siguen terraformando el planeta.

El capítulo II muestra que la IA está hecha de mano de obra humana. Vemos a los trabajadores digitales a destajo, a los que se les paga una miseria, haciendo clic en microtareas para que los sistemas de datos parezcan más inteligentes de lo que realmente son.³¹ Nuestra travesía nos llevará al interior de los centros de distribución de Amazon, donde los empleados deben seguir el ritmo de las cadencias algorítmicas de un vasto imperio logístico, y, en Chicago, visitaremos a los trabajadores de la carne en las líneas de procesamiento, donde se diseccionan y preparan los cadáveres de animales para el consumo. Luego, escucharemos a los trabajadores protestar contra la forma en que los sistemas de IA aumentan la vigilancia y el control de sus jefes.

La mano de obra también es una historia sobre el tiempo. Coordinar las acciones de los seres humanos con los movimientos repetitivos de los robots y de las líneas de producción siempre ha implicado controlar cuerpos en el espacio y en el tiempo.³² Desde la invención del cronómetro hasta el TrueTime de Google, el proceso de coordinar el tiempo estuvo en el centro de la gestión del lugar de trabajo. Las tecnologías de la IA requieren y crean a la vez las condiciones para unos mecanismos de gestión temporal cada vez más granulares y precisos. Coordinar el tiempo exige información cada vez más detallada acerca de qué está haciendo la gente, cómo y cuándo.

El capítulo III se centra en la función de los datos. Todo el material digital de acceso público —incluidos los datos personales o potencialmente dañinos— puede recolectarse para entrenar conjuntos de datos que luego se utilizan para producir modelos de IA. Hay conjuntos de datos gigantescos llenos de selfis, gestos con la mano, gente manejando, bebés llorando, conversaciones de grupos sobre noticias de la década de 1990; todo para mejorar algoritmos que realizan funciones como el reconocimiento facial, las predicciones de lenguaje y la detección de objetos. Cuando estas colecciones de datos ya no son vistas como efectos personales de la gente, sino meramente como infraestructura, se asume que el significado o contexto de una imagen o video es irrelevante. Más allá del serio problema de la privacidad y del capitalismo de vigilancia vigente, las prácticas actuales de trabajar con datos en la IA plantean profundas preocupaciones éticas, metodológicas y epistemológicas.³³

¿Y cómo se usan todos estos datos? En el capítulo IV, observaremos las prácticas de clasificación en los sistemas de IA, la “maquinaria epistémica”, según la socióloga Karin Knorr Cetina.³⁴ Veremos que los sistemas actuales utilizan etiquetas para predecir la identidad humana, por lo general, a partir de géneros binarios, categorías raciales catalogadas como esenciales y valoraciones problemáticas de personalidad y solvencia. Un signo remplazará un sistema, un proxy simbolizará la cosa real y se le pedirá a un modelo de juguete que sustituya la infinita complejidad de la subjetividad humana. Al observar cómo se hacen las clasificaciones, vemos de qué manera los diagramas técnicos refuerzan las jerarquías y magnifican la desigualdad. El aprendizaje automático nos presenta un régimen normativo que, cuando va en ascenso, adopta la forma de una racionalidad gobernante poderosa.

Desde aquí, viajamos a los pueblos serranos de Papúa Nueva Guinea para explorar la historia del reconocimiento emocional, que sostiene que la clave para revelar el estado emocional interior de una persona se encuentra en sus expresiones faciales. El capítulo V sopesa la aseveración del psicólogo Paul Ekman según la cual hay un pequeño conjunto de estados emocionales universales que se pueden leer directamente en el rostro. Las empresas de tecnología están ahora utilizando esta idea en sistemas de reconocimiento emocional, como parte de una industria que, se predice, estará valorada en más de 17.000 millones de dólares.³⁵ Pero hay una considerable controversia científica en torno a la detección de emociones, la cual en el mejor de los casos es incompleta y, en el peor, engañosa. A pesar de la inestable premisa, estas herramientas están siendo rápidamente utilizadas en los sistemas de contratación, educación y vigilancia.

En el capítulo VI, veremos los modos en que los sistemas de IA son usados como una herramienta del poder estatal. El pasado y el presente militar de la IA han moldeado las prácticas de vigilancia, extracción de datos y evaluación de riesgos que vemos hoy. Las profundas interconexiones entre el sector tecnológico y el ejército están siendo manipuladas para adaptarlas a una fuerte agenda nacionalista. Mientras tanto, las herramientas ilegales usadas por la comunidad de inteligencia se han dispersado y pasaron del mundo militar al sector tecnológico comercial, para ser usadas en aulas, estaciones de policía, lugares de trabajo y agencias de desempleo. La lógica militar que le dio forma a los sistemas de IA ahora es parte del funcionamiento de los gobiernos municipales y está sesgando aún más la relación entre los Estados y los sujetos.

El capítulo final evalúa la manera en que la IA actúa como una estructura de poder que combina infraestructura, capital y mano de obra. Desde la alerta que recibe el conductor de Uber, al rastreo del inmigrante indocumentado o a los inquilinos de viviendas sociales que lidian en sus hogares con sistemas de reconocimiento facial, los sistemas de IA se construyen siguiendo la lógica del capital, la vigilancia y la militarización. Esta combinación amplía más las asimetrías de poder ya existentes. Estas formas de ver dependen de los movimientos especulares de la abstracción y la extracción: abstraer las condiciones materiales de su creación mientras se extrae más información y recursos de aquellos que son menos capaces de resistirse.

Sin embargo, estas lógicas pueden ser cuestionadas del mismo modo en que los sistemas que perpetúan la opresión pueden ser rechazados. A medida que las condiciones en la Tierra cambian, los llamados a proteger datos, derechos laborales, justicia climática y equidad racial deberían ser escuchados en conjunto. Cuando entendemos la IA a través de estos movimientos interconectados en pos de la justicia, son posibles diferentes concepciones de políticas planetarias.

EXTRACCIÓN, PODER Y POLÍTICA

La IA es, por lo tanto, una idea, una infraestructura, una industria, una forma de ejercer poder y una manera de ver; también es la manifestación de un capital muy organizado respaldado por vastos sistemas de extracción y logística, con cadenas de suministro que abarcan todo el planeta. Todas estas cosas forman parte de la IA: una frase de dos palabras sobre la cual se puede cartografiar un conjunto complejo de expectativas, ideologías, deseos y miedos.

La IA puede parecer una fuerza espectral, un tipo de computación incorpórea, pero estos sistemas no son abstractos en absoluto. Son infraestructuras físicas que están transformando la Tierra, a la vez que alteran la forma en que vemos y entendemos el mundo.

Es importante que lidiemos con los múltiples aspectos de la IA: su maleabilidad, su desorden y su alcance espacial y temporal. La promiscuidad de la IA como término, su apertura a ser reconfigurada, quiere decir que se la puede utilizar de diversas formas: se puede referir a cualquier cosa, desde dispositivos de consumo como el Amazon Echo hasta sistemas anónimos de procesamientos secundarios; desde artículos técnicos especializados hasta las compañías industriales más grandes del mundo. Pero esto también tiene sus ventajas. La amplitud del término “inteligencia artificial” nos permite considerar todos estos elementos y cómo están profundamente imbricados: desde la política de la inteligencia hasta la recolección masiva de datos; desde la concentración industrial del sector de la tecnología hasta el poder militar geopolítico; desde el entorno de desarraigo hasta las formas de discriminación en desarrollo.

Nuestra tarea es permanecer pendientes del terreno y observar los significados cambiantes y maleables del término “inteligencia artificial” —como un contenedor en el que se colocan varias cosas y luego se retiran—, porque eso también es parte de la historia.

En pocas palabras, la IA cumple ahora una función en la creación del conocimiento, la comunicación y el poder. Estas reconfiguraciones están ocurriendo a nivel de la epistemología, los principios de justicia, la organización social, la expresión política, la cultura, el entendimiento de los cuerpos humanos, las subjetividades y las identidades; lo que somos y lo que podemos ser. Pero es posible ir todavía más lejos. La IA no solo es una parte del proceso de replantear e intervenir el mundo, sino una forma fundamentalmente política de hacer el mundo, aunque rara vez se la reconozca como tal. Este proceso es no democrático, dominado por las grandes casas de la IA, que constan de media docena de compañías que dominan la computación planetaria a gran escala.

Muchas instituciones sociales están influidas por estas herramientas y métodos que dan forma a lo que valoran y a la manera en que toman decisiones, mientras crean una compleja cadena de efectos posteriores. Durante largo tiempo, el poder tecnocrático se ha intensificado; sin embargo, el proceso ahora se ha acelerado. Esto se debe, en parte, a la concentración del capital industrial en una época de austeridad económica y tercerización, que ha incluido la eliminación de fondos para los sistemas de ayuda social y para las instituciones que alguna vez actuaron como reguladoras del poder del mercado. Por ello, debemos lidiar con la IA como una fuerza política, económica, cultural y científica. Como observan Alondra Nelson, Thuy Linh Tu y Alicia Headlam Hines: “Las controversias en torno a la tecnología están siempre relacionadas con luchas más grandes por la movilidad económica, la maniobrabilidad política y la construcción de comunidades”.³⁶

Nos encontramos en una coyuntura crítica que nos obliga a hacernos preguntas difíciles sobre la forma en que la IA se produce y adopta: ¿qué es la IA?, ¿qué tipos de políticas difunde?, ¿a qué intereses responde y quién corre el mayor riesgo de sufrir daños?, ¿adónde debería limitarse el uso de la IA? Estas preguntas no tendrán respuestas cómodas. No obstante, no es una situación sin solución o un punto sin retorno; el pensamiento apocalíptico nos puede paralizar hasta impedirnos tomar medidas o realizar intervenciones que se necesitan con urgencia.³⁷ Como ha escrito Ursula Franklin: “La viabilidad de la tecnología, como la democracia, depende a fin de cuentas de la práctica de la justicia y de la aplicación de límites al poder”.³⁸

Este libro sostiene que, para abordar los problemas fundacionales de la IA y la computación planetaria, primero debemos conectar los temas del poder y la justicia: de la epistemología a los derechos laborales, de la extracción de recursos a la protección de datos, de la desigualdad racial al cambio climático. Para hacer eso, necesitamos expandir nuestro entendimiento de lo que está ocurriendo en los imperios de la IA, para ver lo que está en juego y tomar mejores decisiones colectivas sobre lo que vendrá a continuación.

“Hans el astuto”, en castellano. A pesar de que el apelativo original era alemán (“Hans der Kluge”), mundialmente se lo conoció con la versión en inglés. [N. del T.]

¹ Edward T. Heyn, “Berlin’s Wonderful Horse; He Can Do Almost Everything but Talk - How He Was Taught”, en The New York Times, 4 de septiembre de 1904, disponible en línea: <timesmachine.nytimes.com>.

² Oskar Pfungst, Clever Hans (The Horse of Mr. von Osten). A Contribution to Experimental Animal and Human Psychology, trad. de Carl L. Rahn, Nueva York, Henry Holt, 1911, s. d.

³ “‘Clever Hans’ Again: Expert Commission Decides that the Horse Actually Reasons”, en The New York Times, 2 de octubre de 1904, disponible en línea: <https://timesmachine.nytimes.com/timesmachine/1904/10/02/ 120289067.pdf>.

⁴ Oskar Pfungst, op. cit.

⁵ Ibid.

⁶ Sebastian Lapuschkin et al., “Unmasking Clever Hans Predictors and Assessing What Machines Really Learn”, en Nature Communications, vol. 10, núm. 1, 2019, pp. 1-8, disponible en línea: <doi.org>.

⁷ Véase el trabajo de la filósofa Val Plumwood sobre los dualismos inteligencia-estupidez, emocional-racional y maestro-esclavo. Val Plumwood, “The Politics of Reason: Towards a Feminist Logic”, en Australasian Journal of Philosophy, vol. 71, núm. 4, 1993, pp. 436-462, disponible en línea: <doi.org>.

⁸ Alan M. Turing, “Computing Machinery and Intelligence”, en Mind, 1° de octubre de 1950, pp. 433-460, disponible en línea: <https://doi.org/ 10.1093/mind/LIX.236.433> [trad. esp.: “Maquinaria computacional e inteligencia”, trad. de Cristóbal Fuentes Barassi para la Universidad de Chile, Santiago de Chile, 2010, disponible en línea: <xamanek.izt.uam.mx>].

⁹ John von Neumann, The Computer and the Brain, New Haven, Yale University Press, 1958, p. 44 [trad. esp.: El ordenador y el cerebro, Barcelona, Bosch, 1980]. Este método fue muy criticado por Hubert L. Dreyfus en What Computers Can’t Do. A Critique of Artificial Reason, Nueva York, Harper and Row, 1972.

¹⁰ Véase Joseph Weizenbaum, “On the Impact of the Computer on Society: How Does One Insult a Machine?”, en Science, vol. 176, núm. 4035, 1972, p. 612. Tras su muerte, Minsky se vio implicado en serias acusaciones relacionadas con el pedófilo y violador convicto Jeffrey Epstein. Minsky era uno de los muchos científicos que se reunieron con Epstein y lo visitaron en su isla de retiro, donde se obligaba a niñas a tener sexo con los miembros de su camarilla. Como ha observado la académica Meredith Broussard, esto formaba parte de una cultura de exclusión más amplia, que se volvió endémica en la IA: “Por muy creativos que fueran Minsky y su séquito, también solidificaron la cultura de la tecnología como un club de amigos multimillonarios. Las matemáticas, la física y las otras ciencias ‘duras’ nunca han sido hospitalarias con las mujeres y la gente de color; la tecnología siguió este ejemplo”. Véase Meredith Broussard, Artificial Unintelligence. How Computers Misunderstand the World, Cambridge, MIT Press, 2018, p. 174.

¹¹ Joseph Weizenbaum, Computer Power and Human Reason. From Judgment to Calculation, San Francisco, W. H. Freeman, 1976, pp. 202 y 203.

¹² Martin Greenberger (ed.), Management and the Computer of the Future, Nueva York, John Wiley and Sons, 1962, p. 315.

¹³ Hubert L. Dreyfus, Alchemy and Artificial Intelligence, Santa Monica, RAND, 1965, s. d.

¹⁴ Hubert L. Dreyfus, What Computers Can’t Do, op. cit.

¹⁵ Ellen Ullman, Life in Code. A Personal History of Technology, Nueva York, MCD, 2017, pp. 136 y 137.

¹⁶ Véase, como uno de muchos ejemplos, Tomaso Poggio et al., “Why and When Can Deep —but not Shallow— Networks Avoid the Curse of Dimensionality: A Review”, en International Journal of Automation and Computing, vol. 14, núm. 5, 2017, pp. 503-519, disponible en línea: <link.springer.com>.

¹⁷ Cit. en Karamjit S. Gill, Artificial Intelligence for Society, Nueva York, John Wiley and Sons, 1986, p. 3.

¹⁸ Stuart J. Russell y Peter Norvig, Artificial Intelligence. A Modern Approach, 3ª ed., Upper Saddle River, Pearson, 2010, p. 30 [trad. esp.: Inteligencia artificial. Un enfoque moderno, Madrid, Pearson, 2004].

¹⁹ Lorraine Daston, “Cloud Physiognomy”, en Representations, vol. 135, núm. 1, 2016, pp. 45-71, disponible en línea: <doi.org>.

²⁰ Georges Didi-Huberman, Atlas, or the Anxious Gay Science. How to Carry the World on One’s Back?, Chicago, University of Chicago Press, 2018, p. 5 [trad. esp.: Atlas. ¿Cómo llevar el mundo a cuestas?, Madrid, TF, 2010].

²¹ Ibid., p. 11.

²² Ursula M. Franklin y Michelle Swenarchuk, The Ursula Franklin Reader. Pacifism as a Map, Toronto, Between the Lines, 2006.

²³ Para un recuento de las prácticas de la colonización de datos, véanse Nick Couldry y Ulises A. Mejías, “Colonized by Data: The Costs of Connection with Nick Couldry and Ulises Mejías”, charla, Berkman Klein Center for Internet and Society, Harvard University, 19 de septiembre de 2019, disponible en línea: <cyber.harvard.edu>, y Achille Mbembe, Critique of Black Reason, Durham, Duke University Press, 2017 [trad. esp.: Crítica de la razón negra. Ensayo sobre el racismo contemporáneo, Barcelona, Futuro Anterior y Nuevos Emprendimientos Editoriales, 2016].

²⁴ Fei-Fei Li, cit. en Dave Gershgorn, “The Data That Transformed AI Research, and Possibly the World”, en Quartz, 26 de julio de 2017, disponible en línea: <qz.com>.

²⁵ Stuart J. Russell y Peter Norvig, op.cit., p. 1.

²⁶ Woodrow Wilson Bledsoe, cit. en Pamela McCorduck, Machines Who Think. A Personal Inquiry into the History and Prospects of Artificial Intelligence, Natick, A. K. Peters, 2004, p. 136.

²⁷ Shannon Mattern, Code and Clay, Data and Dirt. Five Thousand Years of Urban Media, Mineápolis, University of Minnesota Press, 2017, pp. 34 y 35.

²⁸ Mike Ananny y Kate Crawford, “Seeing without Knowing: Limitations of the Transparency Ideal and Its Application to Algorithmic Accountability”, en New Media and Society, vol. 20, núm. 3, 2018, pp. 973-989.

²⁹ Cualquier lista siempre será un recuento inadecuado de todas las personas y comunidades que han inspirado e informado este trabajo. Estoy particularmente agradecida de las siguientes comunidades de investigación: Fairness, Accountability, Transparency and Ethics (FATE) y Social Media Collective en Microsoft Research, el AI Now Institute de New York University, el grupo de trabajo Foundations of AI en la École Normale Supérieure, y el Richard von Weizsäcker Visiting Fellows en la Robert Bosch Academy en Berlín.

³⁰ Samantha Saville, “Towards Humble Geographies”, en Area, 2019, pp. 1-9, disponible en línea: <doi.org>.

³¹ Para leer más sobre los trabajadores de crowdsourcing, véanse Mary L. Gray y Siddharth Suri, Ghost Work. How to Stop Silicon Valley from Building a New Global Underclass, Boston, Houghton Mifflin Harcourt, 2019, y Sarah T. Roberts, Behind the Screen. Content Moderation in the Shadows of Social Media, New Haven, Yale University Press, 2019.

³² Jimena Canales, A Tenth of a Second. A History, Chicago, University of Chicago Press, 2010.

³³ Shoshana Zuboff, The Age of Surveillance Capitalism. The Fight for a Human Future at the New Frontier of Power, Nueva York, PublicAffairs, 2019 [trad. esp.: La era del capitalismo de la vigilancia. La lucha por un futuro humano frente a las nuevas fronteras del poder, Buenos Aires, Paidós, 2021].

³⁴ Karin Knorr Cetina, Epistemic Cultures. How the Sciences Make Knowledge, Cambridge, Harvard University Press, 1999, p. 3.

³⁵ “Emotion Detection and Recognition (EDR) Market Size to Surpass 18%+ CAGR 2020 to 2027”, en MarketWatch, 5 de octubre de 2020.

³⁶ Alondra Nelson, Thuy Linh N. Tu y Alicia Headlam Hines, “Introduction: Hidden Circuits”, en Alondra Nelson, Thuy Linh N. Tu y Alicia Headlam Hines (eds.), Technicolor. Race, Technology, and Everyday Life, Nueva York, New York University Press, 2001, p. 5.

³⁷ Déborah Danowski y Eduardo Batalha Viveiros de Castro, The Ends of the World, trad. de Rodrigo Guimaraes Nunes, Malden, Polity, 2017 [trad. esp.: ¿Hay mundo por venir? Ensayo sobre los miedos y los fines, trad. de Rodrigo Álvarez, Buenos Aires, Caja Negra, 2019].

³⁸ Ursula M. Franklin, The Real World of Technology, ed. rev., Toronto, House of Anansi Press, 2004, p. 5.

I. La Tierra

EL BOEING 757 se inclina directamente sobre San José en su acercamiento final al Aeropuerto Internacional de San Francisco. El ala izquierda desciende a medida que el avión se alinea con la pista, revelando una vista aérea de la ubicación más emblemática del sector tecnológico. Abajo están los grandes imperios de Silicon Valley. El gigantesco círculo negro de la sede de Apple se extiende como una lente fotográfica sin tapa, brillando al sol. Luego está la oficina central de Google, ubicada en las cercanías de Moffett, el aeródromo federal de la National Aeronautics and Space Administration (NASA). Este lugar fue clave para la Marina de Estados Unidos durante la Segunda Guerra Mundial y la guerra de Corea, pero ahora Google tiene un contrato de alquiler por sesenta años, y allí sus altos ejecutivos estacionan sus jets privados. Cerca de Google, se encuentran los grandes hangares de producción de Lockheed Martin, donde esta empresa aeroespacial y de fabricación de armas construye cientos de satélites orbitales destinados a contemplar desde arriba las actividades de la Tierra. A continuación, junto al puente Dumbarton, hay un conjunto de edificios bajos que son el hogar de Facebook, rodeados de un estacionamiento gigante cerca de los pantanos salinos de Ravenswood. Desde esta perspectiva privilegiada, los insulsos callejones suburbanos, así como el horizonte industrial de media altura de Palo Alto, apenas si delatan su verdadera riqueza, poder e influencia. Solo hay leves indicios de su centralidad en la economía global y en la infraestructura computacional del planeta.

Estoy aquí para aprender acerca de la inteligencia artificial (IA) y de qué está hecha. Para ver eso, tendré que abandonar Silicon Valley por completo.

En el aeropuerto, me subo a una camioneta y manejo hacia el este. Cruzo el puente San Mateo-Hayward y paso junto al Lawrence Livermore National Laboratory, donde Edward Teller dirigió su investigación sobre armas termonucleares en los años posteriores a la Segunda Guerra Mundial. Pronto se elevan las laderas de Sierra Nevada, pasando los pueblos de Stockton y Manteca, en el Valle Central. Aquí las carreteras empiezan a serpentear a través de los acantilados de granito del paso de Sonora y a bajar por el lado este de las montañas, hacia los valles cubiertos de hierba y salpicados de amapolas doradas. Los bosques de pinos dan paso a las aguas alcalinas del lago Mono y a los accidentes geográficos del desierto de la provincia de Basin y Range. Para reabastecerme de combustible, entro en Hawthorne, Nevada, donde se encuentra el depósito de municiones más grande del mundo, donde el Ejército de Estados Unidos almacena su armamento en docenas de zigurats cubiertos de tierra que pueblan el valle en filas ordenadas. Mientras manejo por la ruta estatal 256, veo a la distancia un solitario VORTAC, una gran torre de radio en forma de pino de bowling, diseñada en la era anterior al GPS. Cumple una sola función: transmitir “Estoy aquí” a todos los aviones que pasan, un punto de referencia fijo en un terreno solitario.

Mina de litio de Silver Peak. Fotografía de Kate Crawford.

Me dirijo a Silver Peak, una comunidad no incorporada, ubicada en el valle Clayton, donde viven, según cómo se hagan los números, alrededor de 125 personas. El pueblo minero, uno de los más antiguos de Nevada, fue prácticamente abandonado en 1917, después de que el suelo quedara despojado por completo de plata y oro. Unos pocos edificios de la época de la fiebre del oro todavía se mantienen en pie, erosionándose bajo el sol del desierto. Puede que el pueblo sea pequeño, con más autos desguazados que personas, pero alberga algo verdaderamente excepcional. Silver Peak se alza al borde de un gigantesco lago de litio subterráneo. Este valioso océano de litio es bombeado hacia la superficie y queda al aire libre en estanques verdes iridiscentes para que se evapore. Cuando brillan y reflejan la luz, los estanques pueden verse a kilómetros de distancia. De cerca es algo completamente distinto. Tuberías negras con aspecto alienígena brotan del suelo y serpentean a lo largo de la tierra incrustada de sal, entrando y saliendo de trincheras poco profundas, llevando el cóctel salado a sus bateas de secado. Aquí, en un rincón remoto de Nevada, se crea la materia de la IA.

EXPLOTACIÓN MINERA PARA LA INTELIGENCIA ARTIFICIAL

El valle Clayton se conecta con Silicon Valley de la misma manera en que en el siglo XIX los yacimientos de oro se conectaban con San Francisco. La historia de la minería, al igual que la estela de devastación que deja, se pasa por alto por lo general, como parte de la amnesia estratégica que va de la mano del relato del progreso tecnológico. Como señala el geógrafo histórico Gray Brechin, San Francisco se construyó a partir de las ganancias obtenidas de la extracción de oro y plata en las tierras de California y Nevada en el siglo XIX.¹ La ciudad proviene de la minería. Esas mismas tierras le habían sido arrebatadas a México en virtud del Tratado de Guadalupe Hidalgo de 1848, al final de la guerra entre México y Estados Unidos, cuando ya resultaba evidente para los colonos que allí había yacimientos de oro de gran valor. Era un ejemplo de manual, reflexiona Brechin, del viejo adagio que dice que “el comercio sigue a la bandera, pero la bandera sigue a la picota”.² Miles de personas fueron obligadas a abandonar sus hogares durante esta sustancial expansión territorial de Estados Unidos. Después de la invasión imperial estadounidense, llegaron los mineros. La tierra quedó desguarnecida, hasta que los canales fueron contaminados y los bosques lindantes destruidos.

Desde la Antigüedad, el negocio de la minería solo ha sido rentable porque no tiene que responder por sus verdaderos costos: el daño ambiental, la enfermedad y muerte de mineros, y las pérdidas de las comunidades desplazadas. En 1555, Georgius Agricola, conocido como el padre de la mineralogía, señaló que “resulta evidente para todos que la minería produce un mayor detrimento que el valor de los metales que produce”.³ En otras palabras, aquellos que obtienen ganancias de la minería lo hacen tan solo porque los costos son pagados por otros, algunos vivos y otros todavía por nacer. Es fácil ponerles precio a los metales valiosos, pero ¿cuál es el valor exacto de la naturaleza, de un arroyo limpio, del aire respirable, de la salud de las comunidades locales? Nunca fue estimado y, por lo tanto, se hizo un cálculo rápido: extraerlo todo, lo más rápidamente posible. El “muévete rápido y rompe cosas” de otra época. Como resultado, el Valle Central fue diezmado y, como un turista comentó en 1869, “un tornado, una inundación, un terremoto y un volcán combinados difícilmente podrían causar más estragos o extender mayores ruinas y despojos que las operaciones de lavado de oro. […] La minería no respeta ningún derecho en California. Es el interés único y supremo”.⁴

Como a San Francisco le llegaban muchas riquezas de las minas, a su población le fue fácil olvidar de dónde provenían. Las minas estaban ubicadas lejos de la ciudad que enriquecían, y esta lejanía permitió a sus ciudadanos seguir ignorando lo que les ocurría a las montañas, a los ríos y a los trabajadores que alimentaban sus fortunas. Pero había pequeños recordatorios de las minas por todas partes. Los nuevos edificios de la ciudad usaban la misma tecnología que venía de las profundidades del Valle Central para el transporte y el soporte vital. Los sistemas de poleas que acarreaban a los mineros a las galerías fueron adaptados y dados vuelta para transportar personas en ascensores hasta la cima de los rascacielos de la ciudad.⁵ Brechin sugiere que tendríamos que pensar en esos rascacielos de San Francisco como un paisaje minero invertido. Los minerales extraídos de agujeros en el suelo fueron vendidos para crear historias en el aire; cuanto más profundas fueron las extracciones, más altas se alzaron hacia el cielo las grandes torres de oficinas.

San Francisco se ha enriquecido una vez más. Antes aseguraba fortunas el mineral del oro; ahora lo hace la extracción de sustancias como el cristal de litio blanco. En los mercados de minerales se lo conoce como el “oro blanco”.⁶ La industria tecnológica se ha vuelto un nuevo interés supremo, y las cinco compañías más grandes del mundo (según la capitalización bursátil) tienen oficinas en esta ciudad: Apple, Microsoft, Amazon, Facebook y Google. Al pasar frente a los centros de distribución de las compañías emergentes en el distrito Soma, donde estuvieron alguna vez las carpas de los mineros, se pueden ver autos de lujo, cadenas de café respaldadas por capitales de riesgo, autobuses suntuosos con vidrios polarizados recorriendo rutas privadas, llevando a los trabajadores a sus oficinas en Mountain View o Menlo Park.⁷ Pero a una corta distancia está la calle Division, una vía de múltiples carriles entre Soma y el distrito Mission, en el que las hileras de carpas han regresado, esta vez para guarecer a quienes no tienen a dónde ir. Después del boom tecnológico, San Francisco tiene ahora una de las tasas más altas de personas sin hogar en Estados Unidos.⁸ El relator especial de las Naciones Unidas para el derecho a una vivienda adecuada la llamó una violación a los derechos humanos “inaceptable”, debido a los miles de residentes sin hogar a los que se les niegan necesidades básicas como agua, instalaciones sanitarias y servicios de salud, en contraste con el número récord de multimillonarios que viven en las cercanías.⁹ Los mayores beneficios de la extracción han sido percibidos por unos pocos.

En este capítulo recorreremos Nevada, San José y San Francisco, así como Indonesia, Malasia, China y Mongolia; del desierto al océano. También cruzaremos el tiempo histórico, desde los conflictos en el Congo y los lagos negros artificiales en la actualidad hasta la pasión victoriana por el látex blanco. Las escalas variarán, para que nos enfoquemos tanto en rocas como en ciudades, árboles o megacorporaciones, rutas marítimas transoceánicas o la bomba atómica. Pero, a lo largo de este supersistema planetario, veremos la logística de la extracción, una reducción constante de minerales, agua y combustibles fósiles apuntalada por la violencia de las guerras, la contaminación, la extinción y el desgaste del suelo. Los efectos de la computación a gran escala pueden verse en la atmósfera, los océanos, la corteza terrestre, el tiempo profundo del planeta y el brutal impacto en las poblaciones desfavorecidas alrededor del mundo. Para entenderlo todo, necesitamos una vista panorámica de la escala planetaria de la extracción computacional.

PAISAJES COMPUTACIONALES

Manejo por el desértico valle una tarde de verano para ver el funcionamiento de este último boom minero. Le pido a mi teléfono que me dirija al perímetro de los estanques de litio y me responde desde su incómoda posición en el tablero, sujeto por un cable USB blanco. El gran lecho seco del lago de Silver Peak se formó hace millones de años, durante las postrimerías del periodo terciario. Está rodeado por estratificaciones encostradas que se elevan hacia crestas que contienen calizas oscuras, cuarcitas verdes y pizarra gris y roja.¹⁰ Se descubrió litio aquí después de una exploración de la zona en busca de minerales estratégicos como la potasa, durante la Segunda Guerra Mundial. Durante los siguientes cincuenta años, este mineral blando y plateado se extrajo solo en cantidades modestas, hasta que se convirtió en un material valioso para el sector tecnológico.

En 2014, Rockwood Holdings, Inc., una operación minera de litio, fue adquirida por la compañía de productos químicos Albemarle Corporation por 6.200 millones de dólares. Es la única mina de litio en funcionamiento en Estados Unidos. Esto hace que Silver Peak sea un sitio de gran interés para Elon Musk y muchos otros magnates de la tecnología, por una razón: las baterías recargables. El litio es un elemento crucial de su producción. Las baterías de los teléfonos inteligentes, por ejemplo, contienen alrededor de 8,5 gramos de litio. Cada automóvil eléctrico Tesla modelo S necesita alrededor de 63 kilos de litio para la suya.¹¹ Este tipo de baterías nunca fueron pensadas para suministrar energía a una máquina que consumiera tanto como un automóvil, pero las baterías de litio son en este momento la única opción disponible en el mercado de consumo masivo.¹² Todas estas baterías tienen una vida útil limitada; una vez que se degradan, son descartadas como residuos.

Alrededor de 350 kilómetros al norte de Silver Peak, está la gigafábrica de Tesla. Es la fábrica de baterías de litio más grande del planeta. Tesla es el mayor consumidor de baterías de iones de litio en el mundo; las compra en grandes volúmenes, de Panasonic y Samsung, y las vuelve a empaquetar en sus autos y cargadores caseros. Se estima que Tesla usa más de 28.000 toneladas de hidróxido de litio al año: la mitad del consumo total del planeta.¹³ De hecho, podría describirse con más precisión como una empresa de baterías antes que como una de autos.¹⁴ La inminente escasez de minerales críticos como el níquel, el cobre y el litio supone un riesgo para la compañía, lo que vuelve muy deseable el lago de litio de Silver Peak.¹⁵ Asegurarse el control de la mina significaría controlar el suministro interno de Estados Unidos.

Como muchos han demostrado, el auto eléctrico está lejos de ser la solución perfecta a las emisiones de dióxido de carbono.¹⁶ La minería, la industria siderúrgica, las exportaciones, el ensamblaje y el transporte de la cadena de suministro de baterías han tenido un significativo impacto negativo en el medioambiente y, a su vez, en las comunidades afectadas por su degradación. Tan solo un pequeño número de sistemas de energía solar caseros produce su propia energía. Pero, en la mayoría de los casos, cargar un auto eléctrico requiere conectarse a la red eléctrica, donde actualmente menos de una quinta parte de toda la electricidad de Estados Unidos proviene de fuentes de energía renovable.¹⁷ De momento, nada de esto ha frenado la determinación de los fabricantes de autos para competir con Tesla, lo que aumenta la presión sobre el mercado de baterías y acelera la eliminación de unas reservas minerales cada vez más escasas.

La computación y el comercio global dependen de las baterías. Seguramente, el término “inteligencia artificial” evoca algoritmos, datos y arquitectura de nube; pero nada de eso funcionaría sin los minerales y los recursos que construyen los componentes centrales de la informática. Las baterías recargables de iones de litio son esenciales para los dispositivos móviles y las computadoras portátiles, para los asistentes virtuales y la energía de respaldo de los centros de datos. Son la base de Internet y de cualquier plataforma comercial que la use, desde los bancos y los comercios hasta el mercado de valores. Muchos de los aspectos de la vida moderna se han colocado en “la nube”, sin mucha consideración por los costos materiales. Nuestro trabajo y vidas privadas, nuestra historia clínica, tiempo libre, entretenimiento, inclinaciones políticas, todo esto ocurre en el mundo de la arquitectura de redes computacionales, al que accedemos desde dispositivos que sostenemos con una mano, cuyo núcleo se compone de litio.

La minería que crea la IA es tan literal como metafórica. El nuevo extractivismo de la minería de datos también engloba e impulsa el viejo extractivismo de la minería tradicional. La estructura necesaria para alimentar los sistemas de IA va mucho más allá de la estructura técnica de modelado de datos de múltiples capas, hardware, servidores y redes. La cadena de suministros completa de la IA llega hasta el capital, la mano de obra y los recursos de la Tierra, y de cada uno de ellos exige una gran cantidad.¹⁸ La nube es la columna vertebral de la industria de la IA y está hecha de rocas, litio en salmuera y petróleo crudo.

En su libro Una geología de los medios, la teórica Jussi Parikka sugiere que pensemos en los medios no desde el punto de vista de Marshall McLuhan (en el que son extensiones de nuestros sentidos), sino como extensiones de la Tierra.¹⁹ Los medios computacionales ahora participan en procesos geológicos (y climatológicos), desde la transformación de los materiales de la tierra en infraestructuras y dispositivos hasta la alimentación de estos nuevos sistemas con petróleo y reservas de gas. Reflexionar sobre los medios y la tecnología como procesos geológicos nos permite considerar el agotamiento radical de los recursos no renovables que se necesitan para impulsar las tecnologías del presente. Cada objeto en la red extendida de un sistema de IA, desde un router y una batería hasta un centro de datos, se construye usando elementos que requirieron miles de millones de años para formarse dentro de la Tierra.

Desde la perspectiva del tiempo profundo, estamos extrayendo la historia geológica de la Tierra para servir a una fracción de segundo del tiempo tecnológico contemporáneo, construyendo dispositivos como el Amazon Echo y el iPhone, que a menudo están diseñados para durar solo unos pocos años. La Consumer Technology Association señala que la vida útil promedio de los smartphones no supera los 4,7 años.²⁰ Este ciclo de obsolescencia alimenta la compra de más dispositivos, acrecienta las ganancias y aumenta los incentivos para el uso de prácticas de extracción insostenibles. Después de un lento proceso de desarrollo, estos minerales, elementos y materiales pasan por un período extraordinariamente rápido de excavación, procesamiento, mezcla, fundición y transporte, atravesando miles de kilómetros durante su transformación. Lo que comienza como un mineral extraído del suelo, una vez que se descartan los desechos y relaves, se transforma en dispositivos que son usados y a su vez descartados. Eventualmente terminan enterrados en vertederos de desechos electrónicos, en lugares como Ghana y Pakistán. El ciclo de vida de un sistema de IA, desde su nacimiento hasta su muerte, tiene muchas cadenas de suministro fractales: formas de explotación de mano de obra y de recursos naturales y concentraciones masivas de poder corporativo y geopolítico. Y a lo largo de toda la cadena, un continuo consumo en amplia escala de energía que mantiene el ciclo funcionando.

El extractivismo que construyó San Francisco se hace eco en las prácticas del sector tecnológico que hoy en día tiene su sede en ese lugar.²¹ El enorme ecosistema de la IA depende de muchos tipos de extracción: desde cosechar los datos que provienen de nuestras actividades y expresiones diarias hasta agotar recursos naturales y explotar la mano de obra alrededor del mundo para que esta vasta red planetaria pueda construirse y mantenerse. Y la IA extrae mucho más, de nosotros y del planeta, de lo que se sabe en general. El área de la bahía de San Francisco es un nodo central del mito de la IA, pero debemos viajar mucho más lejos de Estados Unidos para ver el legado múltiple de daños humanos y ambientales que ha alimentado la industria tecnológica.

LA CAPA MINERALÓGICA

Las minas de litio de Nevada son solo uno de los lugares de donde se extraen materiales de la corteza terrestre para crear IA. Hay muchos otros sitios similares, incluido el salar del suroeste boliviano, el lugar más rico en litio del mundo (y, por lo tanto, un espacio de continuas tensiones políticas), así como algunas zonas centrales del Congo, Mongolia, Indonesia y los desiertos de Australia Occidental. Estos son los otros lugares donde nace la IA en la gran geografía de la extracción industrial. Sin los minerales de estas locaciones, la computación contemporánea simplemente no funcionaría. Pero estos materiales son cada vez más escasos.

En 2020, científicos del Servicio Geológico de Estados Unidos publicaron un breve listado de 23 minerales que representan un alto “riesgo de suministro” para los fabricantes, lo que significa que, si dejaran de estar disponibles, industrias enteras (incluido el sector tecnológico) tendrían que parar en seco.²² Los minerales cruciales incluyen los elementos de tierras raras disprosio y neodimio, que se usan en los parlantes de los iPhone y en los motores de los vehículos eléctricos; germanio, que se usa en dispositivos infrarrojos militares para los soldados y en drones, y cobalto, que mejora el funcionamiento de las baterías de litio.

Hay 17 elementos de tierras raras: lantano, cerio, praseodimio, neodimio, prometio, samario, europio, gadolinio, terbio, disprosio, holmio, erbio, tulio, iterbio, lutecio, escandio e itrio. Son procesados e integrados en computadoras portátiles y smartphones, lo que los hace más pequeños y livianos. Se pueden encontrar en pantallas a color, parlantes, lentes de cámara, baterías recargables, discos duros, entre otros. Son elementos clave para los sistemas de comunicación, desde los cables de fibra óptica y la amplificación de señal en las torres de comunicaciones móviles hasta los satélites y la tecnología GPS. Pero extraer estos minerales del suelo, por lo general, viene acompañado de violencia local y geopolítica. La minería es, y siempre ha sido, una empresa brutal. Como escribe Lewis Mumford: “La minería era la industria clave que suministraba el nervio de la guerra e incrementaba los contenidos metálicos del depósito del capital original, el arca de la guerra; por otra parte, favorecía la industrialización de las armas y enriquecía al financiero con ambos procesos”.²³ Para entender el negocio de la IA, debemos tener en cuenta la guerra, la hambruna y la muerte que la minería trae consigo.

La reciente legislación estadounidense que regula algunos de esos 17 elementos de tierras raras apenas si insinúa la devastación asociada a su extracción. La Ley Dodd-Frank de 2010 se centró en reformar el sector financiero tras la crisis de 2008. Incluyó una cláusula específica sobre los llamados minerales de zona de conflicto, o recursos naturales extraídos de una zona de conflicto y luego vendidos para financiar el propio conflicto. Las compañías que usaban oro, estaño, tungsteno y tántalo de los alrededores de la República Democrática del Congo ahora tenían que informar de dónde provenían esos minerales y si la venta financiaba a las milicias armadas de la región.²⁴ Al igual que los “diamantes de zona de conflicto”, el término “minerales de zona de conflicto” enmascara el profundo sufrimiento y los prolíficos asesinatos en el sector minero. Las ganancias de la minería han financiado operaciones militares en el área del Congo durante las décadas que han durado los conflictos, lo que provocó la muerte de miles y el desplazamiento de millones.²⁵ Es más, las condiciones de trabajo dentro de las minas a menudo se han vuelto una forma moderna de esclavitud.²⁶

Intel necesitó más de cuatro años de esfuerzos sostenidos para desarrollar conocimientos básicos sobre su propia cadena de suministros.²⁷ Esta es muy compleja, con más de dieciséis mil proveedores en más de cien países que proporcionan los materiales directos para los procesos de producción de la empresa, las herramientas y las máquinas para las fábricas, así como los servicios de logística y empaquetado.²⁸ Además, tanto Intel como Apple han sido criticadas por auditar tan solo a las fundiciones —y no a las verdaderas minas— para determinar si los minerales están conectados a los conflictos. Los gigantes tecnológicos estaban evaluando plantas de fundición en las afueras del Congo, y las auditorías fueron a menudo realizadas por locales. Con lo que incluso las certificaciones “libre de conflictos” de la industria tecnológica se pueden poner en duda.²⁹

Philips, la empresa holandesa de tecnología, también ha declarado estar trabajando para que su cadena de suministros sea “libre de conflictos”. Al igual que Intel, Philips tiene miles de proveedores, cada uno de los cuales proporciona componentes para los procesos de fabricación de la empresa.³⁰ Esos proveedores se vinculan, a su vez, en sentido descendente, a miles de fabricantes de componentes que adquieren materiales tratados desde docenas de fundiciones distintas. Las fundiciones, por su lado, compran sus materiales a un número indeterminado de comerciantes que lidian directamente con operaciones mineras, tanto legales como ilegales, para obtener los diversos minerales que terminan siendo parte de los componentes de una computadora.³¹

Según el fabricante de computadoras Dell, las complejidades de la cadena de suministros de metales y minerales plantean desafíos prácticamente insuperables a la hora de producir componentes electrónicos libres de conflicto. Los elementos son blanqueados a través de un número tan vasto de entidades a lo largo de la cadena que obtener su procedencia resulta imposible, o al menos eso aseguran los fabricantes del producto final y niegan plausiblemente cualquier acusación de que impulsan sus ganancias con prácticas de explotación.³²

Al igual que con las minas y San Francisco en el siglo XIX, la extracción para el sector tecnológico se lleva a cabo manteniendo los costos reales fuera del campo visual. La ignorancia acerca de la cadena de suministros es inherente al capitalismo, desde la forma en que los negocios se protegen a sí mismos por medio de contratistas y proveedores externos hasta el modo en que los bienes se comercializan y anuncian a los consumidores. Más que una negación plausible, se ha vuelto una forma de mala fe muy practicada: la mano izquierda no puede saber lo que está haciendo la mano derecha, lo que requiere formas de distanciamiento cada vez más sofisticadas, tan barrocas como complejas.

Si bien uno de los casos más extremos de extracción dañina es la minería para financiar la guerra, la mayoría de los minerales no proviene de zonas bélicas directas. Esto no quiere decir, sin embargo, que estén libres de sufrimiento humano y destrucción ambiental. El enfoque en los minerales de zona de conflicto, aunque importante, también ha sido usado para desviar la vista de los daños de la minería a gran escala. Si visitamos los principales sitios de extracción de minerales para sistemas computacionales, encontramos las historias reprimidas de ríos decolorados con ácido y paisajes desarraigados, y de extinción de especies de plantas y animales que alguna vez fueron vitales para la ecología local.

LAGOS NEGROS Y LÁTEX BLANCO

En Baotou, la ciudad más grande de la Mongolia Interior, hay un lago artificial relleno con barro tóxico negro. Apesta a azufre y se extiende hasta donde alcanza la vista, cubriendo casi 9 kilómetros de diámetro. El lago negro contiene más de 180 millones de toneladas de desperdicio proveniente del procesamiento de minerales.³³ Fue creado por el vertido de las minas cercanas de Bayan Obo, que se estima que contienen casi el 70% de las reservas de minerales de tierras raras del mundo. Es el depósito de elementos de tierras raras más grande del planeta.³⁴

China suministra el 95% de los minerales de tierras raras del mundo. Su dominio del mercado, como señala el escritor Tim Maughan, le debe mucho menos a la geología que a la disposición de ese país de asumir el daño ambiental de la extracción.³⁵ A pesar de que los minerales de tierras raras como el neodimio y el cerio son relativamente comunes, para hacerlos utilizables es necesario pasar por el peligroso proceso de disolverlos en grandes volúmenes de ácido sulfúrico y nítrico. Estos baños ácidos producen reservas de desechos venenosos que llenan el lago muerto de Baotou. Este es solo uno de los lugares que están llenos hasta el borde de lo que la académica de estudios ambientales Myra Hird llama “los desechos que queremos olvidar”.³⁶

Hasta la fecha ningún otro metal puede igualar los singulares usos electrónicos, ópticos y magnéticos de los elementos de tierras raras, pero la proporción entre minerales utilizables y toxinas de desecho es extrema. El estratega de recursos naturales David Abraham describe la extracción en Jiangxi, China, de disprosio y terbio, que se utilizan en una variedad de dispositivos de alta tecnología. Escribe: “Solo el 0,2% de la arcilla extraída contiene los valiosos elementos de tierras raras. Esto significa que el 99,8% de la tierra extraída en la minería de tierras raras se descarta como desecho y a eso se le llama ‘relave’, que es luego arrojado de vuelta a las colinas y los arroyos”, lo que crea nuevos contaminantes, como el amonio.³⁷ Para refinar una tonelada de esos elementos de tierras raras “la Sociedad China de Tierras Raras estima que el proceso produce 75.000 litros de agua ácida y una tonelada de residuos radiactivos”.³⁸

A casi 5.000 kilómetros al sur de Baotou están las pequeñas islas indonesias de Bangka y Belitung, frente a la costa de Sumatra. Bangka y Belitung producen el 90% del estaño de Indonesia, que se utiliza en semiconductores. Indonesia es el segundo productor más grande de ese metal en el mundo, solo después de China. La compañía nacional de estaño de Indonesia, PT Timah, lo suministra directamente a compañías como Samsung, así como a los fabricantes de soldaduras Chernan y Shenmao, que a su vez lo suministran a Sony, LG y Foxconn: todos proveedores de Apple, Tesla y Amazon.³⁹

En estas pequeñas islas, los mineros del mercado gris, que no están empleados oficialmente, se sientan en pontones improvisados con sus cañas de bambú para raspar el fondo marino antes de sumergirse y succionar el estaño de la superficie valiéndose de tubos gigantes similares a los de las aspiradoras. Los mineros venden el estaño que encuentran a intermediarios, que también recolectan minerales de los mineros que trabajan en minas autorizadas y luego los mezclan para venderlo a compañías como Timah.⁴⁰ Desregulado por completo, el proceso se desarrolla lejos del alcance de cualquier protección laboral o ambiental. La periodista de investigación Kate Hodal informa:

La minería de estaño es un comercio lucrativo pero destructivo que ha marcado el paisaje de la isla, arrasado sus granjas y bosques y acabado con su población de peces y arrecifes de coral, y mermado el turismo en sus hermosas playas de alineadas palmeras. El daño se ve más claramente desde el aire, desde donde es posible ver pequeños focos boscosos apiñados en medio de enormes extensiones de tierra anaranjada estéril. Y donde no dominan las minas, la tierra está salpicada de tumbas, muchas con los cuerpos de los mineros que han muerto cavando por estaño a lo largo de los siglos.⁴¹

Las minas están por todas partes: en patios, en el bosque, a los costados del camino, en las playas. Es un paisaje en ruinas.

Una práctica común de la vida es enfocarse en el mundo que está inmediatamente frente a nosotros, el que vemos, olemos y tocamos cada día. Nos enraíza allí donde estamos, con nuestras comunidades y nuestros rincones y preocupaciones conocidas. Pero para ver la cadena de suministros de la IA completa, debemos buscar patrones haciendo un barrido global, además de ser sensibles al modo en que las historias y los daños específicos cambian de lugar en lugar y están, sin embargo, interconectados profundamente por las múltiples fuerzas de extracción.

Podemos ver esos patrones en el espacio, pero también los podemos encontrar a lo largo del tiempo. Los cables telegráficos transatlánticos son la infraestructura esencial que transporta datos entre continentes, un emblema global de la comunicación y el capital. También son un producto material del colonialismo, con sus patrones de extracción, conflicto y destrucción ambiental. Al final del siglo XIX, un árbol particular del sudeste asiático, llamado Palaquium gutta, se volvió el centro de un boom de cableado. Estos árboles, que se encuentran principalmente en Malasia, producen un látex natural de color blanco lechoso llamado gutapercha. Después de que el científico inglés Michael Faraday publicara un estudio en la Philosophical Magazine en 1848 acerca del uso de este material como aislante eléctrico, la gutapercha se volvió rápidamente un favorito del mundo de la ingeniería. Los ingenieros lo veían como la solución perfecta para aislar los cables telegráficos de modo que soportaran las duras y cambiantes condiciones en el manto oceánico. Los hilos retorcidos de alambre de cobre necesitaban cuatro capas de la savia orgánica y suave para estar protegidos de la incursión del agua y poder transportar sus corrientes eléctricas.

A medida que el negocio telegráfico submarino crecía, también lo hizo la demanda de troncos de Palaquium gutta. El historiador John Tully relata que a los trabajadores locales malayos, chinos y dayacos se les pagaba poco por el peligroso trabajo de talar los árboles y recolectar lentamente el látex.⁴² Luego este era procesado y vendido, a través de los mercados comerciales de Singapur, al mercado británico, donde era transformado, entre otras cosas, en kilómetros y kilómetros de fundas de cable submarino que envolvían el globo. Como ha escrito la experta en medios Nicole Starosielski: “Los estrategas militares veían los cables como la manera más eficaz y segura de comunicarse con las colonias y, por consiguiente, controlarlas”.⁴³ Las rutas de los cables submarinos todavía demarcan hoy las tempranas redes coloniales entre el centro y la periferia del imperio.⁴⁴

Un Palaquium gutta maduro podía producir alrededor de 300 gramos de látex. Pero, en 1857, el primer cable transatlántico medía cerca de 3.000 kilómetros y pesaba 2.000 toneladas, lo que requería 250 toneladas de gutapercha. Producir tan solo una tonelada de este material requería alrededor de 900.000 troncos de árbol. Las junglas de Malasia y Singapur fueron arrasadas; para principios de la década de 1880, el Palaquium gutta había desaparecido. En un último esfuerzo por salvar su cadena de suministros, los británicos pasaron una ley en 1883 para detener la cosecha del látex, pero el árbol ya estaba prácticamente extinto.⁴⁵

En los albores de la sociedad de la información global, el desastre ambiental victoriano de la gutapercha muestra cómo se entrelazan las relaciones entre la tecnología y sus materiales, entornos y prácticas laborales.⁴⁶ Así como los victorianos precipitaron un desastre ecológico debido a sus primeros cables, también hoy la minería y las cadenas de suministros globales ponen aún más en peligro el delicado equilibrio ecológico de nuestra época.

Pueden encontrarse oscuras ironías en la prehistoria de la computación planetaria. Actualmente, los sistemas de IA a gran escala están impulsando formas de extracción ambiental, de datos y humana, pero desde la era victoriana en adelante la computación algorítmica surgió de los deseos de administrar y controlar guerras, población y el cambio global. La historiadora Theodora Dryer describe que la figura fundacional de la estadística matemática, el científico inglés Karl Pearson, buscó resolver las incertidumbres de la planificación y la gestión de datos desarrollando nuevas arquitecturas de datos, que incluían desviaciones estándar y técnicas de correlación y regresión. Sus métodos estaban, a la vez, profundamente enraizados en la ciencia racial, pues Pearson, al igual que su mentor, el estadístico y fundador de la eugenesia Sir Francis Galton, creía que las estadísticas podían ser “el primer paso para investigar los posibles efectos de un proceso selectivo sobre cualquier característica de una raza”.⁴⁷

Como escribe Dryer,

[a] fines de los años treinta estas arquitecturas de datos (técnicas de regresión, desviación estándar y correlaciones) se volvieron las herramientas dominantes a la hora de interpretar la información social y estatal en el escenario mundial. Al rastrear los nodos y las rutas del comercio global, el “movimiento de estadísticas matemáticas” se volvió una inmensa empresa,⁴⁸

empresa que siguió extendiéndose después de la Segunda Guerra Mundial, ya que se empezaron a usar nuevos sistemas computacionales en esferas, como la del pronóstico del tiempo durante los periodos de sequía, para obtener mayor productividad de la industria agrícola a gran escala.⁴⁹ Desde esta perspectiva, la computación algorítmica, la estadística computacional y la IA fueron desarrolladas en el siglo XX para abordar desafíos sociales y ambientales, pero después serían utilizadas para intensificar la extracción y la explotación industriales y agotar aún más los recursos naturales.

Palaquium gutta (gutapercha).

EL MITO DE LA TECNOLOGÍA VERDE

Los minerales son la columna vertebral de la IA, pero su alma sigue siendo la energía eléctrica. Cuando se piensa en la computación avanzada, rara vez se evoca la huella de carbono, los combustibles fósiles o la contaminación; metáforas como “la nube” implican algo delicado que flota como parte de una industria natural y verde.⁵⁰ Los servidores están ocultos en centros de datos anodinos y sus cualidades contaminantes son mucho menos visibles que las ondulantes chimeneas de las centrales termoeléctricas a carbón. El sector tecnológico hace una propaganda ruidosa de sus políticas ambientales, iniciativas sustentables y planes para lidiar con problemas relacionados con el clima utilizando la IA. Todo es parte de una muy trabajada imagen pública que busca vender la idea de una industria tecnológica sustentable sin emisiones de carbono. Pero, en realidad, se requieren colosales cantidades de energía para hacer funcionar la infraestructura computacional de los servidores de Amazon Web Service o de Azure de Microsoft, y la huella de carbono de los sistemas de IA que funcionan en esas plataformas está creciendo.⁵¹

En A Prehistory of the Cloud, Tung-Hui Hu escribe que “la nube es una tecnología de extracción intensiva de recursos, que convierte agua y electricidad en poder computacional, dejando tras de sí una cuantiosa cantidad de daños medioambientales que luego oculta a la vista”.⁵² Lidiar con esta infraestructura de uso intensivo de energía se ha vuelto una preocupación fundamental. Sin duda, la industria ha hecho importantes esfuerzos para que los centros de datos sean energéticamente más eficientes y para aumentar el uso de energías renovables. Pero la huella de carbono de la infraestructura computacional mundial ya alcanzó a la de la industria de la aviación en su apogeo, y está aumentando a mayor ritmo.⁵³ Las predicciones varían y, mientras investigadores como Lotfi Belkhir y Ahmed Elmeligi estiman que para 2040 el sector tecnológico contribuirá con el 14% de las emisiones globales de gases de efecto invernadero, un equipo en Suecia señala que, para 2030, tan solo las demandas eléctricas de los centros de datos habrán aumentado 15 veces.⁵⁴

Al mirar de cerca la capacidad computacional que se necesita para construir modelos de IA, podemos ver el alto costo que significa para el planeta el deseo de aumentar de manera exponencial la velocidad y la precisión. Las demandas en materia de procesamiento a la hora de entrenar modelos de IA y, por lo tanto, su consumo de energía son todavía un área emergente de la investigación. Uno de los primeros artículos en este campo fue producido por la investigadora de IA Emma Strubell y su equipo en la University of Massachusetts Amherst en 2019. Enfocados en tratar de comprender la huella de carbono de los modelos de procesamiento de lenguaje natural (PLN), esbozaron algunas estimaciones ejecutando modelos de IA durante cientos de miles de horas computacionales.⁵⁵ Los números iniciales resultaron sorprendentes. El equipo de Strubell descubrió que, al ejecutar un solo modelo de PLN, se producían más de 660.000 toneladas de emisiones de dióxido de carbono, el equivalente a toda la vida útil de cinco automóviles a gasolina (incluida su fabricación) o a 125 viajes de ida y vuelta desde Nueva York a Beijing.⁵⁶

Aún peor, los investigadores hicieron ver que este modelo era, cuando menos, una estimación estándar optimista. No refleja la verdadera escala comercial a la que operan compañías como Apple o Amazon, quienes extraen conjuntos de datos de Internet y alimentan sus propios modelos de PLN para que sistemas de IA como Siri o Alexa suenen más humanos. Sin embargo, se desconoce la cantidad exacta de consumo de energía de los modelos de IA del sector tecnológico; esa información se mantiene como un secreto corporativo fuertemente resguardado. Aquí, también, la economía de datos se basa en mantener una ignorancia ambiental.

En el campo de la IA, maximizar los ciclos computacionales para mejorar el rendimiento es una práctica común, según la creencia de que cuanto más grande, mejor. Rich Sutton, de DeepMind, lo describe de esta manera: “Los métodos que hacen uso de la computación son al final los más efectivos, y por un amplio margen”.⁵⁷ La técnica computacional de las pruebas de fuerza bruta al ejecutar entrenamientos de IA o la recolección sistemática de más datos y el uso de más ciclos de computadora para alcanzar un mejor resultado han impulsado un fuerte aumento en el consumo de energía. OpenAI estimó que, desde 2012, la cantidad de cómputos usados para entrenar a un solo modelo de IA cada año se ha multiplicado por diez. Eso se debe a que los programadores “encuentran más y más maneras de usar más chips en paralelo y están cada vez más dispuestos a pagar el coste económico que eso conlleva”.⁵⁸ Pensar solo en términos económicos no deja ver que se pagará un costo mayor, local y ambiental, al quemar ciclos de computadora para crear eficiencias crecientes. Esa tendencia hacia un “maximalismo informático” tiene profundos impactos ecológicos.

Los centros de datos se encuentran entre los mayores consumidores de electricidad del mundo.⁵⁹ Alimentar esta máquina de varios niveles requiere energía a carbón, gas, nuclear o renovable. Algunas compañías están respondiendo a la creciente alarma sobre el consumo a gran escala de energía por parte de la computación, mientras que Apple y Google afirman ser emisores neutrales de carbono (lo que significa que compensan sus emisiones de carbono comprando créditos) y Microsoft promete que en 2030 será un emisor negativo. Sin embargo, los trabajadores de esas compañías han presionado para reducir las emisiones en general, en lugar de comprar indulgencias por una culpa medioambiental.⁶⁰ Además, Microsoft, Google y Amazon otorgan las licencias de sus plataformas de IA a compañías de combustibles fósiles para ayudarlas a ubicar y extraer combustible del suelo, lo que impulsa todavía más a la industria hacia una mayor responsabilidad en el cambio climático antropogénico.

Más allá de Estados Unidos, se elevan otras nubes de dióxido de carbono. La industria de centros de datos de China obtiene el 73% de su energía del carbón y, en 2018, emitió alrededor de 99 millones de toneladas de CO₂.⁶¹ Y se espera que el consumo de electricidad por parte de la infraestructura de los centros de datos de China aumente en dos tercios para 2023.⁶² Greenpeace ha dado la alarma respecto a la colosal demanda de energía de las compañías tecnológicas, argumentando que “las compañías más prominentes de China, incluidas Alibaba, Tencent y GDS, tienen que aumentar dramáticamente la adquisición de energías limpias, así como divulgar sus datos de uso de energía”.⁶³ Pero los impactos duraderos de la energía a carbón están por todas partes y llegan más lejos que cualquier frontera nacional. La naturaleza planetaria de la extracción de recursos, así como sus consecuencias, superan por mucho lo que el Estado nación fue diseñado para abordar.

El agua nos cuenta otra historia sobre el verdadero costo de la computación. La historia del uso del agua en Estados Unidos está llena de batallas y pactos secretos y, al igual que ocurre con la computación, estos acuerdos se han mantenido en secreto. Uno de los centros de datos más grandes de este país pertenece a la National Security Agency (NSA) en Bluffdale, Utah. Abierto desde fines de 2013, el Intelligence Community Comprehensive National Cybersecurity Initiative Data Center [Centro de Datos de la Iniciativa Nacional de Ciberseguridad Integral de la Comunidad de Inteligencia] no se puede visitar directamente. Pero manejando por los suburbios adyacentes, encontré un callejón sin salida en una colina llena de artemisa y, desde ahí, pude tener una visión más clara de la extensa instalación de más de 110.000 metros cuadrados. El sitio posee una especie de poder simbólico que alude a la nueva era de captura de datos por parte del gobierno, habiendo aparecido en películas como Citizenfour y en miles de noticias sobre la NSA. En persona, sin embargo, parece anodino y prosaico: un contenedor gigante combinado con un bloque de oficinas gubernamentales.

La pelea por el agua comenzó incluso antes de que el centro de datos abriera oficialmente, debido a su ubicación en la zona desértica de Utah.⁶⁴ Los periodistas locales querían confirmar que el consumo estimado de 1,7 millones de galones de agua al día fuera correcto, pero la NSA en un principio se negó a compartir sus datos de uso de agua, eliminó todos los detalles de los registros públicos y afirmó que esa información era un asunto de seguridad nacional. Activistas contra la vigilancia crearon manuales que abogaban por el fin del apoyo material de agua y energía para asuntos de vigilancia, y formularon una estrategia pensando que, si se controlaba el uso del agua, se podía cerrar la instalación.⁶⁵ Pero Bluffdale ya había negociado un trato de varios años con la NSA, mediante el cual la ciudad le vendía agua a tarifas muy por debajo de la media a cambio de la promesa del crecimiento económico que la instalación le traería a la región.⁶⁶ La geopolítica del agua ahora está profundamente mezclada con los mecanismos y las políticas de los centros de datos, la computación y el poder, en todos los sentidos. Desde las áridas laderas que asoman al depósito de datos de la NSA, toda la impugnación y ofuscación sobre el agua tienen sentido: este paisaje tiene un límite y el agua que se usa para enfriar los servidores se le está quitando a las comunidades y a los hábitats que la necesitan para sobrevivir.

Tal como el trabajo sucio del sector minero se llevaba a cabo lejos de las compañías y de los habitantes de las ciudades que más se beneficiaban de él, de igual manera la mayoría de los centros de datos están alejados de los principales núcleos poblacionales, ya sea en el desierto o en zonas semiindustriales no habitadas. Esto contribuye a nuestra sensación de que la nube está fuera de nuestro campo visual, como algo abstracto, cuando en realidad es algo material que afecta el ambiente y el clima de formas que están lejos de ser reconocidas o consideradas. La nube es terrestre y, para que siga creciendo, se requieren recursos en expansión y capas de logística y transporte que están en constante movimiento.

LA CAPA LOGÍSTICA

Hasta aquí, hemos considerado el aspecto material de la IA, desde los elementos de tierras raras hasta la energía. Al basar nuestro análisis en las materialidades específicas de la IA —las cosas, los lugares, la gente—, podemos ver mejor cómo operan las partes dentro de sistemas de poder más amplios. Pensemos, por ejemplo, en la maquinaria logística global que mueve a lo largo del planeta minerales, combustible, hardware, trabajadores y dispositivos de IA de consumo.⁶⁷ El vertiginoso espectáculo de logística y producción desplegado por empresas como Amazon no sería posible sin el desarrollo y la aceptación generalizada de un objeto metálico estandarizado: el contenedor de carga. Al igual que los cables submarinos, los contenedores de carga unen a las industrias globales de comunicación, transporte y capital, un ejercicio material de lo que los matemáticos llaman “transporte óptimo”; en este caso, una optimización del espacio y de los recursos en las rutas comerciales del mundo.

Los contenedores de carga estandarizados (construidos a partir de los elementos básicos de la tierra, como el carbón y el hierro forjado en acero) permitieron la explosión de la industria moderna de transporte de mercancías, que a su vez ha hecho posible visualizar y modelar el planeta como si fuera una sola fábrica gigante. El contenedor de carga es la única unidad de valor, como una pieza de lego, que puede viajar miles de kilómetros antes de llegar a su destino final; parte modular de un sistema de entregas mucho más grande. En 2017, la capacidad de los cargueros alcanzó los casi 250 millones de toneladas de porte bruto, dominadas por empresas navieras gigantes como Maersk de Dinamarca, la Mediterranean Shipping Company de Suiza y el grupo francés CMA CGM, cada uno con cientos de cargueros.⁶⁸ Para estas empresas, el transporte de carga es una forma relativamente barata de navegar el sistema vascular de la fábrica global, aunque oculta otros costos externos bastante más grandes. Del mismo modo en que tienden a ignorar las realidades y los costos físicos de la infraestructura de la IA, la cultura popular y los medios rara vez se ocupan de la industria del transporte de mercancías. La escritora Rose George llama a esto “ceguera oceánica”.⁶⁹

En años recientes, los cargueros produjeron un 3,1% de las emisiones globales de carbono anuales, más que la totalidad de emisiones de Alemania.⁷⁰ Para minimizar sus costos internos, la mayoría de las compañías de transporte de contenedores usan enormes cantidades de combustible de baja calidad, lo que lleva a un aumento del azufre y otras sustancias tóxicas en el aire. Se estima que un carguero emite tanta contaminación como cincuenta millones de autos, y sesenta mil muertes anuales se atribuyen indirectamente a la contaminación producida por la industria de los cargueros.⁷¹

Incluso fuentes afines a las industrias, como el World Shipping Council, han admitido que se pierden miles de contenedores al año, que se hunden en el fondo del mar o quedan a la deriva.⁷² Algunos contienen sustancias tóxicas que se filtran a los océanos; otros liberan miles de patitos de plástico que durante décadas van llegando a las costas alrededor del mundo.⁷³ Por lo general los trabajadores pasan diez meses en el mar, a menudo con largos turnos y sin acceso a comunicaciones con el exterior.

Aquí también la atmósfera, el ecosistema del océano y los trabajadores mal pagados han tenido que soportar el severo costo de la logística global. A los imaginarios empresariales de la IA se les olvidó describir los costos a largo plazo y las historias detrás de los materiales necesarios para construir infraestructuras computacionales, o detrás de la energía requerida para hacerlas funcionar. El rápido crecimiento de la computación basada en la nube, expuesta como amigable con el ambiente, ha propulsado paradójicamente una expansión de las fronteras de la extracción de recursos. Solo cuando tengamos en cuenta estos costos ocultos y estos conjuntos más amplios de actores y sistemas, podremos entender lo que realmente significa el giro hacia una mayor automatización. Esto requiere trabajar a contrapelo del imaginario tecnológico, que suele desvincularse de los asuntos terrenales. Al igual que cuando uno realiza una búsqueda de imágenes de IA, que nos devuelve docenas de fotografías de cerebros que brillan y códigos binarios teñidos de azul flotando en el espacio, hay una resistencia poderosa a lidiar con las materialidades de estas tecnologías. Por el contrario, nosotros comenzaremos con la tierra, con la extracción y con las historias sobre el poder industrial y, a partir de ahí, consideraremos la manera en que se repiten esos patrones en los sistemas de mano de obra y datos.

LA INTELIGENCIA ARTIFICIAL COMO UNA MEGAMÁQUINA

A fines de los años sesenta, el historiador y filósofo de la tecnociencia Lewis Mumford desarrolló el concepto de megamáquina para ilustrar la forma en que todos los sistemas, sin importar cuán grandes fueran, dependían del trabajo de muchos actores humanos.⁷⁴ Para Mumford, el Proyecto Manhattan, cuyas complejidades se le ocultaron no solo al público, sino incluso a las miles de personas que trabajaron en él en lugares apartados y seguros a lo largo de Estados Unidos, era la megamáquina moderna por antonomasia. Un total de ciento treinta mil trabajadores operaron en completo secreto, bajo la dirección del ejército, desarrollando un arma que mató (según estimaciones conservadoras) a 237 mil personas al alcanzar Hiroshima y Nagasaki en 1945. La bomba atómica dependió de una compleja y secreta cadena de suministros, logística y mano de obra.

La IA es otro tipo de megamáquina, un conjunto de enfoques tecnológicos que depende de infraestructuras industriales, cadenas de suministros y mano de obra extendidas por todo el mundo, pero que se mantienen en segundo plano. Hemos visto cómo la IA es mucho más que bases de datos y algoritmos, modelos de aprendizaje profundo y álgebra lineal. Es metamórfico: depende de la manufactura, el transporte y el trabajo físico; de los centros de datos y cables submarinos que trazan líneas entre los continentes; de los dispositivos móviles y sus componentes en bruto; de las señales de transmisión que surcan los cielos; de los conjuntos de datos recolectados de Internet, y de los ciclos continuos de las computadoras. Todo esto tiene un costo.

Hemos visto las relaciones entre las ciudades y las minas, las compañías y las cadenas de suministro y las topografías de extracción que las conectan. La naturaleza fundamentalmente interconectada de la producción, fabricación y logística nos recuerda que las minas que sustentan la IA están por todos lados: no solo están ubicadas en lugares apartados, sino que también son difusas y están diseminadas a lo largo de la geografía mundial, en lo que Mazen Labban ha llamado la “mina planetaria”.⁷⁵ Esto no busca negar las muchas ubicaciones específicas en las que se está llevando a cabo una minería impulsada por la tecnología. Más bien, Labban nota que la mina planetaria expande y reconstituye la extracción en nuevas maneras, extendiendo las prácticas de las minas hacia nuevos espacios e interacciones alrededor del mundo.

En este momento de la historia, en que los impactos del cambio climático antropogénico ya están bastante avanzados, es vital encontrar nuevos métodos para entender las profundas raíces humanas y materiales que tienen los sistemas de IA. Pero eso es más fácil decirlo que hacerlo. En parte, porque muchas de las industrias que componen la cadena del sistema de IA esconden los continuos costos de lo que hacen. Además, la escala requerida para construir sistemas de IA es demasiado compleja y está demasiado oscurecida por leyes de propiedad intelectual y demasiado empantanada en complejidades logísticas y técnicas como para que podamos verlo todo. Pero nuestro objetivo aquí no es transparentar estos complejos ensamblajes: más que intentar ver dentro de ellos, nos conectaremos a través de muchos sistemas para entender cómo funcionan entre sí.⁷⁶ Por lo tanto, nuestro camino seguirá las historias sobre los costos ambientales y de mano de obra, y las pondrá en contexto con las prácticas de extracción y clasificación tejidas a lo largo de la vida cotidiana. Podemos trabajar para alcanzar una mayor justicia si pensamos juntos en estos temas.

Las ruinas en Blair. Fotografía de Kate Crawford.

Hago un viaje más a Silver Peak. Antes de alcanzar el pueblo me detengo a un lado del camino para leer un cartel azotado por el clima. Es el marcador histórico 174 de Nevada, dedicado a la creación y destrucción del pequeño pueblo llamado Blair. En 1906, la compañía minera Silver Peak Gold de Pittsburgh compró las minas del área. Anticipando un boom, los especuladores de tierras compraron todos los lotes disponibles en las cercanías de Silver Peak, junto con sus derechos de agua, lo que llevó los precios a unos récord de máximos artificiales. Entonces la minera inspeccionó unos pocos kilómetros al norte y lo declaró el sitio de un nuevo pueblo: Blair. Construyeron un molino de cianuro de cien sellos para la minería de lixiviación, el más grande del estado, y colocaron el ferrocarril Silver Peak, que iba desde Blair Junction hasta la línea principal de Tonopah y Goldfield. En breve el pueblo prosperó. Cientos de personas llegaron de todas partes buscando trabajo, a pesar de las duras condiciones. Pero con tanta actividad minera, el cianuro empezó a envenenar el suelo, y las vetas de oro y plata comenzaron a flaquear y a secarse. Para 1918, Blair estaba prácticamente deshabitada. Todo ocurrió en un lapso de doce años. Las ruinas están marcadas en un mapa local; quedan a una distancia de solo cuarenta y cinco minutos caminando.

Hace un calor ardiente en el desierto. Los únicos sonidos que pueden escucharse son las reverberaciones metálicas de las cigarras y el rumor de un jet de pasajeros ocasional. Me decido a subir la colina. Para cuando alcanzo el grupo de edificios de piedra en lo alto del largo camino de tierra, el calor me tiene exhausta. Me refugio dentro de las ruinas de lo que alguna vez fue la casa de un minero de oro. No queda mucho: una vajilla rota, fragmentos de botellas de vidrio, unas cuantas tinajas oxidadas. En los años más animados de Blair, varias tabernas prosperaron cerca de donde me encuentro y un hotel de dos pisos daba la bienvenida a los visitantes. Ahora no es más que una aglomeración de cimientos destruidos.

A través del espacio de lo que alguna vez fue una ventana, la vista se extiende por todo el valle. Me toma por sorpresa darme cuenta de que Silver Peak también será pronto un pueblo fantasma. El consumo actual de la mina de litio se ha vuelto agresivo, en respuesta a la alta demanda, y nadie sabe cuánto durará. Las estimaciones más optimistas dicen que cuarenta años, pero el final podría estar mucho más cerca. Luego las piscinas de litio que están debajo del valle Clayton serán desangradas; extraídas para hacer baterías destinadas a un basurero. Y Silver Peak volverá a su antigua vida como un lugar vacío y tranquilo, al borde de un antiguo lago salado, ahora drenado.

¹ Gray Brechin, Imperial San Francisco. Urban Power, Earthly Ruin, Berkeley, University of California Press, 2007.

² Ibid., p. 29.

³ Georgius Agricola, cit. en Gray Brechin, op. cit., p. 25.

⁴ Gray Brechin, op. cit., p. 50.

⁵ Gray Brechin, op. cit., p. 69.

⁶ Véanse, por ejemplo, Kate Davies y Liam Young, Tales from the Dark Side of the City. The Breastmilk of the Volcano, Bolivia and the Atacama Desert Expedition, Londres, Unknown Fields, 2016, y “A Grey Goldmine: Recent Developments in Lithium Extraction in Bolivia and Alternative Energy Projects”, en Council on Hemispheric Affairs, 17 de noviembre de 2009, disponible en línea: <www.coha.org>.

⁷ Para obtener más información sobre los cambios más evidentes en San Francisco, véase Anne B. Bloomfield, “A History of the California Historical Society’s New Mission Street Neighborhood”, en California History, vol. 74, núm. 4, 1995-1996, pp. 372-393.

⁸ San Francisco Department of Homelessness and Supportive Housing, “Street Homelessness”, disponible en línea: <hsh.sfgov.org>. Véase también “Counterpoints: An Atlas of Displacement and Resistance”, en Anti-Eviction Mapping Project (blog), 3 de septiembre de 2020.

⁹ Alastair Gee, “San Francisco or Mumbai? UN Envoy Encounters Homeless Life in California”, en The Guardian, 22 de enero de 2018, disponible en línea: <www.theguardian.com>.

¹⁰ H. W. Turner publicó un detallado estudio geológico del área de Silver Peak en julio de 1909. Con una hermosa prosa, Turner ensalzó la variedad geológica dentro de lo que describió como “pendientes de tobas color crema y rosado, y pequeñas colinas de un rojo ladrillo brillante”. H. W. Turner, “Contribution to the Geology of the Silver Peak Quadrangle, Nevada”, en Bulletin of the Geological Society of America, vol. 20, núm. 1, 1909, p. 228.

¹¹ Fred Lambert, “Breakdown of Raw Materials in Tesla’s Batteries and Possible Breaknecks”, en Electrek, 1° de noviembre de 2016, disponible en línea: <electrek.co>.

¹² Kevin Bullis, “Lithium-Ion Battery”, en MIT Technology Review, 19 de junio de 2012, disponible en línea: <www.technologyreview.com>.

¹³ “Chinese Lithium Giant Agrees to Three-Year Pact to Supply Tesla”, en Bloomberg, 21 de septiembre de 2018, disponible en línea: <www.industryweek.com>.

¹⁴ Ellen Wald, “Tesla Is a Battery Business, Not a Car Business”, en Forbes, 15 de abril de 2017, disponible en línea: <www.forbes.com>.

¹⁵ Ernest Scheyder, “Tesla Expects Global Shortage of Electric Vehicle Battery Minerals”, en Reuters, 2 de mayo de 2019, disponible en línea: <www.reuters.com>.

¹⁶ Lizzie Wade, “Tesla’s Electric Cars Aren’t as Green as You Might Think”, en Wired, 31 de marzo de 2016, disponible en línea: <www.wired.com>.

¹⁷ Business Council for Sustainable Energy, 2019 Sustainable Energy in America. Factbook, 11 de febrero de 2019, disponible en línea: <https://www.bcse.org/wp-content/uploads/2019-Sustainable-Energy-in-America-Factbook.pdf>, y US Energy Information Administration, “What Is US Electricity Generation by Energy Source?”, disponible en línea: <www.eia.gov>.

¹⁸ Meredith Whittaker et al., AI Now Report 2018, en AI Now Institute, diciembre de 2018.

¹⁹ Jussi Parikka, A Geology of Media, Mineápolis, University of Minnesota Press, 2015, pp. 7 y 8, y Marshall McLuhan, Understanding Media. The Extensions of Man, Cambridge, MIT Press, 1994.

²⁰ Chris Ely, “The Life Expectancy of Electronics”, en Consumer Technology Association, 16 de septiembre de 2014.

²¹ Sandro Mezzadra y Brett Neilson usan el término “extractivismo” para nombrar a la relación entre distintas formas de operaciones extractivas en el capitalismo contemporáneo, que se ven reiteradamente en el contexto de la industria de la IA. Véase Sandro Mezzadra y Brett Neilson, “On the Multiple Frontiers of Extraction: Excavating Contemporary Capitalism”, en Cultural Studies, vol. 31, núm. 2-3, 2017, pp. 185-204, disponible en línea: <doi.org>.

²² Nedal Nassar et al., “Evaluating the Mineral Commodity Supply Risk of the US Manufacturing Sector”, en Science Advances, vol. 6, núm. 8, 2020, disponible en línea: <www.doi.org>.

²³ Lewis Mumford, Technics and Civilization, Chicago, University of Chicago Press, 2010, p. 74 [trad. esp.: Técnica y civilización, La Rioja (España), Pepitas de Calabaza, 2020].

²⁴ Véase, por ejemplo, Melvin Ayogu y Zenia Lewis, “Conflict Minerals: An Assessment of the Dodd-Frank Act”, en Brookings Institution, 3 de octubre de 2011, disponible en línea: <www.brookings.edu>.

²⁵ Jason Burke, “Congo Violence Fuels Fears of Return to 90s Bloodbath”, en The Guardian, 30 de junio de 2017, disponible en línea: <www.theguardian.com>.

²⁶ Pulitzer Center on Crisis Reporting, “Congo’s Bloody Coltan”, video, 6 de enero de 2011, disponible en línea: <pulitzercenter.org>.

²⁷ Ibid.

²⁸ “Transforming Intel’s Supply Chain with Real-Time Analytics”, en Intel, septiembre de 2017, disponible en línea: <www.intel.com>.

²⁹ Véase, por ejemplo, una carta abierta de setenta signatarios, criticando las limitaciones del proceso de certificación de la llamada condición libre de conflictos: “An Open Letter”, disponible en línea: <ethuin.files.wordpress.com>.

³⁰ “Responsible Minerals Policy and Due Diligence”, en Philips, disponible en línea: <www.philips.com>.

³¹ En The Elements of Power, David S. Abraham describe de la siguiente manera las redes invisibles de los comerciantes de metales raros en las cadenas de suministro de los productos electrónicos: “La red para llevar metales raros, desde la mina a tu computadora portátil, viaja a través de una cadena turbia de comerciantes, procesadores y fabricantes de componentes. Los comerciantes son los intermediarios que hacen mucho más que comprar y vender metales raros: ayudan a regular la información y son el eslabón escondido que ayuda a navegar la red entre las plantas de metales y los componentes de nuestras computadoras portátiles”. David S. Abraham, The Elements of Power. Gadgets, Guns, and the Struggle for a Sustainable Future in the Rare Metal Age, New Haven, Yale University Press, 2017, p. 89.

³² “Responsible Minerals Sourcing”, en Dell, disponible en línea: <www.dell.com>.

³³ Zhiyi Liu, “Chinese Mining Dump Could Hold Trillion-Dollar Rare Earth Deposit”, en China Dialogue, 14 de diciembre de 2012, disponible en línea: <www.chinadialogue.net>.

³⁴ “Bayan Obo Deposit. Inner Mongolia, China”, en Mindat.org, disponible en línea: <www.mindat.org>.

³⁵ Tim Maughan, “The Dystopian Lake Filled by the World’s Tech Lust”, en BBC Future, 2 de abril de 2015, disponible en línea: <www.bbc.com>.

³⁶ Myra J. Hird, “Waste, Landfills, and an Environmental Ethics of Vulnerability”, en Ethics and the Environment, vol. 18, núm. 1, 2013, p. 105, disponible en línea: <www.doi.org>.

³⁷ David S. Abraham, op. cit., p. 175.

³⁸ Ibid., p. 176.

³⁹ Cam Simpson, “The Deadly Tin inside Your Smartphone”, en Bloomberg, 24 de agosto de 2012, disponible en línea: <www.bloomberg.com>.

⁴⁰ Kate Hodal, “Death Metal: Tin Mining in Indonesia”, en The Guardian, 23 de noviembre de 2012, disponible en línea: <www.theguardian.com>.

⁴¹ Ibid.

⁴² John Tully, “A Victorian Ecological Disaster: Imperialism, the Telegraph, and Gutta-Percha”, en Journal of World History, vol. 20, núm. 4, 2009, pp. 559-579, disponible en línea: <doi.org>.

⁴³ Nicole Starosielski, The Undersea Network, Durham, Duke University Press, 2015, p. 34.

⁴⁴ Véase Nick Couldry y Ulises A. Mejías, The Costs of Connection: How Data Is Colonizing Human Life and Appropriating It for Capitalism, Stanford, Stanford University Press, 2019, p. 46.

⁴⁵ Nick Couldry y Ulises A. Mejías, op. cit., p. 574.

⁴⁶ Para un excelente recuento de la historia de los cables submarinos, véase Nicole Starosielski, The Undersea Network, op. cit.

⁴⁷ Theodora Dryer, “Designing Certainty: The Rise of Algorithmic Computing in an Age of Anxiety 1920-1970”, tesis doctoral, University of California San Diego, 2019, p. 45.

⁴⁸ Ibid., p. 46.

⁴⁹ Ibid., pp. 266-268.

⁵⁰ Cada vez más personas le están prestando atención a este problema, incluyendo los investigadores de AI Now. Véase Roel Dobbe y Meredith Whittaker, “AI and Climate Change: How They’re Connected, and What We Can Do about It”, en Medium (blog), 17 de octubre de 2019, disponible en línea: <medium.com>.

⁵¹ Véase, como ejemplo de las primeras investigaciones sobre esta área, Nathan Ensmenger, “Computation, Materiality, and the Global Environment”, en IEEE Annals of the History of Computing, vol. 35, núm. 3, 2013, p. 80, disponible en línea: <www.doi.org>.

⁵² Tung-Hui Hu, A Prehistory of the Cloud, Cambridge, MIT Press, 2015, p. 146.

⁵³ Nicola Jones, “How to Stop Data Centres from Gobbling Up the World’s Electricity”, en Nature, 12 de septiembre de 2018, disponible en línea: <www.nature.com>. Se han hecho algunos avances para mitigar estas preocupaciones por medio del uso de prácticas energéticas más eficientes, pero se mantienen los significativos desafíos a largo plazo. Véase Eric Masanet et al., “Recalibrating Global Data Center Energy-Use Estimates”, en Science, vol. 367, núm. 6481, 2020, pp. 984-986.

⁵⁴ Lotfi Belkhir y Ahmed Elmeligi, “Assessing ICT Global Emissions Footprint: Trends to 2040 and Recommendations”, en Journal of Cleaner Production, vol. 177, 2018, pp. 448-463, y Anders A. E. Andrae y Tomas Edler, “On Global Electricity Usage of Communication Technology: Trends to 2030”, en Challenges, vol. 6, núm. 1, 2015, pp. 117-157, disponible en línea: <www.doi.org>.

⁵⁵ Emma Strubell, Ananya Ganesh y Andrew McCallum, “Energy and Policy Considerations for Deep Learning in NLP”, en arXiv, 5 de junio de 2019, disponible en línea: <arxiv.org>.

⁵⁶ Ibid.

⁵⁷ Rich Sutton, “The Bitter Lesson”, 13 de marzo de 2019, disponible en línea: <www.incompleteideas.net>.

⁵⁸ “AI and Compute”, en OpenAI, 16 de mayo de 2018, disponible en línea: <openai.com>.

⁵⁹ Gary Cook et al., Clicking Clean. Who Is Winning the Race to Build a Green Internet?, Washington DC, Greenpeace, 2017, disponible en línea: <www.clickclean.org>.

⁶⁰ Shirin Ghaffary, “More Than 1.000 Google Employees Signed a Letter Demanding the Company Reduce Its Carbon Emissions”, en Recode, 4 de noviembre de 2019, disponible en línea: <www.vox.com>. Véase también “Apple Commits to Be 100 Percent Carbon Neutral for Its Supply Chain and Products by 2030”, en Apple, 21 de julio de 2020, disponible en línea: <www.apple.com>; Roger Harrabin, “Google Says Its Carbon Footprint Is Now Zero”, en BBC News, 14 de septiembre de 2020, disponible en línea: <www.bbc.com>, y Brad Smith, “Microsoft Will Be Carbon Negative by 2030”, en Official Microsoft Blog (blog), 20 de enero de 2020, disponible en línea: <https://blogs.microsoft.com/blog/2020/01/16/microsoft-will-be-carbon-negative-by2030/>.

⁶¹ “Powering the Cloud: How China’s Internet Industry Can Shift to Renewable Energy”, en Greenpeace, 9 de septiembre de 2019, disponible en línea: <storage.googleapis.com>.

⁶² Ibid.

⁶³ Ibid.

⁶⁴ Mél Hogan, “Data Flows and Water Woes: The Utah Data Center”, en Big Data and Society, diciembre de 2015, disponible en línea: <www.doi.org>.

⁶⁵ “Off Now: How Your State Can Help Support the Fourth Amendment”, en Off-Now.org, disponible en línea: <s3.amazonaws.com>.

⁶⁶ Nate Carlisle, “Shutting Off NSA’S Water Gains Support in Utah Legislature”, en Salt Lake Tribune, 20 de noviembre de 2014, disponible en línea: <archive.sltrib.com>.

⁶⁷ La materialidad es un concepto muy complejo y existe una abundante literatura que la aborda, como los estudios de ciencia, tecnología y sociedad, la antropología y la comunicación. En una de sus acepciones, la materialidad se refiere a lo que Leah Lievrouw describe como “el carácter y la existencia física de objetos y artefactos, que los hacen útiles y utilizables para ciertos propósitos bajo ciertas condiciones”. Leah Lievrouw, cit. en Tarleton Gillespie, Pablo J. Boczkowski y Kirsten A. Foot (eds.), Media Technologies. Essays on Communication, Materiality, and Society, Cambridge, MIT Press, 2014, p. 25. Pero como han escrito Diana Coole y Samantha Frost: “La materialidad siempre es algo más que ‘mera’ materia: un exceso, fuerza, vitalidad, relacionalidad o diferencia que vuelve a la materia activa, autocreativa, productiva, improductiva”. Diana Coole y Samantha Frost (eds.), New Materialisms. Ontology, Agency, and Politics, Durham, Duke University Press, 2012, p. 9.

⁶⁸ United Nations Conference on Trade and Development, Review of Maritime Transport, 2017, disponible en línea: <unctad.org>.

⁶⁹ Rose George, Ninety Percent of Everything. Inside Shipping, the Invisible Industry That Puts Clothes on Your Back, Gas in Your Car, and Food on Your Plate, Nueva York, Metropolitan, 2013, p. 4 [trad. esp.: Noventa por ciento de todo. La industria invisible que te viste, te llena el depósito de gasolina y pone comida en tu plato, Madrid, Capitán Swing, 2014].

⁷⁰ Zoë Schlanger, “If Shipping Were a Country, It Would Be the Sixth-Biggest Greenhouse Gas Emitter”, en Quartz, 17 de abril de 2018, disponible en línea: <qz.com>.

⁷¹ John Vidal, “Health Risks of Shipping Pollution Have Been ‘Underestimated’”, en The Guardian, 9 de abril de 2009, disponible en línea: <www.theguardian.com>.

⁷² “Containers Lost at Sea - 2017 Update”, World Shipping Council, 10 de julio de 2017.

⁷³ Guy Adams, “Lost at Sea: On the Trail of Moby-Duck”, en The Independent, 27 de febrero de 2011.

⁷⁴ Lewis Mumford, The Myth of the Machine. Technics and Human Development, Nueva York, Harcourt Brace Jovanovich, 1967 [trad. esp.: El mito de la máquina. Técnica y evolución humana, La Rioja (España), Pepitas de Calabaza, 2017].

⁷⁵ Mazen Labban, “Deterritorializing Extraction: Bioaccumulation and the Planetary Mine”, en Annals of the Association of American Geographers, vol. 104, núm. 3, 2014, pp. 560-576. Para un desarrollo más amplio de esta idea, véase Martin Arboleda, Planetary Mine. Territories of Extraction under Late Capitalism, Londres, Verso, 2020.

⁷⁶ Mike Ananny y Kate Crawford, “Seeing without Knowing: Limitations of the Transparency Ideal and Its Application to Algorithmic Accountability”, en New Media and Society, vol. 20, núm. 3, 2018, pp. 973-989.

II. El trabajo

LO PRIMERO que veo al entrar en el enorme centro logístico de Amazon en Robbinsville, Nueva Jersey, es un gran cartel que dice “Reloj de fichaje”. Sobresale de uno de los brillantes pilares amarillos de concreto que se extienden a lo largo del vasto espacio de la fábrica, de más de 100.000 metros cuadrados. Se trata de uno de los principales centros de distribución de objetos pequeños, un nodo central para la distribución en la zona noreste de Estados Unidos. Presenta un vertiginoso espectáculo de logística y estandarización, diseñado para acelerar la entrega de paquetes. Hay docenas de carteles de relojes de fichaje a lo largo de la entrada para controlar la asistencia a intervalos regulares. Cada segundo de trabajo se monitorea y contabiliza. Los trabajadores (a los que se les llama “asociados”) tienen que marcar tarjeta en cuanto llegan. Las escasas salas de descanso, iluminadas con tubos fluorescentes, también cuentan con estos relojes, con más letreros para señalar que todas las entradas y salidas de las habitaciones se monitorean. Al igual que se registran los paquetes al llegar al centro, también se registra y monitorea a los trabajadores para que alcancen la mayor eficiencia: durante sus turnos solo pueden estar quince minutos sin trabajar, con una pausa para comer de media hora, no remunerada. Los turnos son de diez horas.

Este es uno de los centros logísticos nuevos; cuenta con robots para mover las pesadas estanterías repletas de bandejas de productos. Los robots Kiva anaranjados se deslizan suavemente a través del piso de concreto, como vívidos bichos de agua, siguiendo una lógica programada que los lleva a girar en perezosos círculos antes de seguir un rumbo fijo hacia el siguiente trabajador que espera las bandejas. Después se mueven hacia adelante, cargando en sus espaldas una torre de compras que puede llegar a pesar 3.000 toneladas. Este ejército de robots esquivos presenta una especie de eficiencia que no pareciera requerir esfuerzo: llevan carga, giran, avanzan, repiten. Emiten un ligero zumbido, pero este es ahogado casi por completo por el sonido ensordecedor de las cintas transportadoras, que actúan como las arterias de la fábrica. Hay 23 kilómetros de cintas transportadoras que se mueven sin pausa en este espacio. El resultado es un rugido constante.

Mientras los robots llevan a cabo su coordinado ballet algorítmico detrás del alambrado, los trabajadores están lejos de compartir esa serenidad. La ansiedad por alcanzar la “tasa de cumplimiento” (el número de ítems que seleccionan y empaquetan dentro del tiempo asignado) claramente les está pasando la cuenta. Muchos de los trabajadores con los que me encuentro en mis visitas tienen puesto algún tipo de vendaje. Veo rodilleras, coderas, muñequeras. Cuando hago la observación de que me parece que mucha gente tiene algún tipo de lesión, el trabajador de Amazon me muestra, a lo largo de toda la fábrica, una serie de máquinas expendedoras, espaciadas a intervalos regulares, abastecidas con analgésicos “para el que los necesite”.

La robótica se ha vuelto parte clave del arsenal logístico de Amazon. Y si bien la maquinaria parece estar bien cuidada, los correspondientes cuerpos humanos parecen ser un aditamento. Están allí para completar las tareas específicas y complejas que los robots son incapaces de hacer: recoger y confirmar visualmente todos los objetos de formas extrañas que la gente quiere que envíen a sus casas, desde protectores de teléfono hasta detergentes y lavavajillas, en el menor tiempo posible. Los humanos son el tejido conectivo necesario para meter los ítems comprados en contenedores y camiones, y entregarlos a los consumidores. Pero no son el componente más valioso de la maquinaria de Amazon ni tampoco el más digno de su confianza. Al final del día, todos los asociados salen a través de una fila de detectores de metal. Es una efectiva medida antirrobos, me cuentan.

Trabajadores y relojes de fichaje en el centro logístico de Amazon en Robbinsville Township, Nueva Jersey. Fotografía de AP/Julio Cortez.

Entre las capas de Internet, una de las unidades de medida más comunes es la del paquete de red, una unidad básica de datos que se envía desde un destino a otro. En Amazon, la unidad básica de medida es la caja de cartón color café, ese recipiente de carga doméstico que nos resulta tan familiar, adornado con una flecha curva que simula una sonrisa humana. Los paquetes de red tienen todos un sello fechado, conocido como tiempo de vida. Los datos tienen que llegar a su destino antes de que expire ese tiempo. En Amazon, la caja de cartón también tiene un tiempo de vida que depende de las exigencias de envío del cliente. Si la caja llega tarde, esto afecta a la marca Amazon y eventualmente sus ganancias. Por esta razón, se le ha prestado mucha atención al algoritmo de aprendizaje automático que ajusta los datos relacionados con el mejor tamaño, peso y resistencia de las cajas de cartón corrugado y los sobres de papel. Aparentemente a ese algoritmo lo llaman, sin ironía, “la mátrix”.¹ Cada vez que una persona informa que un artículo llegó roto, esto se vuelve un dato respecto a qué tipo de caja debería usarse en el futuro. La próxima vez que ese mismo producto vaya a ser enviado, la mátrix le asignará automáticamente un nuevo tipo de caja, sin que haya intervención humana. Esto previene que se rompan más objetos, lo que ahorra tiempo, lo cual a su vez aumenta las ganancias. Los trabajadores, sin embargo, están obligados a estar adaptándose continuamente, lo que dificulta que pongan en práctica su conocimiento o que se habitúen a su trabajo.

Controlar el tiempo es una preocupación constante en el imperio logístico de Amazon, y los cuerpos de los trabajadores se manejan de acuerdo con las cadencias de la lógica computacional. Amazon es el segundo empleador privado más grande de Estados Unidos y muchas compañías hacen grandes esfuerzos por emularlo. Muchas de las grandes corporaciones están invirtiendo fuertemente en sistemas automatizados, en un intento por extraer volúmenes todavía mayores de una mano de obra de menos trabajadores. Las lógicas de la eficiencia, la vigilancia y la automatización hoy convergen todas en el giro actual hacia los enfoques computacionales para gestionar el trabajo. Los centros híbridos de distribución humano-robótica de Amazon son clave para entender las soluciones intermedias que se buscan por medio de este compromiso con la eficiencia automatizada. A partir de allí podemos empezar a preguntarnos cómo la mano de obra, el capital y el tiempo están entrelazados en los sistemas de inteligencia artificial (IA).

Más que debatir si los seres humanos serán remplazados por robots, en este capítulo me concentro en las maneras en que la experiencia del trabajo ha ido cambiando en relación con el aumento del monitoreo, la evaluación algorítmica y la modulación del tiempo. En otras palabras, en vez de hacer la pregunta de si los robots remplazarán a los humanos, me interesa la forma en que los seres humanos son tratados cada vez más como robots y lo que esto puede significar para la función de la mano de obra. Bajo el término “inteligencia artificial” se envuelven muchas formas de trabajo distintas, ocultando el hecho de que las personas a menudo realizan tareas rutinarias para dar la impresión de que las máquinas pueden hacer ese trabajo. Pero la computación a gran escala está profundamente enraizada en la explotación de cuerpos humanos; de hecho, funciona gracias a ello.

Si queremos entender el futuro del trabajo en el contexto de la IA hay que entender primero la experiencia pasada y presente de los trabajadores. Los enfoques para maximizar la extracción de valor de los trabajadores varían desde la reelaboración de las técnicas clásicas usadas en las fábricas de Henry Ford hasta la variedad de herramientas impulsadas por el aprendizaje automático y diseñadas para mejorar la granularidad de los seguimientos, los incentivos y las evaluaciones de los trabajadores. Este capítulo cartografía distintas geografías de la mano de obra en el pasado y en el presente, desde las casas de inspección de Samuel Bentham a las teorías administrativas de Charles Babbage y la microgestión de los cuerpos humanos de Frederick Winslow Taylor. A lo largo del camino, veremos que la IA se basa en los esfuerzos humanos de —entre otras cosas— el trabajo colaborativo, la privatización del tiempo y el acto aparentemente interminable de alcanzar, levantar y ordenar cajas. De las líneas de producción de la fábrica mecanizada, surge un modelo que valora el aumento de la conformidad, la estandarización y la interoperabilidad para los productos, los procesos y los seres humanos por igual.

PREHISTORIAS DE LA INTELIGENCIA ARTIFICIAL EN EL LUGAR DE TRABAJO

Si bien a menudo se habla de la automatización del lugar de trabajo como una historia futurista, se trata de una realidad largamente establecida del trabajo contemporáneo. La línea de montaje, con su énfasis en las unidades de producción consistentes y estandarizadas, tiene su contraparte análoga en la industria de servicios, desde el comercio minorista hasta los restaurantes. El trabajo secretarial se ha ido automatizando progresivamente desde la década de 1980 y ahora es emulado por asistentes de IA muy feminizados, como Siri, Cortana y Alexa.² Los llamados trabajadores capacitados, los empleados supuestamente menos amenazados por las fuerzas que impulsan la automatización, se encuentran cada vez más sujetos a la vigilancia en su lugar de trabajo, a la automatización de procesos y al colapso de la distinción entre el trabajo y el tiempo libre (aunque las mujeres rara vez han experimentado distinciones tan claras, como demuestra la investigación de teóricas feministas de la talla de Silvia Federici y Melissa Gregg).³ Trabajos de todo tipo han tenido que adaptarse significativamente para que sistemas basados en software puedan interpretarlos y entenderlos.⁴

La vieja cantinela sobre la expansión de los sistemas de IA y la automatización de los procesos dice que vivimos en una época de colaboración beneficiosa entre los seres humanos y la IA. Pero esta colaboración no se negocia de manera justa. Los términos descansan en una asimetría de poder significativa; de hecho, ¿existe siquiera la posibilidad de no colaborar con sistemas algorítmicos? Cuando una compañía introduce una nueva plataforma de IA, a los trabajadores rara vez se les permite no usarla. Esto es menos una colaboración que un compromiso forzado, en el que se espera que los trabajadores vuelvan a capacitarse, se mantengan al día y acepten sin cuestionárselo cualquier nuevo desarrollo tecnológico.

Más que representar un giro radical en las formas establecidas del trabajo, la intrusión de la IA en el lugar de trabajo debería entenderse, más bien, como un regreso a las viejas prácticas de explotación de mano de obra industrial, bien establecidas hacia fines del siglo XIX y principios del XX. Esa fue una época en que la mano de obra de las fábricas ya se veía en relación con las máquinas y en que las labores del trabajo empezaban paulatinamente a subdividirse en acciones menores que requerían habilidades mínimas pero esfuerzos excesivos. Precisamente la expansión actual de la automatización de la mano de obra continúa la dinámica histórica más amplia inherente al capitalismo industrial. Desde la aparición de las primeras fábricas, los obreros se han encontrado con herramientas, máquinas y sistemas electrónicos cada vez más poderosos que desempeñan un papel en el cambio de la gestión de la mano de obra, a la vez que transfieren mayor poder a los empleadores. Somos testigos de nuevas cantinelas que retoman esas melodías viejas. La diferencia crucial es que los empleadores ahora son capaces de observar, evaluar y modular incluso las partes íntimas del ciclo de trabajo y de los datos fisiológicos, hasta el último micromovimiento, que antes les estaban vedados.

Existen muchas prehistorias de la IA en el lugar de trabajo. Una de ellas es la automatización generalizada de las actividades productivas características de la Revolución Industrial. En La riqueza de las naciones, el economista político del siglo XVIII Adam Smith fue el primero en señalar que la división y la subdivisión de las tareas de manufactura eran la base tanto de las mejoras en la productividad como del aumento de la mecanización.⁵ Observó que, al identificar y analizar los distintos pasos que componían la manufacturación de cualquier ítem, era posible dividirlos en pasos todavía más pequeños, de manera que un producto que alguna vez fuera creado por la mano experta de un artesano ahora podía ser construido por un equipo de obreros de menor habilidad, equipados con herramientas construidas para tareas específicas. De esta manera, la producción de una fábrica podía aumentar significativamente sin que hubiera un aumento equivalente en el costo de mano de obra.

Los avances en la mecanización eran importantes, pero fue solo al combinarse con una creciente abundancia de energía, derivada de los combustibles fósiles, que consiguieron impulsar un aumento masivo de las capacidades productivas de las sociedades industriales. Este aumento de la producción se produjo a la par de una importante transformación del papel de la mano de obra con respecto a la maquinaria en el lugar de trabajo. Concebidas inicialmente como dispositivos para ahorrar mano de obra, las máquinas en las fábricas en principio debían ayudar a los obreros en sus actividades diarias; pero pronto se volvieron el centro de la actividad productiva, moldeando la velocidad y la naturaleza del trabajo. Los motores a vapor accionados por el carbón y el petróleo podían impulsar acciones mecánicas continuas que influían el ritmo del trabajo en la fábrica. El trabajo dejó de ser principalmente un producto de la mano de obra humana, para adoptar una naturaleza cada vez más mecanizada, con los obreros adaptándose a las necesidades de la máquina y a sus ritmos y cadencias particulares. Partiendo de Smith, Karl Marx señaló, ya en 1848, que la automatización extrae mano de obra de la producción de objetos terminados y transforma al obrero en “un apéndice de la máquina”.⁶

La integración de los cuerpos de los obreros con las máquinas fue lo suficientemente rigurosa para que los primeros industriales pudieran verlos como si fueran una materia prima que, como cualquier otro recurso, hay que gestionar y controlar. Usando tanto su influencia política como a sus matones a sueldo, los dueños de las fábricas buscaron dirigir y restringir la manera en que sus obreros se movían dentro de los pueblos industriales, a veces incluso previniendo que emigraran a regiones menos mecanizadas del mundo.⁷

Esto también significó aumentar el control sobre el tiempo. El formativo ensayo del historiador Edward P. Thompson explora la forma en que la Revolución Industrial exigió una mayor sincronización del trabajo y disciplinas horarias más estrictas.⁸ La transición hacia el capitalismo industrial trajo nuevas divisiones del trabajo, supervisiones, relojes, multas y planillas de horarios; tecnologías que también influyeron en la manera en que la gente experimentaba el tiempo. La cultura también fue una poderosa herramienta. Durante los siglos XVIII y XIX, la propaganda sobre el trabajo duro se distribuía en forma de panfletos y ensayos sobre la importancia de la disciplina, y de sermones sobre las virtudes de madrugar y trabajar diligentemente durante el mayor tiempo posible.⁹ El uso del tiempo llegó a verse tanto en términos morales como económicos: entendido como moneda, el tiempo podía usarse bien o malgastarse. Pero a medida que se fueron imponiendo disciplinas horarias más estrictas en los talleres y las fábricas, los obreros empezaron a oponerse, protestando contra el tiempo mismo. Para principios del siglo XIX, las movilizaciones sindicales abogaban fuertemente por una reducción de la jornada laboral, que podía llegar a durar hasta dieciséis horas. El tiempo en sí se volvió un lugar clave de lucha.

Mantener una fuerza de trabajo eficiente y disciplinada en las primeras fábricas requería nuevos sistemas de vigilancia y control. Uno de esos inventos, de los primeros años de la producción industrial, fue la casa de inspección, una disposición circular que colocaba a todos los obreros de una fábrica a la vista de sus supervisores, que a su vez trabajaban en una oficina ubicada en una plataforma elevada en el centro del edificio. Desarrollada en la década de 1780, en Rusia, por el ingeniero naval inglés Samuel Bentham, mientras estaba contratado por el príncipe Potemkin, esta disposición permitía a los expertos supervisores vigilar a sus subordinados no capacitados (en su mayoría campesinos rusos que Potemkin le había prestado a Bentham), buscando señales de malos hábitos de trabajo. También le permitía al propio Bentham supervisar a los supervisores buscando señales de mala disciplina. Los supervisores, en su mayoría maestros constructores navales reclutados en Inglaterra, le causaban grandes molestias a Bentham debido a su tendencia a beber y tener pequeños desacuerdos entre ellos. “Día a día tengo que ocuparme principalmente de las disputas entre mis oficiales”, se quejaba.¹⁰ Según iba creciendo su frustración, se embarcó en un rediseño que maximizaría su capacidad de vigilarlos y vigilar el sistema en general. Gracias a una visita de su hermano mayor, el filósofo utilitario Jeremy Bentham, la casa de inspección de Samuel se volvió la inspiración para el famoso panóptico, un diseño para una prisión modelo, con una torre de vigilancia desde la cual los guardias podían supervisar a los prisioneros en sus celdas.¹¹

Desde Vigilar y castigar, de Michel Foucault, se ha vuelto un lugar común considerar que la prisión es el origen de la sociedad de vigilancia actual, con el mayor de los Bentham como su progenitor ideológico. Pero, de hecho, la prisión panóptica debe su existencia al trabajo del menor de los Bentham, en el contexto de los primeros complejos industriales.¹² El panóptico nació como un mecanismo del lugar de trabajo, mucho antes de que se lo conceptualizara para usarse en las prisiones.

Si bien el trabajo de Samuel Bentham en las casas de inspección prácticamente ha desaparecido de nuestra memoria colectiva, la historia detrás sigue estando en nuestro léxico común. La casa de inspección era parte de una estrategia coordinada por el empleador de Bentham, el príncipe Potemkin, que buscaba ganarse el favor de la corte de Catalina la Grande demostrando su potencial para modernizar la Rusia rural y transformar al campesinado en una moderna mano de obra industrial. La casa de inspección fue construida para servir de espectáculo para los dignatarios y financieros visitantes, al igual que los llamados pueblos Potemkin, que eran poco más que fachadas decoradas, diseñadas para distraer a los observadores de los empobrecidos paisajes rurales, que habían sido ocultados discretamente.

Y esta es solo una de las genealogías. Muchas otras historias del trabajo dieron forma a estas prácticas de observación y control. Las colonias de plantaciones en las Américas usaban el trabajo forzado para mantener cultivos comerciales como el azúcar, y los dueños de esclavos dependían de los sistemas de vigilancia constante. Como ha descripto Nicholas Mirzoeff en El derecho a mirar, el supervisor, que vigilaba el flujo de producción en la plantación colonial, ocupaba un rol central en la economía de las plantaciones; su supervisión significaba ordenar el trabajo de los esclavos dentro de un sistema de violencia extrema.¹³ Como describió un plantador en 1814, la función del supervisor era “nunca permitir que el esclavo caiga en un instante de inacción; mantener la fabricación del azúcar bajo vigilancia, sin abandonar el trapiche en ningún momento”.¹⁴ Este régimen de supervisión también dependía de sobornar a algunos esclavos con comida y ropa para alistarlos como parte de una red extendida de vigilancia y para ayudar a mantener la disciplina y la velocidad del trabajo cuando el supervisor estuviera ocupado.¹⁵

Hoy en día, el papel del supervisor en el lugar de trabajo moderno es delegado principalmente a las tecnologías de vigilancia. La clase gerencial ocupa una amplia gama de tecnologías para vigilar a sus empleados, lo que incluye seguir sus movimientos con aplicaciones, analizar sus redes sociales, comparar sus patrones de respuesta a la hora de escribir correos electrónicos y agendar reuniones e inundarlos con sugerencias para que trabajen más rápido y eficientemente. Los datos de los empleados se usan para hacer predicciones sobre quién tiene más posibilidades de triunfar (de acuerdo con parámetros restringidos y cuantificables), quién podría estar alejándose de las metas de la empresa y quién podría estar organizándose con otros trabajadores. Algunos usan las técnicas de aprendizaje automático y otros sistemas algorítmicos más simples. A medida que la IA se vuelve más preponderante en el lugar de trabajo, a muchos de los sistemas más básicos de monitoreo y seguimiento se les están agregando nuevas capacidades predictivas, lo que los vuelve mecanismos cada vez más invasivos de gestión de trabajadores, control de activos y extracción de valores.

LA INTELIGENCIA ARTIFICIAL POTEMKIN Y LOS TURCOS MECÁNICOS

Uno de los hechos menos reconocidos de la IA es la cantidad de empleados mal remunerados que se necesitan para construir, mantener y poner a prueba dichos sistemas. Esta mano de obra invisible toma muchas formas: trabajos en la cadena de suministro, crowdsourcing [trabajos externalizados o tercerizados], así como los tradicionales trabajos de la industria de servicios. En todas las etapas del proceso de la IA, existen formas laborales de explotación desde el sector minero, en el que los recursos se extraen y transportan para crear el núcleo de la infraestructura de los sistemas de IA, hasta el lado del software, donde a la fuerza laboral repartida por el mundo se le paga una miseria por hacer microtareas. Mary Gray y Sid Suri se han referido a esa labor oculta como “trabajo fantasma”.¹⁶ Lilly Irani lo llama “automatización alimentada por humanos”.¹⁷ Estos académicos han llamado la atención sobre las experiencias de los trabajadores de crowdsourcing o de los microtrabajadores que efectúan las repetitivas tareas digitales que subyacen a los sistemas de IA (como etiquetar miles de horas de datos de entrenamiento y revisar contenidos sospechosos o dañinos). Los trabajadores realizan esas tareas repetitivas que respaldan las afirmaciones sobre la magia de la IA, pero rara vez reciben algún crédito por conseguir que los sistemas funcionen.¹⁸

Aunque este trabajo es esencial para sostener los sistemas de IA, por lo general está muy mal remunerado. Un estudio de la Organización Internacional del Trabajo de las Naciones Unidas entrevistó a tres mil quinientos trabajadores de crowdsourcing de 75 países que, con frecuencia, se ofrecían para trabajar en plataformas de tareas populares como Amazon Mechanical Turk, Figure Eight, Microworkers y Clickworker. El informe reportó que un número considerable de personas ganaba por debajo del salario mínimo de sus países, incluso cuando la mayoría de ellos tenía un alto nivel de educación, a menudo con especializaciones en ciencia y tecnología.¹⁹ Al mismo tiempo, también se les paga poco a aquellos que moderan contenidos (evaluando, para ser borrados, videos violentos, incitaciones al odio y formas de crueldad en línea). Como han demostrado los expertos en medios Sarah Roberts y Tarleton Gillespie, este tipo de trabajo puede causar formas duraderas de trauma psicológico.²⁰

Pero sin este tipo de trabajo, los sistemas de IA no funcionarían. La comunidad de investigación técnica de la IA depende de la mano de obra barata y externalizada para muchas tareas que las máquinas no pueden llevar a cabo. Entre 2008 y 2016, el término crowdsourcing pasó de aparecer en menos de mil artículos científicos a hacerlo en más de veinte mil; lo que tiene sentido, dado que Mechanical Turk se lanzó en 2005. Sin embargo, durante el mismo periodo de tiempo, se debatió muy poco acerca de las preguntas éticas que podían surgir al depender de una fuerza de trabajo a la que, por lo general, se le paga por debajo del salario mínimo.²¹

Por supuesto, existen fuertes incentivos para ignorar esa dependencia en la mano de obra mal remunerada alrededor del mundo. Todo el trabajo que hacen (desde etiquetar imágenes para sistemas de visión artificial hasta probar si un algoritmo está produciendo los resultados correctos) refina los sistemas de IA de forma mucho más rápida y barata, en especial comparado con pagarle a estudiantes para hacer estas tareas (como solía hacerse tradicionalmente). Por esta razón, se ha ignorado por lo general el tema y, como observó un equipo que investigaba el trabajo colaborativo externalizado, los clientes que usan estas plataformas “esperan que se completen trabajos sin supervisión, de forma barata y ‘sin roces’, como si la plataforma no fuera una interfaz para trabajadores humanos, sino una inmensa computadora sin gastos de manutención”.²² En otras palabras, los clientes tratan a los trabajadores humanos como si fueran poco más que máquinas, porque reconocer su trabajo y recompensarlo de manera justa volvería más cara y menos “eficiente” la IA.

A veces se les pide a los trabajadores que directamente finjan ser sistemas de IA. La startup del asistente personal x.ai aseguraba que su agente de IA, llamado Amy, podía “programar reuniones mágicamente” y manejar muchas tareas cotidianas mundanas. Pero una investigación detallada de Bloomberg, realizada por la periodista Ellen Huet, reveló que no se trataba en absoluto de una IA. Amy era revisada y reescrita cuidadosamente por un equipo de trabajadores contratados para realizar largos turnos. De forma similar, el asistente personal de Facebook, M, dependía de la intervención humana regular de un grupo de trabajadores a los que se les pagaba por revisar y editar cada uno de los mensajes.²³

Fingir ser una IA es un trabajo agotador. Los trabajadores de x.ai a veces realizaban turnos de catorce horas anotando correos electrónicos, para mantener la ilusión de que el servicio era automatizado y funcionaba las veinticuatro horas del día. Al terminar la noche, no podían irse hasta que no hubieran terminado con lo pendiente. “Me fui sintiendo completamente adormecido y carente de cualquier tipo de emoción”, le contó a Huet uno de los empleados.²⁴

Podríamos considerar esto una especie de IA Potemkin: poco más que fachadas, diseñadas para demostrarles a los inversionistas y los medios crédulos cómo se vería un sistema automatizado, que en realidad depende de la mano de obra humana que trabaja tras bambalinas.²⁵ Según una lectura amable, estas fachadas son ilustraciones de lo que el sistema podría ser capaz si se hiciera realidad o un “producto mínimo viable” diseñado para demostrar un concepto. Una lectura menos amable ve los sistemas de IA Potemkin como una forma de engaño perpetrado por proveedores de tecnología ávidos de hacerse de un pedazo en el lucrativo pastel del espacio tecnológico. Pero hasta que no se encuentre una manera de crear IA a gran escala sin el trabajo exhaustivo de humanos detrás de bambalinas, esta es la lógica central del funcionamiento de la IA.

La escritora Astra Taylor ha descripto este tipo de sobreventa de sistemas de alta tecnología que no están realmente automatizados como “fauxtomatización”.²⁶ Los sistemas automatizados realizan, en apariencia, un trabajo que antes han realizado seres humanos; de hecho, el sistema simplemente se ocupa de coordinar un trabajo humano que ocupa un segundo plano. Taylor menciona los ejemplos de los quioscos de autoservicio en los restaurantes de comida rápida y los sistemas de autopago en los supermercados, como lugares en los que el trabajo de un empleado parece haber sido remplazado por un sistema automatizado, cuando en realidad el trabajo de ingresar los datos simplemente ha sido reubicado, para pasar del empleado al cliente. Mientras tanto, muchos sistemas en línea que brindan decisiones aparentemente automatizadas, como la eliminación de entradas duplicadas o contenido ofensivo, en realidad son ejecutadas por seres humanos que están trabajando desde sus casas en una infinita lista de tareas mundanas.²⁷ Al igual que los pueblos decorados y los talleres modelo de Potemkin, muchos sistemas automatizados valiosos presentan una combinación de trabajadores digitales mal pagados y consumidores que realizan tareas no remuneradas para conseguir que los sistemas funcionen. Mientras tanto, las empresas buscan convencer a los inversionistas y al público general de que las máquinas inteligentes están haciendo el trabajo.

¿Qué está en juego con este artificio? Constantemente se minimizan y pasan por alto los verdaderos costos laborales de la IA, pero las fuerzas detrás de esta representación son más profundas que las meras artimañas del marketing. Son parte de una tradición de explotación y desprofesionalización en la que las personas deben hacer trabajos más tediosos y repetitivos para rellenar los sistemas automatizados y, así, obtener un resultado que puede ser menos efectivo o confiable que el remplazado. Pero este enfoque puede escalar, produciendo reducciones de costos y aumentos de los beneficios, mientras se oculta cuánto de ello depende de que los trabajadores remotos reciban salarios de subsistencia y descarguen tareas adicionales de mantenimiento o verificación en los consumidores.

La fauxtomatización no remplaza directamente la mano de obra humana. Más bien la reubica y dispersa en el espacio y el tiempo. Al hacerlo, aumenta la desconexión entre la mano de obra y el valor, cumpliendo de este modo con una función ideológica. Al ser alienados del resultado de su trabajo, los trabajadores, a la vez que desconectados de otros trabajadores que hacen el mismo trabajo, quedan expuestos a ser explotados con mayor facilidad por sus empleadores. Esto resulta evidente cuando se miran las tasas extremadamente bajas de compensación que reciben alrededor del mundo quienes trabajan en crowdsourcing.²⁸ Ellos y otros tipos de trabajadores de la fauxtomatización se enfrentan a una realidad extremadamente tangible; su trabajo es intercambiable por el de cualquiera de los miles de otros trabajadores que compiten con ellos para trabajar en esas plataformas. En cualquier momento pueden ser remplazados por otro colaborador, o posiblemente por un sistema más automatizado.

En 1770, el inventor húngaro Wolfgang von Kempelen hizo un complejo ajedrecista mecánico. Construyó un gabinete de madera y un mecanismo de relojería, detrás del cual se sentaba un hombre mecánico de tamaño natural que podía jugar ajedrez y ganarles a sus oponentes. Este extraordinario artilugio se mostró por primera vez en la corte de la emperatriz María Teresa de Austria y, luego, a dignatarios y ministros de gobierno visitantes que quedaron completamente convencidos de que se trataba de un autómata inteligente. Esta máquina realista estaba vestida con un turbante, pantalones anchos y una túnica con adornos de piel que le daban un aire de “hechicero oriental”.²⁹ Esta apariencia de carácter racial denotaba una otredad exótica, en una época en que las élites de Viena solían tomar café turco y vestir a sus sirvientes con ropajes turcos.³⁰ Se lo llegó a conocer como el turco mecánico. Pero el autómata jugador de ajedrez era una elaborada ilusión: escondía a un maestro de ajedrez humano dentro de una cámara interna que operaba la máquina desde adentro, completamente fuera del campo visual.

Unos doscientos cincuenta años después, el engaño sigue vivo. Amazon decidió nombrar Mechanical Turk a su plataforma de crowdsourcing basada en micropagos, a pesar de la asociación automática con el racismo y el engaño de la historia que inspira el nombre. En la plataforma de Amazon, los trabajadores reales permanecen fuera del campo visual para mantener la ilusión de que los sistemas de IA son autónomos e inteligentes por acto de magia.³¹ La motivación inicial de Amazon para construir Mechanical Turk surgió de los fallos de sus propios sistemas de IA, que no podían detectar adecuadamente las páginas de productos que estaban duplicadas en su tienda. Después de una serie de intentos fútiles y costosos para resolver el problema, los ingenieros del proyecto reclutaron seres humanos para llenar los vacíos de sus sistemas optimizados.³² Ahora Mechanical Turk conecta a las empresas con una masa invisible y anónima de trabajadores que compiten entre sí por la oportunidad de trabajar en una serie de microtareas. Mechanical Turk es un taller distribuido masivamente en el que los humanos emulan y mejoran sistemas de IA revisando y corrigiendo procesos algorítmicos. Es lo que el director ejecutivo de Amazon, Jeff Bezos, llama desvergonzadamente “inteligencia artificial artificial”.³³

Estos ejemplos de IA Potemkin están por todas partes. Algunos son evidentes: cuando vemos esos autos de última generación que se manejan solos por la calle, también vemos un conductor en el asiento del piloto, listo para tomar el control del vehículo a la primera señal de peligro. Otros son menos notorios, como cuando interactuamos con una interfaz de chat en línea. Solo nos relacionamos con fachadas que encubren su funcionamiento interno, diseñadas para esconder las distintas combinaciones de trabajo mecanizado y humano en cada interacción. No se nos informa si estamos recibiendo una respuesta del sistema mismo o de un operador humano pagado para responder en su lugar.

Si existe una incertidumbre creciente respecto a si estamos interactuando con un sistema de IA o no, el sentimiento es mutuo. En una paradoja que muchos de nosotros hemos experimentado, y para probar de manera ostensible una verdadera identidad humana a la hora de leer una página web, tenemos que convencer al reCAPTCHA de Google de nuestra humanidad. Para ello seleccionamos diligentemente múltiples casillas que contienen números de calles o autos o casas. Estamos entrenando los algoritmos de reconocimiento de imágenes de Google de forma gratuita. Una vez más, el mito de que la IA es asequible y eficiente depende de capas de explotación, incluida la extracción de mano de obra masiva no remunerada para ajustar los sistemas de IA de las compañías más ricas del mundo.

Las formas contemporáneas de la IA no son ni artificiales ni inteligentes. En cambio, lo que podemos —y debemos— hacer es hablar del duro trabajo físico de los mineros, del trabajo repetitivo en la línea de montaje de las fábricas, del trabajo cibernético en los talleres cognitivos clandestinos de programadores externos, del trabajo mal remunerado en Mechanical Turk, de los trabajadores contratados por medio de crowdsourcing y del trabajo inmaterial no pagado de los usuarios diarios. Estos son los lugares en los que podemos ver que la computación planetaria depende de la explotación de la mano de obra a lo largo de toda la cadena de suministros de extracción.

VISIONES DE DESENSAMBLE Y AUTOMATIZACIÓN DEL LUGAR DE TRABAJO: BABBAGE, FORD Y TAYLOR

Charles Babbage es conocido como el inventor de la primera computadora mecánica. En la década de 1820, desarrolló la idea para la máquina diferencial, una calculadora mecánica diseñada para generar tablas matemáticas y astronómicas en una fracción del tiempo que tomaba calcularlas a mano. Para los años treinta, tenía un diseño conceptual viable para la máquina analítica, una computadora mecánica programable de uso general que poseía un sistema de tarjetas perforadas para proporcionarle instrucciones.³⁴

Babbage también tenía un gran interés por el liberalismo y escribió extensamente sobre la naturaleza del trabajo, la combinación de sus intereses en la computación y la automatización de los trabajadores. Siguiendo a Adam Smith, se dio cuenta de que la división del trabajo era un medio para optimizar el trabajo en las fábricas y generar eficiencia. Fue más allá, sin embargo, al argumentar que una empresa industrial podía verse como análoga a un sistema computacional. Al igual que una computadora, incluía múltiples unidades especializadas que desarrollaban tareas particulares, todas coordinadas para producir un resultado determinado, pero ocultando el trabajo por el proceso como conjunto.

En sus escritos más especulativos, Babbage se imaginó el trabajo fluyendo de manera perfecta a través de un sistema que podría visualizarse con tablas de datos, monitoreado por podómetros y relojes repetidores.³⁵ Argumentó que, por medio de una combinación de computación, vigilancia y disciplina de trabajo, sería posible imponer grados de eficiencia y control de calidad aún mayores.³⁶ Una visión extrañamente profética. Ha sido solo en años muy recientes, con la adopción de la IA en el lugar de trabajo, que los inusuales objetivos dobles de Babbage, de la computación y la automatización de los trabajadores, se han podido implementar a escala.

El pensamiento económico de Babbage provenía de Smith, pero divergía significativamente en un aspecto. Para Smith, el valor económico de un objeto se entendía en relación con el costo de la mano de obra que se requería para producirlo. En el modelo de Babbage, sin embargo, el valor en una fábrica derivaba de la inversión hecha en el diseño del proceso de fabricación más que de la fuerza laboral de sus empleados. La verdadera innovación yacía en el proceso logístico, mientras que los trabajadores simplemente realizaban las tareas definidas para ellos y operaban las máquinas siguiendo instrucciones.

Para Babbage, el papel de la mano de obra en la cadena de producción era en gran medida negativo: los trabajadores podían no cumplir con sus tareas en los tiempos prescritos por las máquinas de precisión que operaban, ya fuera por mala disciplina, lesiones, ausentismo o actos de resistencia. Como ha anotado el historiador Simon Schaffer, “[b]ajo la mirada de Babbage, las fábricas tenían la apariencia de máquinas perfectas y las calculadoras, la de computadoras perfectas. La fuerza laboral podía ser una fuente de problemas (podía hacer que fallaran las tablas o que fracasaran las fábricas), pero no podía ser vista como una fuente de valor”.³⁷ La fábrica se concebía como una calculadora racional con una sola debilidad: su frágil y poco confiable fuerza laboral humana.

La teoría de Babbage estaba, por supuesto, fuertemente influida por un tipo de liberalismo financiero que lo hacía ver la mano de obra como un problema que había que contener por medio de la automatización. No se pensaba demasiado en los costos humanos de esta automatización o en si esta automatización podía utilizarse para mejorar las vidas de los obreros de las fábricas. En cambio, la maquinaria idealizada de Babbage pretendía principalmente maximizar los retornos financieros para los dueños de las fábricas y sus inversores. De manera similar, hoy en día los defensores de la IA en el lugar de trabajo presentan una visión de la producción que prioriza la eficiencia, la reducción de costos y el aumento de las ganancias, en vez de, por ejemplo, ayudar a los empleados remplazando el trabajo pesado y repetitivo. Como argumenta Astra Taylor, “el tipo de eficiencia al que aspiran los tecno-evangelistas pone énfasis en la estandarización, la simplificación y la velocidad, no en la diversidad ni la complejidad o la interdependencia”.³⁸ Esto no debería sorprendernos: es la conclusión lógica y necesaria para el modelo comercial estándar de cualquier empresa con fines de lucro, donde la mayor responsabilidad se tiene con los accionistas. Estamos viviendo el resultado de un sistema en el que las compañías deben extraer todo el valor posible. Mientras tanto, el 94% de todos los trabajos creados en Estados Unidos entre los años 2005 y 2015 fueron para “trabajos alternativos”, es decir, aquellos que quedan fuera de la categoría de empleo asalariado y de tiempo completo.³⁹ Mientras las compañías cosechan los beneficios de aumentar la automatización, la gente trabaja en promedio más horas, en más trabajos, por menos dinero y sin tener seguridad laboral.

EL MERCADO DE LA CARNE

Una de las primeras industrias en adoptar el tipo de línea de producción mecanizada que había imaginado Babbage fue la industria procesadora de carne de Chicago en la década de 1870. Los trenes llevaban el ganado directo a las puertas del matadero; los animales eran encauzados hacia su matanza en plantas adyacentes y los cadáveres eran transportados a diversas estaciones de despiece y procesamiento por medio de un sistema mecanizado de carros elevados, formando lo que llegaría a ser conocido como línea de desensamble. Los productos resultantes podían ser enviados a mercados lejanos en vagones refrigerados diseñados especialmente para ello.⁴⁰ El historiador laborista Harry Braverman señala que los mataderos de Chicago llevaron a cabo tan al pie de la letra la visión sobre la automatización y la división del trabajo de Babbage que las técnicas humanas requeridas en cualquier punto de la línea de desensamble podían ser realizadas por prácticamente cualquier persona.⁴¹ A los trabajadores poco calificados se les podía pagar lo mínimo y remplazarlos ante cualquier adversidad, lo que los convertía, de este modo, en productos tan mercantilizados como las carnes empaquetadas que producían.

Cuando Upton Sinclair escribió La jungla, su desgarradora novela sobre la pobreza de la clase obrera, la ambientó en las plantas procesadoras de carne de Chicago. Aunque su intención era subrayar las dificultades de los trabajadores inmigrantes, buscando apoyar una visión política socialista, el libro tuvo un efecto completamente distinto. Las descripciones de la carne en mal estado provocaron protestas generalizadas sobre la higiene de los alimentos, lo que resultó en la aprobación de la ley de Inspección de Carnes en 1906. Pero el foco sobre los trabajadores fue ignorado. Algunas instituciones poderosas, desde la industria procesadora de la carne hasta el Congreso, estaban preparadas para mejorar los métodos de producción, pero ni siquiera se les pasaba por la cabeza abordar las más básicas dinámicas laborales explotadoras que apuntalaban todo el sistema. La persistencia de este patrón subraya la manera que tiene el poder de responder a la crítica: ya sea que el producto sean cadáveres de vacas o reconocimiento facial, la respuesta es aceptar regulaciones en los márgenes, pero no tocar la lógica subyacente a la producción.

Preparación de carne de vaca Armour, 1952. Cortesía de Chicago Historical Society.

Otras dos figuras cobran importancia en la historia de la automatización del lugar de trabajo: Henry Ford, cuya cadena de montaje en movimiento de principios del siglo XX se inspiró en las líneas de desensamble de Chicago, y Frederick Winslow Taylor, el fundador de la administración científica. Taylor construyó una carrera en los últimos años del siglo XIX desarrollando un acercamiento sistemático a la administración del lugar del trabajo que se centraba en los movimientos de los cuerpos de los trabajadores por minuto. Mientras que la noción de división del trabajo de Smith y Babbage pretendía proporcionar una manera de distribuir el trabajo entre las personas y las herramientas, Taylor estrechó su enfoque para incluir subdivisiones microscópicas de las acciones de cada trabajador.

Al ser la tecnología más moderna para marcar con precisión el paso del tiempo, el cronómetro se volvió un instrumento clave para vigilar el lugar de trabajo, tanto para los supervisores de planta como para los ingenieros de producción. Taylor usó cronómetros para llevar a cabo estudios sobre los obreros, en los que se incluían informes detallados sobre el tiempo que empleaban en realizar los movimientos elementales que cada tarea requería. Sus principios de administración científica establecían un sistema para cuantificar los movimientos de los cuerpos de los obreros, con miras a derivar de ello una disposición eficientemente óptima de las herramientas y los procesos del trabajo. El objetivo era una máxima producción a un costo mínimo.⁴² Ejemplificaba la descripción de Marx sobre el dominio del tiempo del reloj: “El tiempo lo es todo, el hombre no es nada; es, a lo sumo, el esqueleto del tiempo”.⁴³

Foxconn, la empresa más grande de fabricación de productos electrónicos en el mundo, responsable de la construcción de los iPhones y los iPads de Apple, es un claro ejemplo de que los trabajadores pueden ser reducidos a meros cuerpos animales que realizan tareas controladas muy de cerca. Foxconn cobró notoriedad por sus rígidos y militaristas protocolos de gestión después de una serie de suicidios en 2010.⁴⁴ Solo dos años después, el presidente de la compañía, Terry Gou, describía a su más de un millón de empleados de este modo: “Los seres humanos también son animales, y gestionar a un millón de animales produce dolor de cabeza”.⁴⁵

Controlar el tiempo se ha vuelto otra manera de gestionar cuerpos. En las industrias de servicios y comida rápida, se cuentan hasta los segundos. Los trabajadores que cocinan hamburguesas en la línea de montaje de McDonald’s son evaluados por cumplir con metas como cinco segundos para procesar los pedidos hechos en la ventanilla, veintidós para armar un sándwich y catorce para envolver la comida.⁴⁶ Adherirse estrictamente a estos plazos disminuye el margen de error del sistema. El más ligero retraso (un cliente que se demora demasiado en hacer su pedido, una máquina de hacer café que falla, un trabajador que falta al trabajo por estar enfermo) puede resultar en una cascada de retrasos, sonidos de advertencia y notificaciones de la administración.

Incluso antes de que los trabajadores de McDonald’s se pongan frente a la línea de montaje, su tiempo ya es gestionado y monitoreado. Un sistema algorítmico de planificación, que incorpora datos históricos y modelos de predicción de los pedidos, determina la asignación de turnos, lo que a su vez resulta en horarios de trabajo que pueden variar de semana a semana e incluso de un día para otro. Una demanda colectiva interpuesta en 2014 contra los locales de McDonald’s en California indicaba que las franquicias estaban dirigidas por un software que hacía predicciones algorítmicas respecto a la proporción de empleados y ventas, e instruía a los gerentes a reducir el personal rápidamente cuando la demanda bajaba.⁴⁷ Los empleados informaron que se les dijo que no marcaran tarjeta y que, en cambio, se mantuvieran cerca del local, listos para regresar al trabajo en caso de que llegaran más clientes. Debido a que solo se les paga a los empleados por el tiempo fichado, la demanda alegaba que esta práctica significaba un robo del salario por parte de la compañía y sus franquicias.⁴⁸

Las asignaciones de tiempo que se determinan a partir de algoritmos pueden variar, desde turnos extremadamente cortos de una hora o menos hasta muy largos durante las horas pico, dependiendo de su rentabilidad. El algoritmo no considera los costos humanos de tener que esperar o llegar a trabajar solo para ser enviado de vuelta a casa ni tampoco lo que conlleva la incapacidad de predecir el propio horario y planear la vida propia. Este robo del tiempo ayuda a la eficiencia de la compañía, pero con un costo directo para los empleados.

GESTIONAR EL TIEMPO, PRIVATIZAR EL TIEMPO

El empresario de la comida rápida Ray Kroc, que ayudó a transformar McDonald’s en una franquicia global, se sumó al linaje de Smith, Babbage, Taylor y Ford al diseñar la cadena estándar de montaje de sándwiches y obligar a sus trabajadores a seguirla sin pensarlo. La vigilancia, la estandarización y la reducción de la destreza individual eran centrales para el método de Kroc. Como los investigadores laboristas Claire Mayhew y Michael Quinlan han sostenido en relación con el proceso de estandarización de McDonald’s,

el sistema de gestión fordista documentaba el trabajo y las tareas de producción hasta el detalle más minúsculo. Requería una participación continua y bien documentada, e implicaba un control detallado del proceso de trabajo de cada individuo. Prácticamente la totalidad del trabajo conceptual se eliminó de la ejecución de tareas.⁴⁹

Dentro de la fábrica Ford, minimizar el tiempo empleado en cada estación, o tiempo de ciclo, se volvió objeto de intenso escrutinio, con los ingenieros subdividiendo cada tarea en pedazos cada vez más pequeños para que pudieran optimizarse y automatizarse, y los supervisores disciplinando a los trabajadores cada vez que se atrasaban. A menudo, se veía a los supervisores, incluso al mismo Henry Ford, caminando a lo largo de la fábrica, cronómetro en mano, registrando los tiempos de ciclo y anotando cualquier discrepancia en la productividad de una estación.⁵⁰

Ahora los empleadores pueden vigilar pasivamente a su fuerza de trabajo sin tener que caminar por la fábrica. En su lugar, los trabajadores registran sus propios turnos deslizando tarjetas de acceso o poniendo sus huellas dactilares encima de unos lectores adjuntos a relojes electrónicos que controlan su asistencia. Trabajan frente a dispositivos de cronometraje que les indican cuántos minutos o segundos les quedan para realizar su tarea actual antes de que un supervisor sea notificado. Se sientan en estaciones de trabajo equipadas con sensores que están continuamente reportando su temperatura corporal, la distancia física que los separa de sus colegas, la cantidad de tiempo que emplean navegando por Internet en vez de realizar sus tareas asignadas, etc. WeWork, el gigante del trabajo cooperativo que se quemó a sí mismo en el transcurso de 2019, equipó silenciosamente sus espacios de trabajo con dispositivos de vigilancia con el fin de monetizar sus datos. La adquisición que hizo ese mismo año de Euclid, la startup de análisis espacial, generó inquietud cuando se sugirió que buscaban rastrear a sus miembros mientras estos estuvieran en sus instalaciones.⁵¹ Domino’s Pizza ha agregado sistemas de visión artificial en sus cocinas que inspeccionan las pizzas terminadas para asegurarse de que el personal las haya preparado siguiendo los estándares prescriptos.⁵² A los aparatos de vigilancia se los justifica porque producen entradas para los sistemas de planificación algorítmicos que regulan todavía más el horario laboral, recopilan señales de comportamiento que pueden correlacionarse con signos de alto o bajo rendimiento o simplemente se venden a agentes de datos como un tipo de información.

En su ensayo “How Silicon Valley Sets Time”, la profesora de sociología Judy Wajcman argumenta que las metas de las herramientas que monitorean el tiempo y la composición demográfica de Silicon Valley no son coincidencia.⁵³ La élite de la fuerza laboral de Silicon Valley “es incluso más joven, más masculina y está todavía más comprometida a trabajar a toda hora”, a la vez que crea herramientas de productividad basadas en una especie de carrera despiadada hacia la máxima eficiencia, en la que el ganador se lleva todo.⁵⁴ Esto quiere decir que algunos ingenieros jóvenes, en su mayoría hombres y a menudo libres de responsabilidades familiares o comunitarias, están construyendo las herramientas con las que se vigilarán lugares de trabajo muy distintos entre sí, cuantificando la productividad y la conveniencia de los empleados. La adicción al trabajo y un horario incesante, a menudo glorificados por las nuevas empresas tecnológicas, se vuelven el punto de referencia implícito con el que se mide a los empleados, lo que produce una visión estándar del trabajador que es masculinizada y estrecha, y depende del trabajo no remunerado o mal remunerado de otros.

TIEMPO PRIVADO

La coordinación del tiempo se ha vuelto aún más granular en las formas tecnológicas que gestionan los lugares de trabajo. Por ejemplo, el protocolo de producción automatizada [manufacturing automation protocol (MAP)] de la General Motors respondía a un temprano intento por proporcionar soluciones estándares a los problemas de siempre a la hora de coordinar robots productores, incluida la sincronización de relojes.⁵⁵ A su debido tiempo, surgieron protocolos de tiempo más genéricos que podían enviarse a través de las redes de ethernet y TCP/IP, como el protocolo de tiempo de red [network time protocol (NTP)] y más tarde el protocolo de tiempo de precisión [precision time protocol (PTP)], cada uno de los cuales generó una variedad de implementaciones que competían a lo largo de varios sistemas operativos. Tanto el NTP como el PTP funcionan estableciendo una jerarquía de relojes a lo largo de una red, con un reloj “maestro” dirigiendo a los relojes “esclavos”.

En la ingeniería y el cálculo abunda la metáfora maestro-esclavo. Uno de sus primeros usos se remonta a 1904, para describir los relojes astronómicos en un observatorio de Ciudad del Cabo.⁵⁶ Pero la terminología recién se extendió en la década de 1960, sobre todo después de empezar a usarse en la computación, con el sistema de tiempo compartido de Dartmouth. Siguiendo una sugerencia de John McCarthy, uno de los primeros fundadores de la IA, los matemáticos John Kemeny y Thomas Kurtz desarrollaron un programa de tiempo compartido para acceder a los recursos computacionales. Como escribieron en la revista Science en 1968:

En primer lugar, la computación de todos los usuarios se lleva a cabo en la computadora esclava, mientras que el programa ejecutivo (el “cerebro” del sistema) reside en la computadora maestra. Es, por lo tanto, imposible que un programa de usuario erróneo o fuera de control “dañe” el programa ejecutivo y detenga todo el sistema.⁵⁷

Esta problemática inferencia (que el control es equivalente a la inteligencia) seguiría delineando el campo de la IA durante décadas. Y, como Ron Eglash ha señalado, la forma en que ha sido redactada recuerda al discurso anterior a la guerra civil sobre los esclavos fugitivos.⁵⁸

Muchos han considerado ofensiva la terminología maestro-esclavo y ha sido removida de Python, un lenguaje de programación que se aplica a menudo en el aprendizaje automático, y de Github, una plataforma de desarrollo de software. Pero se mantiene en una de las infraestructuras computacionales más extensas del mundo. El Cloud Spanner de Google, así llamado porque abarca todo el planeta,* es una base de datos masiva, distribuida globalmente y con replicación sincrónica. Es la infraestructura en la que se ejecutan Gmail, el buscador, la publicidad y todos los servicios de distribución de Google.

A esta escala, funcionando en todo el mundo, Spanner sincroniza el tiempo a lo largo de millones de servidores en cientos de centros de datos. Cada centro de datos tiene una unidad “maestra del tiempo” que está siempre recibiendo la hora del GPS. Pero, debido a que los servidores estaban siempre sondeando una variedad de relojes maestros, solía haber una latencia en la red y una desviación en el reloj. ¿Cómo resolver esta incertidumbre? La respuesta fue crear un nuevo protocolo de tiempo distribuido, una forma registrada del tiempo, de manera que todos los servidores pudieran estar sincronizados independientemente de dónde estuvieran en el planeta. Google nombró a este nuevo protocolo, sin ironía, TrueTime [tiempo real].

TrueTime es un protocolo de tiempo distribuido que funciona estableciendo relaciones de confianza entre los relojes locales de los centros de datos, de manera tal que ellos decidan con qué pares sincronizarse. Al beneficiarse de una cantidad lo suficientemente grande de relojes confiables, incluidos receptores GPS y relojes atómicos, que brindan un grado muy alto de precisión, y de unos niveles de latencia de red lo suficientemente bajos, TrueTime permite que un conjunto de servidores distribuidos garantice que los eventos ocurran en una secuencia determinada a través de una red de área amplia.⁵⁹

Lo más llamativo de este sistema de tiempo privatizado de Google es la forma en que TrueTime gestiona la incertidumbre cuando un reloj se atrasa en algún servidor individual. “Si la incertidumbre es grande, Spanner reduce la velocidad para esperar a que se termine”, explican los investigadores de Google.⁶⁰ Esto encarna la fantasía de lentificar el tiempo, de moverlo a voluntad y poner al planeta entero bajo un único código registrado del tiempo. Si pensamos en la experiencia humana del tiempo como algo cambiante y subjetivo, que se mueve más rápido o más lento dependiendo de dónde estamos y con quién, entonces se trata de una experiencia social del tiempo. TrueTime sería, entonces, la capacidad de crear un marco temporal cambiante bajo el control de un reloj maestro centralizado. Al igual que Isaac Newton se imaginó una forma absoluta del tiempo que existía independientemente de quien lo percibiera, Google ha inventado su propia forma de tiempo universal.

Durante muchos años, se han utilizado las formas patentadas del tiempo para que las máquinas funcionen con mayor eficacia. Los magnates de los ferrocarriles en el siglo XIX tenían sus propias formas del tiempo. En la Nueva Inglaterra de 1849, por ejemplo, todos los trenes debían adoptar “el tiempo real de Boston, como lo indica William Bond & Son, en el número 26 de la calle Congress”.⁶¹ Como ha documentado Peter Galison, a los ejecutivos de los ferrocarriles no les gustaba tener que cambiar horario cuando sus trenes viajaban a otros estados; de hecho, el gerente general de la compañía de ferrocarriles New York & New England calificó el cambio a otros horarios como “una molestia y un gran inconveniente, que no sirve de nada, que yo sepa”.⁶² Pero después de que un choque frontal de trenes matara a 14 personas en 1853, hubo una presión inmensa para que coordinaran todos los relojes a partir de la nueva tecnología del telégrafo.

Al igual que la IA, el telégrafo fue aclamado como una tecnología unificadora que expandiría el potencial humano. En 1889, lord Salisbury se jactó de que el telégrafo había “reunido a toda la humanidad sobre un gran plano”.⁶³ Las empresas, los gobiernos y los ejércitos usaron el telégrafo para compilar el tiempo en un diseño más coherente, borrando las formas más locales de precisión. Y el telégrafo fue dominado por uno de los primeros grandes monopolios industriales, Western Union. El teórico de las comunicaciones James Carey sostiene que el telégrafo, además de alterar los límites temporales y espaciales de la interacción humana, permitió una nueva forma de capitalismo monopólico, “un nuevo conjunto de leyes, teoría económica, disposiciones políticas, técnicas de gestión, estructuras organizativas y bases científicas con las cuales justificar y hacer efectivo el desarrollo de una corporación privada monopólica”.⁶⁴ Si bien esta interpretación implica un tipo de determinismo tecnológico, pues considera una serie de desarrollos complejos, es justo afirmar que el telégrafo, junto con el cableado transatlántico, permitió a los poderes imperiales mantener un control centralizado de sus colonias.

El telégrafo hizo del tiempo el foco central del comercio. Los comerciantes, en vez de explotar la diferencia de precios entre las regiones comprando barato y vendiendo caro, ahora comerciaban entre zonas horarias; en palabras de Carey, se trató de un giro del espacio al tiempo, de las intermediaciones financieras a los futuros.⁶⁵ Las zonas horarias privatizadas de los centros de datos son tan solo el último ejemplo. El ordenamiento infraestructural del tiempo actúa como una especie de “macrofísica del poder”, determinando una nueva lógica de la información a nivel planetario.⁶⁶ Semejante poder es, por necesidad, centralizador y crea órdenes de significado que son extremadamente difíciles de ver, mucho más de alterar.

El desafío al tiempo centralizado es parte vital de esta historia. En la década de 1930, cuando Ford quería tener más control sobre su cadena global de suministros, puso una plantación de caucho y una planta de procesamiento en las profundidades de la selva brasileña, en un pueblo que llamó Fordlandia. Contrató a obreros locales para procesar el caucho antes de mandarlo de vuelta a Detroit, pero sus intentos por imponer a la población local su proceso de fabricación estrictamente controlado fracasaron. Los trabajadores se alzaron y rompieron los relojes de fichaje de la fábrica, y destruyeron los dispositivos que se usaban para rastrear la entrada y salida de cada trabajador de la planta.

Otros tipos de insurgencia se han centrado en añadir fricción al proceso de trabajo. El anarquista francés Émile Pouget usaba el término “sabotaje” para referirse al equivalente de un “vayan lento” en la planta de la fábrica, cuando los trabajadores reducían intencionalmente su ritmo de trabajo.⁶⁷ El objetivo era disminuir la eficiencia, lo que reducía el valor del tiempo como moneda. Aunque siempre habrá maneras de resistirse frente a la temporalidad impuesta del trabajo, con las nuevas formas de vigilancia algorítmica y vigilancia por video, esto se vuelve mucho más difícil, ya que la relación entre trabajo y tiempo es observada cada vez más de cerca.

Definir el tiempo es una estrategia establecida para centralizar el poder, desde las puntillosas modulaciones del tiempo dentro de las fábricas hasta las grandes modulaciones de las redes de computación planetaria. Los sistemas de IA han permitido una mayor explotación de la mano de obra distribuida a lo largo del mundo para aprovecharse de las topologías económicas desiguales. Al mismo tiempo, el sector tecnológico está creando para sí mismo un terreno de tiempo global tranquilo para fortalecer y acelerar sus objetivos comerciales. Controlar el tiempo, ya sea a través de los relojes de las iglesias, los trenes o los centros de datos, siempre ha tenido una función de controlar el orden político. Pero esta batalla por el control nunca ha sido tranquila y es un conflicto de largo alcance. Los trabajadores han descubierto maneras de intervenir y resistir, incluso cuando se les impusieron los desarrollos tecnológicos o estos se les presentaron como mejoras deseables, en particular cuando las mejoras se destinaban únicamente a aumentar la vigilancia y el control de la compañía.

FIJAR EL RITMO

Amazon hace todo lo posible por controlar lo que el público puede ver cuando entra a uno de sus centros logísticos. Se nos informa sobre el salario mínimo de 15 dólares la hora y de las ventajas para los empleados que consiguen durar más de un año; se nos muestran salas de descanso intensamente iluminadas, cuyas paredes están adornadas con lemas corporativos orwellianos: “Frugalidad”, “Gánate la confianza de los demás” y “Predispuestos a la acción”. En cada parada predeterminada, el guía oficial de Amazon nos explica alegremente lo que está sucediendo por medio de historias ya ensayadas. Responde con cuidado a las preguntas sobre las condiciones de trabajo para dar una imagen lo más positiva posible. Pero hay señales de infelicidad y disfunción que son mucho más difíciles de gestionar.

En el piso de recolección, donde los socios tienen que recoger los contenedores grises llenos de compras que hay que despachar, las pizarras muestran las huellas de reuniones recientes. En una se ven múltiples quejas sobre lo alto que se apilan los contenedores, con el consiguiente dolor y lesiones que causa tener que estirarse constantemente para alcanzarlos. Cuando se le pregunta al respecto, el guía de Amazon responde con rapidez que se bajó la altura de la cinta transportadora en secciones clave, lo que ven como un éxito: se registró una queja y se está haciendo algo al respecto. El guía aprovecha esta oportunidad para explicarnos por segunda vez que esta es la razón por la que los sindicatos son innecesarios en este lugar, ya que “los asociados tienen muchas oportunidades para interactuar en persona con sus supervisores”, y la sindicalización solo sirve para interferir con la comunicación.⁶⁸

Reloj de fichaje de Fordlandia, destruido en los disturbios de diciembre de 1930. Fotografía de la colección de Henry Ford.

Sin embargo, saliendo de la fábrica, paso junto a una transmisión en vivo, en una pantalla gigante, de mensajes escritos por los empleados, con un letrero que dice: “La voz de los asociados”. Estos mensajes resultan mucho menos edulcorados. Se suceden rápidamente, con quejas sobre cambios de horario arbitrarios, la imposibilidad de agendar vacaciones cerca de las festividades y el haberse perdido cumpleaños y eventos familiares. Las respuestas trilladas de la gerencia se asemejan a distintas versiones de “valoramos tus comentarios”.

“Ya es suficiente. Amazon, queremos que nos trates como seres humanos y no como robots.”⁶⁹ Estas son las palabras de Abdi Muse, director ejecutivo del Awood Center de Mineápolis, una organización comunitaria que aboga por las condiciones laborales de las poblaciones de África Oriental en Minnesota. Muse es un hombre tranquilo, que defiende a los trabajadores de los centros de Amazon que buscan mejores condiciones de trabajo. Muchos de los trabajadores de su comunidad han sido contratados por Amazon, que los reclutó activamente e incluso les agregó alicientes, como transporte gratis al trabajo.

Lo que Amazon no les contó fue “el ritmo”: la métrica de productividad de los trabajadores que impulsa a los centros logísticos, y que rápidamente se volvió insostenible y, según Muse, inhumana. Los trabajadores comenzaron a sufrir mucho estrés, lesiones y enfermedades. Muse explicó que, si su ritmo bajaba tres veces, serían despedidos sin importar cuánto tiempo hubieran trabajado en el centro. Los empleados mencionaban haber tenido que saltarse las pausas para ir al baño por miedo a bajar su rendimiento.

Pero el día en que nos conocimos, Muse estaba optimista. A pesar de que Amazon se opone explícitamente a los sindicatos, grupos informales de trabajadores estaban surgiendo a lo largo de Estados Unidos organizando protestas. Sonrió ampliamente mientras informaba que haberse organizado estaba empezando a dar frutos, a tener un impacto. “Algo increíble está sucediendo —me contó—. Mañana un grupo de trabajadoras de Amazon hará un paro. Es un grupo muy valiente de mujeres; ellas son las verdaderas heroínas”.⁷⁰ En efecto, esa noche aproximadamente sesenta trabajadoras de depósito se declararon en huelga en un centro de entregas en Eagan, Minnesota, con los chalecos amarillos que tienen que usar obligatoriamente en su trabajo puestos. Eran en su mayoría mujeres de ascendencia somalí y llevaban carteles bajo la lluvia pidiendo aumentos salariales para los turnos de noche y restricciones de peso en las cajas.⁷¹ Tan solo unos días antes, los trabajadores de Amazon en Sacramento, California, habían protestado por el despido de una trabajadora que había llegado una hora después de que caducara su licencia por duelo tras la muerte de un familiar. Dos semanas antes de eso, más de mil empleados de Amazon protagonizaron la primera huelga de trabajadores de cuello blanco en la historia de la compañía para protestar por la enorme huella de carbono de la empresa.

Eventualmente, los representantes de Amazon en Minnesota se sentaron a la mesa. Estaban felices de discutir muchos temas, exceptuando “el ritmo”. “Nos dijeron: olvídense de eso —recuerda Muse—. Podemos hablar de otros asuntos, pero el ritmo es nuestro modelo de negocio. No podemos cambiarlo”.⁷² Los trabajadores amenazaron con dejar la mesa, pero aun así Amazon no cedió. Para las dos partes el tema central era “el ritmo”, pero también era el más difícil de modificar. A diferencia de otras controversias locales laborales en las que los supervisores de planta son capaces de hacer concesiones, el ritmo aquí estaba fijado con base en lo que los ejecutivos y los trabajadores tecnológicos habían decidido en Seattle, a mucha distancia del centro, y era lo que la infraestructura computacional de distribución de Amazon estaba programada para optimizar. Si los centros logísticos locales no estuvieran sincronizados, los tiempos de entrega de Amazon se verían amenazados. Los trabajadores y organizadores han comenzado a darse cuenta de que este es el verdadero problema. En consecuencia, están cambiando su enfoque para construir un movimiento que abarque distintas fábricas y sectores de la fuerza laboral de Amazon y así abordar los temas fundamentales del poder y la centralización que representan este “ritmo” implacable.

Como hemos visto, estas luchas en torno a la soberanía del tiempo tienen una historia. El monitoreo algorítmico y de la IA son tan solo las últimas tecnologías en un largo desarrollo histórico de fábricas, relojes y arquitectura de vigilancia. Ahora muchos más sectores, desde los conductores de Uber y los trabajadores de los centros de distribución de Amazon hasta los muy bien remunerados ingenieros de Google, se sienten partícipes de esta pelea conjunta. Esto lo expresó con firmeza el director ejecutivo de la Alianza de Taxistas de Nueva York, Bhairavi Desai, en los siguientes términos: “Los trabajadores siempre saben. Están allá afuera, solidarizándose entre sí, en los semáforos o en los restaurantes o en las colas de hotel, porque saben que para prosperar tienen que trabajar juntos”.⁷³ La explotación de los trabajadores por medio de la tecnología es un problema generalizado en muchas industrias. Los trabajadores están peleando contra la lógica de la producción y el orden del tiempo en que deben trabajar. Las estructuras de los horarios nunca son completamente inhumanas, pero se mantienen justo al límite de lo que la mayoría de las personas puede soportar.

Cuando se trata de organización laboral, la solidaridad a través de diversos sectores no es nada nuevo. Muchos movimientos, como aquellos liderados por los sindicatos tradicionales, han conectado a trabajadores de distintas industrias para conseguir victorias, como el pago de horas extra, la seguridad laboral, la licencia por maternidad y los fines de semana. Pero el apoyo entre distintos sectores se ha vuelto más difícil a medida que los poderosos grupos de presión empresariales y los gobiernos neoliberales han socavado, durante las últimas décadas, los derechos laborales y de protección, además de limitar las vías para la organización y la comunicación entre los trabajadores.⁷⁴ Ahora los sistemas de extracción y vigilancia impulsados por la IA se han vuelto un epicentro compartido por el que las organizaciones laborales pueden luchar como un frente unido.⁷⁵

“Todos somos trabajadores tecnológicos” se ha vuelto una pancarta usual en las protestas relacionadas con la tecnología, que portan por igual por programadores, conserjes, trabajadores de cafeterías e ingenieros.⁷⁶ Se puede entender de distintas maneras: exige que el sector tecnológico reconozca la amplia fuerza laboral de la que se nutre para que sus productos, infraestructuras y lugares de trabajo funcionen. También nos recuerda que muchos trabajadores usan computadoras portátiles y dispositivos móviles para trabajar, participan en plataformas como Facebook o Slack y están sujetos a formas de sistemas de IA para la estandarización, el monitoreo y la evaluación en el lugar de trabajo. Esto ha preparado el escenario para una forma de solidaridad construida alrededor de la labor tecnológica. Pero existen riesgos al poner a los trabajadores de la tecnología y a la tecnología misma en el centro de conflictos laborales que son más generalizados y de larga data. Todas las clases de trabajadores están sujetas a este tipo de infraestructura técnica extractiva, que pretende controlar y analizar el tiempo hasta su más minúscula partícula, y muchos de ellos no se identifican en absoluto con el sector tecnológico o el trabajo tecnológico. Las historias sobre la mano de obra y la automatización nos recuerdan que lo que está en juego es producir condiciones más justas para cada trabajador y que este objetivo más amplio no debería depender de expandir la definición de trabajo tecnológico para resultar legítimo. Todos tenemos un interés colectivo en cómo se verá el futuro del trabajo.

¹ Mark Wilson, “The Hot New Product Amazon and Target are Obsessing Over? Boxes”, en Fast Company, 6 de mayo de 2019, disponible en línea: <www.fastcompany.com>.

² Jessa Lingel y Kate Crawford, “Alexa, Tell Me about Your Mother. The History of the Secretary and the End of Secrecy”, en Catalyst. Feminism, Theory, Technoscience, vol. 6, núm. 1, 2020, disponible en línea: <catalystjournal.org>.

³ Silvia Federici, Wages against Housework, Londres, Power of Women Collective and Falling Walls Press, 1975, y Melissa Gregg, Counterproductive. Time Management in the Knowledge Economy, Durham, Duke University Press, 2018.

⁴ En La utopía de las normas, David Graeber describe la sensación de pérdida que han experimentado los trabajadores de cuello blanco, que ahora tienen que ingresar datos en sistemas de toma de decisiones que han remplazado al personal de apoyo administrativo en la mayoría de los lugares de trabajo.

⁵ Adam Smith, An Inquiry into the Nature and Causes of the Wealth of Nations, Chicago, University of Chicago Press, 1976, pp. 4 y 5 [trad. esp.: Investigación de la naturaleza y causas de la riqueza de las naciones, Valladolid, Viuda e Hijos de Santander, 1806].

⁶ Karl Marx y Friedrich Engels, The Marx-Engels Reader, ed. de Robert C. Tucker, Nueva York, W. W. Norton, 1978, p. 479. Marx amplió esta noción del trabajador como un “apéndice” en el volumen 1 de El capital: “En la artesanía y la manufactura, el trabajador hace uso de una herramienta; en la fábrica, la máquina lo utiliza a él. Allí proceden de él los movimientos del instrumento de trabajo, aquí son los movimientos de la máquina los que debe seguir. En la manufactura, los trabajadores son parte de un mecanismo vivo. En la fábrica, tenemos un mecanismo sin vida que es independiente de los trabajadores, quienes están incorporados a ella como sus apéndices vivos”. Karl Marx, Das Kapital. A Critique of Political Economy, Chicago, H. Regnery, 1959, pp. 548 y 549 [trad. esp.: El capital, México, Fondo de Cultura Económica, 2014].

⁷ Rosa Luxemburgo, “Practical Economies: Volume 2 of Marx’s Capital”, en The Complete Works of Rosa Luxemburg, ed. de Peter Hudis, Londres, Verso, 2013, p. 444.

⁸ Edward P. Thompson, “Time, Work-Discipline, and Industrial Capitalism”, en Past and Present, vol. 38, 1967, pp. 56-97 [trad. esp.: “Tiempos, disciplina de trabajo y capitalismo industrial”, en Costumbres en común, Barcelona, Crítica, 2000].

⁹ Ibid., pp. 88-90.

¹⁰ Simon Werrett, “Potemkin and the Panopticon: Samuel Bentham and the Architecture of Absolutism in Eighteenth Century Russia”, en Journal of Bentham Studies, vol. 2, 1999, p. 6, disponible en línea: <doi.org>.

¹¹ Véase, por ejemplo, Carolyn C. Cooper, “The Portsmouth System of Manufacture”, en Technology and Culture, vol. 25, núm. 2, 1984, pp. 182-225, disponible en línea: <doi.org>.

¹² Michel Foucault, Discipline and Punish. The Birth of the Prison, Nueva York, Vintage, 1995 [trad. esp.: Vigilar y castigar. Nacimiento de la prisión, México, Siglo XXI, 2009], y Emily Horne y Tim Maly, The Inspection House. An Impertinent Field Guide to Modern Surveillance, Toronto, Coach House, 2014.

¹³ Nicholas Mirzoeff, The Right to Look. A Counterhistory of Visuality, Durham, Duke University Press, 2011, p. 58.

¹⁴ Ibid., p. 55.

¹⁵ Ibid., p. 56.

¹⁶ Mary L. Gray y Siddharth Suri, Ghost Work. How to Stop Silicon Valley from Building a New Global Underclass, Boston, Houghton Mifflin Harcourt, 2019.

¹⁷ Lilly Irani, “The Hidden Faces of Automation”, en XRDS, vol. 23, núm. 2, 2016, pp. 34-37, disponible en línea: <doi.org>.

¹⁸ Li Yuan, “How Cheap Labor Drives China’s AI Ambitions”, en The New York Times, 25 de noviembre de 2018, disponible en línea: <www.nytimes.com>, y Mary L. Gray y Siddharth Suri, “The Humans Working behind the AI Curtain”, en Harvard Business Review, 9 de enero de 2017, disponible en línea: <hbr.org>.

¹⁹ Janine Berg et al., Digital Labour Platforms and the Future of Work. Towards Decent Work in the Online World, Ginebra, International Labor Organization, 2018, disponible en línea: <www.ilo.org>.

²⁰ Sarah T. Roberts, Behind the Screen. Content Moderation in the Shadows of Social Media, New Haven, Yale University Press, 2019, y Tarleton Gillespie, Custodians of the Internet. Platforms, Content Moderation, and the Hidden Decisions That Shape Social Media, New Haven, Yale University Press, 2018, pp. 111-140.

²¹ M. S. Silberman et al., “Responsible Research with Crowds: Pay Crowdworkers at Least Minimum Wage”, en Communications of the ACM, vol. 61, núm. 3, 2018, pp. 39-41, disponible en línea: <doi.org>.

²² Ibid.

²³ Ellen Huet, “The Humans Hiding behind the Chatbots”, en Bloomberg, 18 de abril de 2016, disponible en línea: <www.bloomberg.com>.

²⁴ Ellen Huet, “The Humans Hiding behind the Chatbots”, op. cit.

²⁵ Véase Jathan Sadowski, “Potemkin AI”, en Real Life, 6 de agosto de 2018.

²⁶ Astra Taylor, “The Automation Charade”, en Logic Magazine, 1° de agosto de 2018, disponible en línea: <logicmag.io>.

²⁷ Ibid.

²⁸ Mary L. Gray y Siddharth Suri, Ghost Work, op. cit.

²⁹ Tom Standage, The Turk. The Life and Times of the Famous Eighteenth-Century Chess-Playing Machine, Nueva York, Walker, 2002, p. 23.

³⁰ Ibid.

³¹ Véase, por ejemplo, Ayhan Aytes, “Return of the Crowds: Mechanical Turk and Neoliberal States of Exception”, en Trebor Scholz (ed.), Digital Labor. The Internet as Playground and Factory, Nueva York, Routledge, 2013, p. 80.

³² Lilly Irani, “Difference and Dependence among Digital Workers: The Case of Amazon Mechanical Turk”, en South Atlantic Quarterly, vol. 114, núm. 1, 2015, p. 225, disponible en línea: <doi.org>.

³³ Jason Pontin, “Artificial Intelligence, with Help from the Humans”, en The New York Times, 25 de marzo de 2007, disponible en línea: <www.nytimes.com>.

³⁴ Luigi Federico Menabrea y Ada Lovelace, “Sketch of the Analytical Engine Invented by Charles Babbage”, en The Analytical Engine, disponible en línea: <www.fourmilab.ch>.

³⁵ Charles Babbage, On the Economy of Machinery and Manufactures [1832], Cambridge, Cambridge University Press, 2010, pp. 39-43.

³⁶ El interés de Babbage por los procesos de control de calidad evidentemente surgió mientras intentaba (en vano) establecer una cadena de suministro confiable para los componentes de sus motores de cálculo.

³⁷ Simon Schaffer, “Babbage’s Calculating Engines and the Factory System”, en Réseaux. The French Journal of Communication, vol. 4, núm. 2, 1996, p. 280, disponible en línea: <doi.org>.

³⁸ Astra Taylor, The People’s Platform. Taking Back Power and Culture in the Digital Age, Londres, Picador, 2015, p. 42.

³⁹ Lawrence F. Katz y Alan B. Krueger, “The Rise and Nature of Alternative Work Arrangements in the United States, 1995-2015”, en ILR Review, vol. 72, núm. 2, 2019, pp. 382-416.

⁴⁰ Jan Rehmann, “Taylorism and Fordism in the Stockyards”, en Max Weber. Modernisation as Passive Revolution, Leiden, Brill, 2015, p. 26.

⁴¹ Harry Braverman, Labor and Monopoly Capital. The Degradation of Work in the Twentieth Century, Nueva York, Monthly Review Press, 1998, pp. 56 y 67 [trad. esp.: Trabajo y capital monopolista. La degradación del trabajo en el siglo XX, México, Nuevo Tiempo, 1984], y Joshua Specht, Red Meat Republic. A Hoof-to-Table History of How Beef Changed America, Princeton, Princeton University Press, 2019.

⁴² Frederick Winslow Taylor, The Principles of Scientific Management, Nueva York, Harper and Brothers, 1911 [trad. esp.: Henri Fayol y Frederick Winslow Taylor, Administración industrial y general. Principios de la administración científica, Barcelona, Orbis, 1987].

⁴³ Karl Marx, The Poverty of Philosophy, Nueva York, Progress, 1955, p. 22 [trad. esp.: Miseria de la filosofía, Barcelona, Aguilar, 1973].

⁴⁴ Jack Qiu, Melissa Gregg y Kate Crawford, “Circuits of Labour: A Labour Theory of the iPhone Era”, en TripleC. Communication, Capitalism and Critique, vol. 12, núm. 2, 2014, disponible en línea: <doi.org>, y Jack Qiu, Goodbye iSlave. A Manifesto for Digital Abolition, Urbana, University of Illinois Press, 2016.

⁴⁵ John Markoff, “Skilled Work, without the Worker”, en The New York Times, 18 de agosto de 2012, disponible en línea: <https://www.nytimes.com/2012/08 /19/business/new-wave-of-adept-robots-is-changing-global-industry.html>.

⁴⁶ Emily Guendelsberger, On the Clock. What Low-Wage Work Did to Me and How It Drives America Insane, Nueva York, Little, Brown and Company, 2019, p. 22.

⁴⁷ Steven Greenhouse, “McDonald’s Workers File Wage Suits in 3 States”, en The New York Times, 13 de marzo de 2014, disponible en línea: <https://www.nytimes.com/2014/03/14/business/mcdonalds-workers-in-three-statesfile-suits-claiming-underpayment.html>.

⁴⁸ Ibid.

⁴⁹ Claire Mayhew y Michael Quinlan, “Fordism in the Fast Food Industry: Pervasive Management Control and Occupational Health and Safety Risks for Young Temporary Workers”, en Sociology of Health and Illness, vol. 24, núm. 3, 2002, pp. 261-284, disponible en línea: <doi.org>.

⁵⁰ Ifeoma Ajunwa, Kate Crawford y Jason Schultz, “Limitless Worker Surveillance”, en California Law Review, vol. 105, núm. 3, 2017, pp. 735-776, disponible en línea: <doi.org>.

⁵¹ Betsy Mikel, “WeWork Just Made a Disturbing Acquisition; It Raises a Lot of Flags about Workers’ Privacy”, en Inc.com, 17 de febrero de 2019, disponible en línea: <www.inc.com>.

⁵² Arwa Mahdawi, “The Domino’s ‘Pizza Checker’ Is Just the Beginning - Workplace Surveillance Is Coming for You”, en The Guardian, 15 de octubre de 2019, disponible en línea: <www.theguardian.com>.

⁵³ Judy Wajcman, “How Silicon Valley Sets Time”, en New Media and Society, vol. 21, núm. 6, 2019, pp. 1272-1289, disponible en línea: <doi.org>.

⁵⁴ Ibid., p. 1277.

⁵⁵ Walter Gora, Ulrich Herzog y Satish Tripathi, “Clock Synchronization on the Factory Floor (FMS)”, en IEEE Transactions on Industrial Electronics, vol. 35, núm. 3, 1988, pp. 372-380, disponible en línea: <doi.org>.

⁵⁶ Ron Eglash, “Broken Metaphor: The Master-Slave Analogy in Technical Literature”, en Technology and Culture, vol. 48, núm. 2, 2007, p. 361, disponible en línea: <doi.org>.

⁵⁷ John Kemeny y Thomas Kurtz, “Dartmouth Timesharing”, en Science, vol. 162, 1968, p. 223.

⁵⁸ Ron Eglash, op. cit., p. 364.

* En inglés, una de las acepciones de la palabra “span” es “abarcar”. Por otro lado, “spanner” también puede hacer referencia a una llave de tuerca, como indica su logo. [N. del T.]

⁵⁹ Eric Brewer, “Spanner, TrueTime and the CAP Theorem”, en Infrastructure: Google, 14 de febrero de 2017, disponible en línea: <storage.googleapis.com>.

⁶⁰ James Corbett et al., “Spanner: Google’s Globally-Distributed Database”, en Proceedings of OSDI 2012, 2012, p. 14, cit. en Brian House, “Synchronizing Uncertainty: Google’s Spanner and Cartographic Time”, en Helen Pritchard, Eric Snodgrass y Magda Tyz˙lik-Carver (eds.), Executing Practices, Londres, Open Humanities Press, 2018, p. 124.

⁶¹ Peter Galison, Einstein’s Clocks, Poincaré’s Maps. Empires of Time, Nueva York, W. W. Norton, 2003, p. 104 [trad. esp.: Relojes de Einstein, mapas de Poincaré. Los imperios del tiempo, Barcelona, Crítica, 2005].

⁶² Ibid., p. 112.

⁶³ Colette Colligan y Margaret Linley (eds.), Media, Technology, and Literature in the Nineteenth Century. Image, Sound, Touch, Burlington, Ashgate, 2011, p. 246.

⁶⁴ James W. Carey, “Technology and Ideology: The Case of the Telegraph”, en Prospects, vol. 8, 1983, pp. 303-325.

⁶⁵ James W. Carey, op. cit., p. 13.

⁶⁶ Esto contrasta con lo que Foucault llamó la “microfísica del poder” para describir cómo las instituciones y los aparatos crean lógicas y formas de validez particulares. Michel Foucault, op. cit., p. 26.

⁶⁷ John Spargo, Syndicalism, Industrial Unionism, and Socialism [1913], San Petersburgo, Red and Black, 2009.

⁶⁸ Conversación personal con la autora durante un tour en un centro logístico de Amazon, Robbinsville, Nueva Jersey, 8 de octubre de 2019.

⁶⁹ Abdi Muse, “Organizing Tech”, en AI Now 2019 Symposium, en AI Now Institute, 2019, disponible en línea: <ainowinstitute.org>.

⁷⁰ Abdi Muse, conversación personal con la autora, 2 de octubre de 2019.

⁷¹ Lauren Kaori Gurley, “60 Amazon Workers Walked Out over Warehouse Working Conditions”, en Vice (blog), 3 de octubre de 2019, disponible en línea: <www.vice.com>.

⁷² Abdi Muse, cit. en AI Now Institute, “Organizing Tech”, video, 2019, disponible en línea: <https://www.youtube.com/watch?v=jLeOyIS1jwc& feature=emb_title>.

⁷³ Bhairavi Desai, cit. en “Organizing Tech”, op. cit.

⁷⁴ Sam Estreicher y Christopher Owens, “Labor Board Wrongly Rejects Employee Access to Company Email for Organizational Purposes”, en Verdict, 19 de febrero de 2020, disponible en línea: <https://verdict.justia.com/2020 /02/19/labor-board-wrongly-rejects-employee-access-to-company-email-for-organizational-purposes>.

⁷⁵ Esta observación proviene de conversaciones sostenidas con muchos organizadores laborales, trabajadores de la tecnología e investigadores, incluidos Astra Taylor, Dan Greene, Bo Daley y Meredith Whittaker.

⁷⁶ Dara Kerr, “Tech Workers Protest in SF to Keep Attention on Travel Ban”, en CNET, 13 de febrero de 2017, disponible en línea: <www.cnet.com>.

III. Los datos

UNA MUJER joven mira hacia arriba, con la mirada enfocada en algo que está fuera del encuadre, como si se negara a aceptar la presencia de la cámara. En la siguiente fotografía, sus ojos están fijos en la media distancia. Otra imagen la muestra con el pelo desordenado y una expresión abatida. A lo largo de la secuencia de fotos, la vemos envejecer, y las líneas alrededor de su boca giran hacia abajo y se profundizan. En el último fotograma, aparece herida y desanimada. Estas son las fotos del prontuario policial de una mujer a lo largo de muchos arrestos y muchos años de su vida. Las imágenes son parte de una colección conocida como “Special Database - Multiple Encounter Dataset (MEDS) [Base de datos especial 32 - conjunto de datos de múltiples encuentros clínicos]” del National Institute of Standards and Technology (NIST), disponible en Internet para los investigadores que quieren probar su software de reconocimiento facial.¹

Este conjunto de datos es uno de muchos que guarda el NIST, uno de los laboratorios de ciencias físicas más viejos y respetados de Estados Unidos, ahora parte del Departamento de Comercio. El NIST fue creado en 1901 para reforzar la estructura de mediciones del país y crear normas que pudieran competir con rivales económicos en el mundo industrializado, como Alemania y el Reino Unido. Todo, desde registros de salud electrónicos hasta rascacielos antisísmicos y relojes atómicos, está bajo el alcance del NIST. Se convirtió en la agencia de medición: del tiempo, de los protocolos de comunicación, de las estructuras cristalinas inorgánicas, de la nanotecnología.² El propósito del NIST es hacer que los sistemas sean interoperables, que definan y apoyen estándares, y esto ahora incluye desarrollar estándares para la inteligencia artificial (IA). Una de las infraestructuras de pruebas que mantiene es para los datos biométricos.

Descubrí por primera vez las bases de datos de prontuarios policiales en 2017, cuando estaba investigando los archivos del NIST. Sus colecciones biométricas son extensas. Durante más de cincuenta años, el NIST ha colaborado con el Federal Bureau of Investigation (FBI) en el reconocimiento automático de huellas dactilares y ha desarrollado métodos para evaluar la calidad de los escáneres de huellas y otros sistemas de revisión de imágenes.³ Después de los ataques terroristas del 11 de septiembre de 2001, el NIST se volvió parte de la reacción estadounidense, creando estándares biométricos para verificar y monitorear a las personas que entraban a Estados Unidos.⁴ Este fue un punto de inflexión para la investigación sobre el reconocimiento facial: del campo policial pasó a convertirse en una herramienta para controlar el movimiento entre las fronteras nacionales.⁵

Fotografías de la “Special Database 32 - MEDS” del NIST, Departamento de Comercio de Estados Unidos.

Las fotos de los prontuarios policiales son en sí mismas devastadoras. Algunas personas tienen heridas visibles, moretones, ojos morados; algunos están angustiados y llorando. Otros enfrentan la cámara con una mirada ausente. La “Special Database 32” contiene miles de fotografías de personas fallecidas con múltiples arrestos, en sus reiterados encuentros con el sistema de justicia penal. Las personas del prontuario policial se presentan como datos; sin historias, contextos o nombres. Puesto que estas fotos se tomaron en el momento del arresto, no queda claro si a estas personas se les formularon cargos, si fueron absueltas o si terminaron encarceladas. Todas se presentan de igual modo.

La inclusión de estas imágenes en la base de datos del NIST ha modificado su significado original, pues han pasado de utilizarse para identificar individuos en sistemas policiales a convertirse en el punto de referencia técnico a la hora de probar sistemas comerciales y académicos de IA para detectar rostros. En su recuento de la fotografía policial, Allan Sekula afirma que los prontuarios policiales son parte de una tradición de realismo técnico que tiene como objetivo “proporcionar un indicador fisonómico estándar del criminal”.⁶ Hay dos acercamientos distintos en la historia de la fotografía policial, señala Sekula. Los criminalistas como Alphonse Bertillon, el inventor del prontuario policial, lo veían como una especie de máquina biográfica de identificación necesaria para reconocer a los reincidentes. Por otro lado, Francis Galton, estadístico y una de las figuras fundadoras de la eugenesia, usaba retratos compuestos de prisioneros para detectar un “tipo criminal” determinado biológicamente.⁷ Galton trabajaba dentro de un paradigma fisionomista cuya meta era encontrar un aspecto que pudiera usarse para identificar rasgos de personalidad profundos a partir de apariencias externas. Cuando las fotos de los prontuarios policiales se usan como datos de entrenamiento, estas ya no funcionan como herramientas de identificación, sino más bien para ajustar una forma de visión automatizada. Podríamos pensar en una especie de formalismo galtoniano. Las fotos se usan aquí para detectar los componentes matemáticos básicos de los rostros, para “reducir la naturaleza a su esencia geométrica”.⁸

Las fotos de los prontuarios policiales forman parte del archivo usado para probar algoritmos de reconocimiento facial. Las caras en el MEDS se han vuelto imágenes estándares, un sustrato técnico para comparar la precisión algorítmica. El NIST, en colaboración con la Intelligence Advanced Research Proyects Activity (IARPA), ha organizado desafíos con estas fotos en los que los investigadores compiten para ver qué algoritmo es más rápido y preciso. Los equipos se esfuerzan por superarse en tareas como verificar la identidad de las caras o rescatar el rostro de un fotograma de un video de vigilancia.⁹ Los ganadores celebran estas victorias; les pueden traer fama, ofertas de trabajo y reconocimiento en toda la industria.¹⁰

Las personas que aparecen en las fotografías y sus familias no tienen voz ni voto respecto a la manera en que se utilizan sus imágenes, y lo más probable es que ni siquiera sepan que forman parte de los bancos de pruebas de la IA. Rara vez se toma en consideración a los sujetos de los prontuarios policiales, y pocos ingenieros los miran de cerca. Un documento del NIST describe que existen simplemente para

perfeccionar herramientas, técnicas y procedimientos usados en el reconocimiento facial, ya que son compatibles con la Identificación de Próxima Generación (NGI, por su sigla en inglés), la comparación forense, el entrenamiento, el análisis, además de la conformidad de imágenes faciales y los estándares de intercambio entre distintas agencias.¹¹

La descripción del MEDS señala que muchas personas muestran indicios de haber sufrido violencia sostenida, como cicatrices, moretones y vendajes. Pero el documento concluye que estas señales son “difíciles de interpretar debido a la falta de una verdad fundamental para comparar con una muestra ‘limpia’”.¹² No se las ve como individuos, sino como parte de un recurso técnico compartido; son tan solo otro componente de datos del programa de pruebas de verificación de reconocimiento facial, la referencia por excelencia en este campo.

Durante años de investigaciones sobre cómo se construyen los sistemas de IA, he analizado cientos de conjuntos de datos, pero los prontuarios policiales del NIST son particularmente inquietantes, porque representan el modelo de lo que vendrá. No se trata solo del patetismo abrumador de las imágenes mismas. Ni tampoco de la invasión a la privacidad que representan, pues los sospechosos y los prisioneros no tienen derecho de impedir que los fotografíen. Las bases de datos del NIST presagian la irrupción de una lógica que ahora ha invadido el sector tecnológico: la creencia inquebrantable de que cualquier cosa puede ser un dato y de que los datos están ahí para que los tome quien quiera. No importa dónde fue tomada la fotografía, o si refleja un momento de vulnerabilidad o de dolor, o si representa una forma de humillación para el sujeto. Tomar y usar lo que esté disponible se ha normalizado tanto en toda la industria que pocos se detienen a cuestionar las políticas subyacentes a esas acciones.

En ese sentido, los prontuarios policiales son el prototexto del acercamiento actual a la creación de IA. El contexto —y el ejercicio de poder— que estas imágenes representan se considera irrelevante porque ya no existen como cosas distintas en sí mismas. No se considera que tengan significado o peso ético como imágenes de personas individuales o como representaciones del poder estructural en el sistema carcelario. La idea de fondo es que se han neutralizado los significados personales, sociales y políticos. Yo sostengo que esto representa un giro de la imagen a la infraestructura, en el que se presume que el significado o cuidado que se le da a la imagen de un individuo, o al contexto detrás de la escena, se borra en el momento en que se vuelve parte de una masa agregada que impulsará un sistema más amplio. Todo se ve como datos que se ejecutarán por medio de funciones, material que será ingerido para mejorar el rendimiento técnico. Esta es la premisa central de la ideología de extracción de datos.

Los sistemas de aprendizaje automático se entrenan con imágenes como estas todos los días; imágenes obtenidas de Internet o de instituciones estatales, sin contexto y sin consentimiento. Son cualquier cosa menos neutrales. Representan historias personales, desigualdades estructurales y todas las injusticias que han acompañado los legados de los sistemas policiales y carcelarios de Estados Unidos. Pero la presunción de que, de alguna manera, estas imágenes pueden servir como materiales apolíticos inertes influye en el cómo y el qué “ve” una herramienta de aprendizaje automático. Un sistema de visión artificial puede detectar un rostro o un edificio, pero ignora por qué una persona estaba dentro de la estación de policía o cualquiera de los contextos sociales e históricos que rodean ese momento. Por último, las instancias específicas de los datos (la imagen de una cara, por ejemplo) no se consideran importantes para entrenar un modelo de IA. Todo lo que importa es que sea un conjunto lo suficientemente variado. Cualquier imagen individual podría sustituirse fácilmente por otra y el sistema funcionaría de igual forma. De acuerdo con esta visión global, siempre hay más datos por capturar del cofre de los tesoros que son Internet y las plataformas de redes sociales, con su crecimiento constante y su distribución global.

Por lo tanto, una persona de pie frente a una cámara con uniforme de prisionero se deshumaniza en forma de más datos. La historia de estas imágenes, cómo fueron adquiridas, y sus contextos institucionales, personales y políticos no se consideran relevantes. Las colecciones de fotos de prontuarios policiales son utilizadas como cualquier otro recurso práctico gratuito de caras bien iluminadas, uno de los puntos de referencia para que las herramientas como el reconocimiento facial funcionen. Y como un trinquete que se va apretando, los rostros de las personas fallecidas, de sospechosos y prisioneros se recolectan para refinar los sistemas de reconocimiento facial de la policía y de la vigilancia fronteriza, que luego se utilizan para monitorear y detener a más personas.

La última década ha visto un registro dramático de material digital para la producción de IA. Estos datos son la base para la construcción de sentido en la IA, no como representaciones clásicas del mundo con significados individuales, sino como una recolección masiva de datos para las abstracciones y las operaciones de las máquinas. Este registro a gran escala se ha vuelto tan fundamental para el campo de la IA que ni siquiera se lo cuestiona. Pero ¿cómo llegamos hasta aquí? ¿Qué formas de concebir los datos han facilitado este vaciamiento del contexto, el significado y la especificidad? ¿Cómo se adquieren, entienden y utilizan los datos de entrenamiento en el aprendizaje automático? ¿De qué manera los datos de entrenamiento delimitan aquello que interpreta la IA del mundo y cómo lo hace? ¿Qué formas del poder acentúan y permiten estos enfoques?

En este capítulo demuestro que los datos se han vuelto la fuerza detrás del éxito de la IA y de sus mitos, y que todo lo que puede registrarse fácilmente está siendo adquirido. Pero rara vez se abordan las implicaciones más profundas de este acercamiento estándar, incluso cuando este impulsa asimetrías de poder más grandes. La industria de la IA ha fomentado una especie de pragmatismo despiadado, con una gestión de datos que se interesa poco por el contexto, la precaución o el consentimiento, a la vez que promueve la idea de que la recolección de datos masiva es necesaria y se justifica para crear sistemas de “inteligencia” computacional que sean rentables. Esto ha llevado a una profunda metamorfosis en la que todo tipo de imágenes, textos, sonidos y videos se han vuelto solo datos sin procesar para los sistemas de IA, y en la que se cree que los fines justifican los medios. Pero debemos preguntarnos: ¿quién se ha beneficiado más con esta transformación y por qué han persistido estas narrativas dominantes sobre los datos? Como vimos en los capítulos previos, la lógica de extracción, que ha dado forma a la relación con la tierra y con la mano de obra humana, también es una característica distintiva de cómo se usan y entienden los datos en la IA. Al examinar de cerca los datos de entrenamiento, como ejemplo central en el conjunto del aprendizaje automático, podemos empezar a ver lo que está en juego en esta transformación.

ENTRENAR LAS MÁQUINAS PARA QUE VEAN

Resulta útil considerar por qué los sistemas de aprendizaje automático exigen actualmente cantidades masivas de datos. Un ejemplo del problema en plena acción es la visión artificial, el subcampo de la IA que se ocupa de enseñar a las máquinas a detectar e interpretar imágenes. Por razones que rara vez se reconocen en el campo de la informática, el proyecto de interpretar imágenes es un empeño profundamente complejo y relacional. Las imágenes son cosas extraordinariamente escurridizas, cargadas de múltiples significados potenciales, preguntas sin respuestas y contradicciones. Y, sin embargo, ahora es una práctica común que, como parte de los primeros pasos para crear un sistema de visión artificial, se haga un verdadero raspado de miles, e incluso millones, de imágenes de Internet y se creen y se ordenen en una serie de clasificaciones para luego usarlas como la base a través de la cual el sistema percibirá la realidad observable. Estas vastas colecciones se denominan conjuntos de datos de entrenamiento y constituyen lo que los programadores de IA a menudo llaman “verdad fundamental o verdad base”.¹³ La verdad, entonces, tiene menos que ver con una representación fáctica o con una realidad concertada y, por lo general, más con un revoltijo de imágenes extraídas de muchas fuentes distintas disponibles en línea.

Para el aprendizaje supervisado, los ingenieros suministran datos de entrenamiento etiquetados a una computadora. Dos diferentes tipos de algoritmos entran entonces en juego: los de aprendizaje y los de clasificación. El aprendiz es el algoritmo que está entrenado en estos datos etiquetados; luego informa al clasificador cómo analizar mejor la relación entre las nuevas variables de entrada y la variable deseada de salida (o predicción). Puede predecir si una cara está contenida en una imagen o si un correo electrónico es spam. Entre más ejemplos de datos correctamente etiquetados tenga, mejor será el algoritmo a la hora de producir predicciones precisas. Hay muchos tipos de modelos de aprendizaje automático, incluidas redes neuronales, regresión logística y árboles de decisión. Los ingenieros eligen un modelo basado en lo que están construyendo, ya sea un sistema de reconocimiento facial o una manera de detectar emociones en redes sociales, y lo adaptarán a sus recursos computacionales.

Consideremos la tarea de construir un sistema de aprendizaje automático que puede detectar las diferencias entre imágenes de manzanas y naranjas. Primero, un programador tiene que recolectar, etiquetar y entrenar una red neuronal con miles de imágenes etiquetadas de manzanas y naranjas. Por el lado del software, los algoritmos llevan a cabo un estudio estadístico de las imágenes y desarrollan un modelo para reconocer la diferencia entre las dos clases. Si todo sale según lo planeado, el modelo entrenado será capaz de distinguir la diferencia entre imágenes de manzanas y naranjas con las que nunca antes se ha encontrado.

Pero si en nuestro ejemplo todas las imágenes de entrenamiento de manzanas son rojas y ninguna es verde, entonces es posible que el sistema de aprendizaje automático deduzca que “todas las manzanas son rojas”. A esto se le conoce como inferencia inductiva, una hipótesis abierta basada en los datos disponibles, a diferencia de una inferencia deductiva, que se sigue lógicamente a partir de una premisa.¹⁴ Debido a la manera en que fue entrenado este sistema, una manzana verde no sería reconocida como tal. Los conjuntos de datos de entrenamiento, por tanto, son el núcleo a partir del cual la mayoría de los sistemas de aprendizaje automático hace inferencias. Funcionan como la fuente primaria del material que los sistemas de IA usan para formar la base de sus predicciones.

Los datos de entrenamiento definen mucho más que solo las características de los algoritmos de aprendizaje automático. Se usan para evaluar su desempeño a lo largo del tiempo. Al igual que los preciados purasangre, los algoritmos de aprendizaje automático continuamente compiten entre sí en duelos en todo el mundo para ver cuáles funcionan mejor con un determinado conjunto de datos. Estos conjuntos de datos de referencia se vuelven el alfabeto en el que se basa una lingua franca, con muchos laboratorios de distintos países reunidos alrededor de conjuntos canónicos para intentar superarse entre sí. Una de las competencias más conocidas es el Desafío ImageNet, en el que los investigadores compiten para ver qué métodos pueden clasificar y detectar objetos y escenas con mayor precisión.¹⁵

Una vez que los conjuntos de entrenamiento se han establecido como los puntos de referencia convenientes, por lo general son adaptados, desarrollados y expandidos. Como veremos en el siguiente capítulo, se forma una especie de genealogía de conjuntos de entrenamiento: heredan una lógica aprendida de ejemplos anteriores y dan paso a los siguientes. Por ejemplo, ImageNet ocupa la taxonomía de palabras heredada de la influyente base de datos léxica de 1980 conocida como WordNet; y esta, a su vez, hereda de muchas fuentes, incluido el Brown Corpus de un millón de palabras publicado en 1961. Los datos de entrenamiento se suben a las espaldas de viejas clasificaciones y colecciones. Como una enciclopedia en constante expansión, las formas viejas permanecen y nuevos ítems se agregan a lo largo de las décadas.

Los datos de entrenamiento son, por lo tanto, los cimientos sobre los cuales se construyen los sistemas actuales de aprendizaje automático.¹⁶ Estos conjuntos de datos le dan forma a los límites epistémicos que gobiernan la manera en que opera la IA; en ese sentido, crean los límites de cómo la IA puede “ver” el mundo. Pero los datos de entrenamiento son una frágil forma de verdad fundamental, e incluso los mayores tesoros de datos no pueden escapar a ciertas incongruencias esenciales que ocurren cuando se simplifica y divide en categorías un mundo infinitamente complejo.

BREVE HISTORIA DE LA DEMANDA DE DATOS

“El mundo ha entrado en una era de dispositivos complejos, pero muy confiables y baratos a la vez. Y, necesariamente, alguna consecuencia tendrá todo esto.” Estas fueron las palabras de Vannevar Bush, el inventor y administrador que supervisó el Proyecto Manhattan como director de la Oficina de Investigación y Desarrollo Científico, que más tarde fue clave para la creación de la Fundación Nacional de las Ciencias. Esto ocurrió en julio de 1945; las bombas todavía no habían caído sobre Hiroshima y Nagasaki, y Bush tenía una teoría acerca de un nuevo sistema de conexión de datos que aún estaba por nacer. Imaginó las “máquinas aritméticas avanzadas del futuro”, que funcionarían a una velocidad extremadamente rápida, “seleccionarían sus propios datos y los manipularían siguiendo instrucciones”. Pero estas máquinas necesitaban una cantidad monumental de datos:

Esas máquinas tendrán un apetito insaciable. Una sola de ellas devorará las instrucciones y los datos provenientes de una sala llena de chicas armadas con teclados perforadores y cada pocos minutos producirá hojas con los resultados computados. Siempre habrá una gran cantidad de cosas por computar sobre los detallados asuntos de millones de personas llevando a cabo tareas complicadas.¹⁷

Las “chicas” a las que se refería Bush eran las operadoras perforadoras que hacían el trabajo diario de la computación. Como las historiadoras Jennifer Light y Mar Hicks han demostrado, estas mujeres eran a menudo ninguneadas y tratadas como simples dispositivos para ingresar registros de datos inteligibles. De hecho, su función era tan importante a la hora de elaborar datos y hacer que los sistemas funcionaran como la de los ingenieros que diseñaron las computadoras digitales de la era bélica.¹⁸ Pero la relación entre los datos y la maquinaria para procesarlos ya se imaginaba como una relación de consumo sin fin. Las máquinas estarían hambrientas de datos y, seguramente, habría un horizonte amplio de material por extraer de millones de personas.

En los años setenta, los investigadores de la IA estaban ante todo explorando lo que se conoce como el método del sistema experto: un tipo de programación basado en reglas que apunta a reducir el campo de las acciones posibles articulando formas de razonamiento lógico. Pero, muy pronto, se volvió evidente que este acercamiento era frágil y poco práctico en escenarios del mundo real, donde un conjunto de reglas rara vez puede manejar la incertidumbre y la complejidad.¹⁹ Se necesitaban nuevos métodos. Para mediados de los años ochenta, los laboratorios de investigación se inclinaban hacia los métodos probabilísticos o de fuerza bruta. En pocas palabras, estaban usando muchísimos ciclos de computadora para calcular el mayor número posible de opciones hasta encontrar el resultado óptimo.

Un ejemplo significativo fue el grupo de reconocimiento de voz en IBM Research. Hasta entonces, se había abordado el problema del reconocimiento de voz usando principalmente métodos lingüísticos, pero los teóricos de la información Fred Jelinek y Lalit Bahl formaron un nuevo grupo, que incluía a Peter Brown y Robert Mercer (mucho antes de que Mercer se volviera multimillonario, asociado con la fundación de Cambridge Analytica y Breitbart News, y con la financiación de parte de la campaña presidencial de Donald Trump de 2016). Ellos intentaron algo distinto. Sus técnicas eventualmente produjeron los precursores de los sistemas de reconocimiento de voz detrás de Siri y Dragon Dictate, así como de los sistemas de traducción automática como Google Translate y Microsoft Translator.

Empezaron utilizando métodos estadísticos que se centraban en la frecuencia con que las palabras aparecían en relación entre sí, en lugar de intentar enseñarle a las computadoras un método centrado en reglas usando principios gramáticos o características lingüísticas. Hacer que funcionara este método estadístico requería una gran cantidad de datos reales de habla y texto, o datos de entrenamiento. El resultado, como escribe el experto en medios Xiaochang Li, fue que se requería “una reducción radical del habla a meros datos, que podían ser modelados e interpretados sin la presencia de un conocimiento o entendimiento lingüístico. El habla como tal dejó de importar”. Este giro fue increíblemente significativo y se volvería un patrón repetido durante décadas: la reducción de contenido a datos, de significados a reconocimiento de patrones estadísticos. Li explica:

Depender de datos en vez de principios lingüísticos, sin embargo, trajo consigo un nuevo conjunto de desafíos, ya que esto significaba que los modelos estadísticos estaban necesariamente determinados por las características de los datos de entrenamiento. Como resultado, el tamaño de los conjuntos de datos se volvió una preocupación principal. […] Los conjuntos de datos de resultados observados más grandes no solo mejoraron los estimados probabilísticos para los procesos aleatorios, sino que también aumentaron la posibilidad de que los datos capturaran resultados que ocurren con menor frecuencia. El tamaño de los datos de entrenamiento era, de hecho, tan fundamental para el método de IBM que, en 1985, Robert Mercer explicó la actitud de su grupo al proclamar: “Ningún dato se equipara a tener más datos”.²⁰

Durante muchas décadas, esos datos eran muy difíciles de obtener. Como describe Lalit Bahl en una entrevista con Li: “En ese entonces […] ni siquiera podías encontrar con facilidad un millón de palabras de texto legible por computadora. Y buscábamos texto por todas partes”.²¹ Buscaron en los manuales técnicos de IBM, en novelas para niños, en patentes de tecnología láser, libros para ciegos e incluso en la correspondencia mecanografiada del miembro de IBM Dick Garwin, creador del diseño de la primera bomba de hidrógeno.²² Su método curiosamente parecía replicar un cuento del escritor de ciencia ficción Stanislaw Lem, en el que un hombre llamado Trurl decide construir una máquina que escriba poesía. Empieza con “ochocientas veinte toneladas de libros sobre cibernética y doce mil toneladas de la poesía más exquisita”.²³ Pero Trurl se da cuenta de que, para programar una máquina autónoma de poesía, uno necesita “repetir el universo entero desde el principio; o al menos una buena fracción de él”.²⁴

Eventualmente, el grupo IBM Continuous Speech Recognition encontró su “buena fracción” del universo en una sorpresiva fuente. En 1969, se presentó una importante demanda federal antimonopolio en contra de IBM. El proceso duró trece años, y fueron llamados a declarar casi mil testigos. IBM contrató una gran cantidad de personal solo para digitalizar todas las transcripciones de las declaraciones en tarjetas perforadas de Hollerith. Esto terminó creando un corpus de cien millones de palabras para mediados de la década de 1980. Mercer, conocido por ser antigubernamental, llamó a esto “un caso de utilidad creada accidentalmente por el gobierno, a pesar de sí mismo”.²⁵

IBM no era el único grupo que empezaba a acumular toneladas de palabras. Entre 1989 y 1992, un equipo de lingüistas y científicos informáticos de la University of Pennsylvania trabajaron en el proyecto Penn Treebank, una base de datos de texto anotada. Juntaron cuatro millones y medio de palabras del inglés estadounidense con el fin de entrenar sistemas de procesamiento de lenguaje natural. Sus fuentes incluían síntesis del Departamento de Energía, cables de artículos del Dow Jones y reportes del Federal News Service sobre “actividades terroristas” en América del Sur.²⁶ Las colecciones de texto emergentes pedían prestado de colecciones anteriores y luego contribuían a nuevas fuentes. Comenzaron a surgir las genealogías de colecciones de datos, cada una apoyándose en la anterior y a menudo trayendo consigo las mismas peculiaridades, problemas u omisiones al por mayor.

Otro corpus clásico de texto provino de las investigaciones por fraude de la empresa Enron después de que declarara la bancarrota más grande en la historia de Estados Unidos. Por requerimiento legal, la Federal Energy Regulatory Commission confiscó los correos electrónicos de 158 empleados.²⁷ También decidió hacer estos correos públicos, ya que “el derecho a la divulgación en este caso está por encima del derecho individual a la privacidad”.²⁸ Esto se convirtió en una colección increíble. Más de medio millón de intercambios usando el habla cotidiana ahora se usarían como una mina lingüística: una que, sin embargo, representaría el género, la raza y los sesgos profesionales de estos 158 trabajadores. Miles de artículos académicos han citado el corpus Enron. A pesar de su popularidad, rara vez se lo mira de cerca: The New Yorker lo describió como “un texto de investigación canónico que nadie ha leído realmente”.²⁹ Esta construcción y confianza automática en los datos de entrenamiento anticipaba una nueva manera de hacer las cosas. Transformó el campo del procesamiento del lenguaje natural y sentó los cimientos de lo que se volvería una práctica normal en el aprendizaje automático.

Aquí ya estaban plantadas las semillas de los problemas posteriores. Los archivos de texto se veían como colecciones neutrales de lenguaje, como si hubiera una equivalencia general entre las palabras en un manual técnico y la forma en que los colegas se escriben correos electrónicos entre sí. Todo texto era reutilizable e intercambiable, mientras hubiera suficiente para entrenar un modelo de lenguaje que predijera, con una alta tasa de éxito, qué palabra podría seguir a otra. Al igual que con las imágenes, los corpus de texto trabajan bajo la presunción de que todos los datos de entrenamiento son intercambiables. Pero el lenguaje no es una sustancia inerte que funcione de la misma forma, independiente de dónde se encuentre. Las frases que se hayan sacado de Reddit serán distintas de las que usan los ejecutivos de Enron. Las distorsiones, las lagunas y los sesgos en el texto recopilado se integran al sistema más grande y, si un modelo de lenguaje está basado en el tipo de palabras que se agrupan juntas, de dónde provienen se vuelve un asunto relevante. No existe un territorio neutral para el lenguaje, y todas las recopilaciones de texto también son el recuento de un tiempo, un lugar, una cultura y una política. Incluso más: estos métodos no atienden los lenguajes que tienen menos datos disponibles y a menudo se los deja atrás.³⁰

Claramente, hay muchas historias y contextos que se combinan dentro de los datos de entrenamiento de IBM, el archivo Enron o el Penn Treebank. ¿Cómo desentrañamos lo que es significativo y lo que no para entender estos conjuntos de datos? ¿Cómo comunica uno advertencias como: “Este conjunto de datos probablemente refleje sesgos relacionados con su dependencia en noticias sobre terroristas latinoamericanos en los años ochenta”? Los orígenes de los datos que subyacen en un sistema pueden ser muy significativos y, sin embargo, todavía no hay, treinta años después, prácticas normadas para señalar de dónde provienen los datos ni cómo se adquirieron; mucho menos los sesgos o las políticas de clasificación que estos conjuntos de datos contienen y que influirán en todos los sistemas que dependan de ellos.³¹

CAPTURAR EL ROSTRO

Si los textos legibles por computadora se volvían muy valiosos para el reconocimiento de voz, el rostro humano era la preocupación principal a la hora de construir sistemas de reconocimiento facial. Uno de los ejemplos principales surgió en la última década del siglo XX, financiado por la Department of Defense CounterDrug Technology Development Program Office. Esta oficina patrocinó el proyecto de Face Recognition Technology (FERET) para desarrollar el reconocimiento facial automático y que fuera aplicado por agencias de inteligencia y organismos policiales. Antes de FERET había pocos datos de entrenamiento disponibles de rostros humanos, tan solo unas cuantas colecciones de alrededor de cincuenta rostros por aquí y por allá; en ningún caso suficientes para hacer reconocimiento facial a escala. El US Army Research Laboratory lideró el proyecto técnico para crear un conjunto de retratos de entrenamiento de más de mil personas, en distintas poses, para llegar a un total de 14.126 imágenes. Como las colecciones de prontuarios policiales del NIST, FERET se volvió el punto de referencia estándar, una herramienta de medición compartida para comparar métodos de detección de rostros.

Las tareas para las que se construyó la infraestructura de FERET incluían, de nuevo, la búsqueda automática de fotos de prontuarios policiales, así como la vigilancia en aeropuertos y pasos fronterizos, y la búsqueda en las bases de datos de las licencias de conducir para “detectar fraudes” (los cobros múltiples de beneficios sociales era uno de los ejemplos que se mencionaban en los artículos de investigación sobre FERET).³² Pero había dos escenarios principales de prueba. En el primero, se le presentaba al algoritmo un prontuario electrónico de individuos conocidos y aquel tenía luego que encontrar las coincidencias más cercanas en una gran galería de imágenes. El segundo escenario se enfocaba en el control de las fronteras y los aeropuertos: identificar a un individuo conocido (“contrabandistas, terroristas u otros criminales”) a partir de una gran cantidad de desconocidos.

Estas fotografías son por diseño legibles por computadora y no están hechas para ser vistas por ojos humanos; sin embargo, contemplarlas resulta extraordinario. Son fotografías de alta resolución sorprendentemente hermosas, capturadas en el estilo de los retratos formales. Tomadas por cámaras de 35 mm en la George Mason University, estas fotos de rostros tomadas con precisión nos muestran un amplio rango de personas, algunas de las cuales parecen haberse vestido con esmero para la ocasión, con peinados cuidados, joyas y maquillaje. El primer conjunto de fotografías, tomadas entre 1993 y 1994, es como una cápsula del tiempo a los cortes de pelo y la moda de principios de los años noventa. Se les pedía a los sujetos que colocaran sus cabezas en posiciones múltiples; al pasar por las imágenes, se pueden ver tomas de perfil, de frente, distinta iluminación y a veces diferentes atuendos. A algunos sujetos se los fotografió a lo largo de varios años, para empezar a estudiar cómo rastrear a las personas según van envejeciendo. Se les informó acerca del proyecto y firmaron un formulario de autorización que había sido previamente aprobado por el comité de ética de la universidad. Los sujetos sabían en lo que estaban participando y dieron su consentimiento total.³³ Este nivel de consentimiento se volvería excepcional en los años siguientes.

FERET fue el punto culminante de un estilo formal de “creación de datos”, antes de que Internet empezara a ofrecer extracciones masivas sin ningún permiso o trabajo cuidadoso de la cámara. Sin embargo, incluso en esta etapa temprana, había problemas con la falta de diversidad de las caras recolectadas. El artículo de la investigación de FERET, de 1996, admite que “se pusieron sobre el tapete algunas preguntas sobre la distribución por edad, raza y sexo de la base de datos”, pero que, “a estas alturas del proyecto, el tema central es el funcionamiento del algoritmo sobre una base de datos de un número grande de individuos”.³⁴ En efecto, FERET era extremadamente útil para eso. A medida que el interés por la detección de terroristas aumentaba, y los fondos para el reconocimiento facial incrementaron drásticamente después del 11 de septiembre, FERET se volvió el punto de referencia más usado. A partir de ese momento, los sistemas de rastreo biométrico y de visión artificial se expandieron con rapidez tanto en escala como en ambición.

DE INTERNET A IMAGENET

En muchos sentidos, Internet cambió todo; en el campo de la investigación de la IA, llegó a verse como algo similar a un recurso natural, disponible para ser utilizado. Entre más gente empezó a subir su imagen a sitios web, a servicios para compartir fotos y, finalmente, a plataformas de redes sociales, el saqueo se volvió la norma. De repente, los conjuntos de datos de entrenamiento podían alcanzar tamaños que los científicos de los años ochenta jamás habrían imaginado. Atrás quedó la necesidad de organizar sesiones de fotos usando distintos tipos de iluminación, parámetros controlados y dispositivos para posicionar los rostros. Ahora había millones de selfis, tomadas en todas las condiciones posibles de luz, posición y profundidad de campo. La gente comenzó a compartir las fotos de sus bebés, instantáneas de sus familias e imágenes de cómo se veían diez años atrás, recursos ideales para rastrear similitudes genéticas y envejecimiento facial. Todos los días se publicaban billones de líneas de texto que contenían formas de habla formales e informales. Todo se volvía agua para los molinos del aprendizaje automático. Se trataba de algo de proporciones masivas. Por ejemplo, en un día promedio de 2019, se subieron a Facebook aproximadamente trescientos cincuenta millones de fotografías y se enviaron quinientos millones de tuits.³⁵ Y esas son solo dos plataformas de Estados Unidos. Todo lo que estuviera en línea estaba siendo preparado para volverse un conjunto de datos de entrenamiento para la IA.

Los titanes de la industria de la tecnología estaban ahora en una posición de poder: tenían un canal de imágenes y texto que se estaba actualizando sin parar y, entre más compartía su contenido la gente, más crecía el poder de la industria de la tecnología. Las personas etiquetaban alegremente sus fotografías, con nombres y ubicaciones, sin cobrar, y esa mano de obra gratis significaba tener datos etiquetados más precisos para la visión artificial y los modelos de lenguaje. Dentro de la industria estas colecciones son muy valiosas. Son tesoros registrados que se comparten rara vez, debido tanto a asuntos de privacidad como a la ventaja competitiva que les significan. Pero aquellos que están fuera de la industria, como los principales laboratorios informáticos académicos, querían disfrutar de las mismas ventajas. Con un presupuesto infinitamente limitado en comparación, ¿era posible pagar para recolectar los datos de la gente? ¿Podían esperar que esas mismas personas, por voluntad propia, se los entregaran ya etiquetados? Ahí es cuando surgieron nuevas ideas: combinar imágenes y textos extraídos de Internet gracias a la mano de obra barata del crowdsourcing.

Uno de los conjuntos de datos de entrenamiento más importantes de la IA es ImageNet. Fue conceptualizado por primera vez en 2006, cuando la profesora Fei-Fei Li decidió construir un enorme conjunto de datos para el reconocimiento de objetos. “Decidimos que queríamos hacer algo que no tuviera precedentes en la historia —dijo Li—. Vamos a cartografiar el mundo de los objetos por completo.”³⁶ En 2009, el equipo de ImageNet publicó el significativo cartel sobre la investigación en una conferencia sobre visión artificial. Abría con esta descripción:

La era digital ha traído consigo una enorme explosión de datos. Las últimas estimaciones hablan de un número mayor a los tres mil millones de fotos en Flickr, un número similar de videoclips en YouTube y un número todavía más grande de imágenes en la base de datos del buscador de imágenes de Google. Al explotar estas imágenes, se pueden proponer modelos y algoritmos más sofisticados y robustos, dando como resultado mejores aplicaciones para que los usuarios indexen, recuperen, organicen e interactúen con estos datos.³⁷

Desde un principio, los datos se caracterizaban como algo voluminoso, desorganizado, impersonal y listo para ser explotado. De acuerdo con sus autores, “la manera exacta en la que se pueden utilizar y organizar estos datos es un problema que todavía no se resuelve”. Al extraer millones de imágenes de Internet, principalmente de motores que usan la opción de búsqueda de imágenes, el equipo produjo una “ontología de imágenes a gran escala” que estaba destinada a servir de recurso para “proveer datos de entrenamiento y de referencia críticos” para algoritmos de reconocimiento de objetos e imágenes. Usando este método, ImageNet creció enormemente. El equipo recopiló en masa más de 14 millones de imágenes de Internet, para ser organizadas en más de veinte mil categorías. En los artículos de la investigación, no se mencionó ninguna preocupación ética respecto a tomar los datos de otras personas, a pesar de que miles de las páginas eran de naturaleza muy personal y comprometedora.

Una vez que las imágenes habían sido obtenidas de Internet, surgió una importante preocupación: ¿quién las etiquetaría y las pondría en categorías inteligibles? Como señala Li, el plan original del equipo era contratar estudiantes de pregrado y pagarles 10 dólares la hora para encontrar imágenes manualmente y agregarlas al conjunto de datos.³⁸ Pero se dio cuenta de que, con su presupuesto, les llevaría noventa años completar el proyecto. La respuesta llegó cuando un estudiante le contó a Li sobre un nuevo servicio: Amazon Mechanical Turk. Como vimos en el capítulo II, gracias a esta plataforma, de repente se volvió posible acceder a mano de obra distribuida que podía hacer tareas en línea, como etiquetar y clasificar imágenes, a escala y a bajo costo.

Me mostró el sitio web y te puedo decir que ese fue el día en que literalmente supe que el proyecto ImageNet se llevaría a cabo —dice Li—. De pronto encontramos una herramienta que podía modificar la escala, algo con lo que no podríamos haber soñado siquiera si hubiéramos contratado estudiantes de pregrado de Princeton.³⁹

Como era de esperar, esos estudiantes no obtuvieron el trabajo.

En vez de eso, ImageNet se convirtió durante un tiempo en el usuario académico del Mechanical Turk más grande del mundo, desplegando un ejército de trabajadores a medio tiempo para clasificar un promedio de cincuenta imágenes por minuto en miles de categorías.⁴⁰ Había categorías para manzanas y aviones, buzos y luchadores de sumo. Pero también había etiquetas crueles, ofensivas y racistas: las fotografías de las personas se clasificaban en categorías como “alcohólico”, “hombre-mono”, “loco”, “puta” y “ojos rasgados”. Todos estos términos se habían importado de la base de datos léxica de WordNet y se habían entregado a los trabajadores para que los emparejaran con las imágenes. Durante una década, ImageNet creció hasta volverse un coloso del reconocimiento de objetos para el aprendizaje automático, y un punto de referencia muy importante para el campo. El método de extracción masivo y sin consentimiento de datos etiquetados por parte de trabajadores mal remunerados de crowdsourcing se volvería una práctica estándar, y cientos de nuevos conjuntos de datos de entrenamiento seguirían la estela de ImageNet. Como veremos en el próximo capítulo, estas prácticas (y los datos etiquetados que generaron) volverían para atormentar al proyecto.

EL FIN DEL CONSENTIMIENTO

Los primeros años del siglo XXI significaron un alejamiento progresivo de las colecciones de datos obtenidos con consentimiento. Además de poder prescindir de las sesiones fotográficas, los responsables de colectar los conjuntos de datos asumían que los contenidos de Internet estaban disponibles para que ellos los tomaran, más allá de que se necesitaran acuerdos, formularios de autorización y revisiones éticas. En ese momento, comenzaron a surgir prácticas de extracción todavía más inquietantes. Por ejemplo, en la University of Colorado, un profesor instaló una cámara en el pasillo principal del campus y capturó en secreto fotos de más de mil setecientos estudiantes y profesores; todo para entrenar un sistema de reconocimiento facial de su autoría.⁴¹ Un proyecto similar en la Duke University recopiló imágenes de más de dos mil estudiantes yendo y viniendo de sus clases, sin que ellos lo supieran, y luego publicó los resultados en Internet. El conjunto de datos, llamado DukeMTMC (reconocimiento facial de múltiples cámaras y objetivos) fue financiado por la US Army Research Office y por la National Science Foundation.⁴²

El DukeMTMC fue duramente criticado después de que un proyecto de investigación, realizado por los artistas e investigadores Adam Harvey y Jules LaPlace, demostrara que el gobierno chino estaba utilizando las imágenes para entrenar sistemas para vigilar minorías étnicas. Esto estimuló una investigación del consejo de revisión institucional, que determinó que esto calificaba como un “desvío significativo” de las prácticas aceptables. El conjunto de datos fue eliminado de Internet.⁴³

Pero lo que ocurrió en la University of Colorado y en la de Duke no se trató de ninguna manera de casos aislados. En la Stanford University, algunos investigadores se apoderaron de la cámara web de una popular cafetería para extraer casi doce mil imágenes “de la vida cotidiana de una concurrida cafetería céntrica”, sin el consentimiento de nadie.⁴⁴ Una y otra vez estos datos, extraídos sin permiso ni consentimiento, se subían para los investigadores del aprendizaje automático, quienes luego los usaban como infraestructura para sistemas de imágenes automatizados.

Otro ejemplo es MS-Celeb, el histórico conjunto de datos de entrenamiento de Microsoft que, en 2016, recogió de Internet alrededor de diez millones de fotos de cien mil celebridades. En su momento era el conjunto de datos de reconocimiento facial público más grande del mundo, e incluía no solo a actores famosos, sino también a políticos y periodistas, activistas, académicos y artistas.⁴⁵ Irónicamente, muchas de las personas que fueron incluidas sin su consentimiento son conocidas por haber criticado la vigilancia y el propio reconocimiento facial, como la cineasta Laura Poitras, la activista de los derechos digitales Jillian York, el crítico Evgeny Morozov y la autora de La era del capitalismo de la vigilancia, Shoshana Zuboff.⁴⁶

Incluso cuando se les quita información personal a los conjuntos de datos y se sueltan con gran precaución, algunas personas han vuelto a ser identificadas y se han revelado detalles muy sensibles sobre ellas. En 2013, por ejemplo, la comisión de taxis y limusinas de Nueva York liberó un conjunto de datos de 173 millones de viajes individuales que contenían los horarios de recogida y de bajada de sus pasajeros, así como ubicaciones, tarifas y montos de propinas. Se hicieron anónimos los números de licencia de los taxistas, pero esto se anuló rápidamente, lo que permitió a los investigadores inferir información sensible, como salarios anuales y direcciones personales.⁴⁷ Al combinarse con información pública de fuentes como blogs de celebridades, algunos actores y políticos fueron identificados y fue posible deducir la dirección de quienes visitaban clubes de striptease.⁴⁸ Pero, más allá de los daños individuales, tales conjuntos de datos también generan “daños predictivos a la privacidad” de grupos o comunidades enteras.⁴⁹ Por ejemplo, el mismo conjunto de datos de taxistas de Nueva York se utilizó para sugerir qué taxistas eran musulmanes devotos, observando si se detenían durante las horas de oración.⁵⁰

De cualquier conjunto de datos en apariencia inofensivo y anónimo, pueden surgir muchas formas de información inesperadas y sumamente personales, pero este hecho no ha obstaculizado la recolección de imágenes y texto. A medida que el éxito del aprendizaje automático comenzó a depender de conjuntos de datos cada vez más grandes, más gente busca adquirirlos. Pero ¿por qué el campo más amplio de la IA acepta esta práctica, a pesar de los problemas éticos, políticos y epistemológicos, y de sus daños potenciales? ¿Qué creencias, justificaciones e incentivos económicos normalizan esta extracción en masa y equivalencia general de datos?

MITOS Y METÁFORAS DE LOS DATOS

La muy citada historia de la IA escrita por el profesor Nils Nilsson describe varios de los mitos fundacionales acerca de los datos en el aprendizaje automático. Ilustra hábilmente la manera en que los datos se describen de forma típica en las disciplinas técnicas:

El gran volumen de datos sin procesar requiere técnicas eficientes de “minería de datos” para clasificar, cuantificar y extraer información útil. Los métodos de aprendizaje automático están desempeñando un papel cada vez más importante en el análisis de datos porque pueden manejar cantidades masivas. De hecho, entre más datos, mejor.⁵¹

Haciendo eco de las palabras de Robert Mercer pronunciadas décadas atrás, Nilsson percibió que había datos por todos lados, para quien quisiera extraerlos, y que esto le venía bien a la clasificación en masa que hacían los algoritmos de aprendizaje automático.⁵² Era una creencia tan extendida que se había vuelto axiomática: los datos están ahí para adquirirse, refinarse y darles valor.

Los intereses creados fabricaron y apoyaron cuidadosamente esta creencia a lo largo del tiempo. Como señalan los sociólogos Marion Fourcade y Kieran Healy, el mandato de recopilar datos venía no solo de las profesiones que los utilizaban, sino también de sus instituciones y las tecnologías que desarrollaron:

La orden institucional que proviene de la tecnología es la más poderosa de todas: hacemos estas cosas porque podemos. […] Los profesionales recomiendan, el ambiente institucional exige y la tecnología permite a las organizaciones recoger tantos datos individuales como sea posible. No importa que la cantidad recopilada llegue a exceder ampliamente el alcance imaginativo o la capacidad analítica de una empresa. Se funciona bajo el supuesto de que eventualmente serán útiles; en otras palabras, valiosos. […] Las organizaciones contemporáneas están a la vez impulsadas culturalmente por el imperativo de los datos y poderosamente equipadas con las herramientas para desarrollarlo.⁵³

Esto produjo una especie de imperativo moral de recopilar datos para que los sistemas fueran mejores, sin importar el impacto negativo que pudiera causar en el futuro. Detrás de la cuestionable creencia de que “más es mejor” está la idea de que los individuos pueden ser completamente conocibles una vez que se recopilan suficientes piezas de datos.⁵⁴ Pero ¿qué cuenta como datos? La historiadora Lisa Gitelman señala que cada disciplina e institución “tiene sus propias normas y estándares para la imaginación de los datos”.⁵⁵ En el siglo XXI, los datos se han vuelto cualquier cosa que pueda guardarse.

Términos como “minería de datos” y frases como “los datos son el nuevo petróleo” fueron parte de un movimiento retórico que desplazó la noción que se tenía de los datos, de algo personal, íntimo o sujeto a la propiedad y el control individual a algo más inerte y no humano. Los datos se empezaron a describir como un recurso para ser consumido, un caudal a controlar o una inversión para ser aprovechada.⁵⁶ La expresión “datos como petróleo” se volvió un lugar común y, aunque sugería una imagen de los datos como materiales crudos que había que extraer, rara vez se usaba para hacer énfasis en los costos derivados de las industrias del petróleo y la minería: mano de obra mal remunerada, conflictos geopolíticos, agotamiento de recursos y consecuencias que se extienden más allá de los marcos temporales humanos.

Finalmente, la palabra “datos” se ha vuelto aséptica: esconde la materialidad tanto de sus orígenes como de sus fines. Y, si los datos se ven como algo abstracto e inmaterial, entonces resulta más fácil que caigan fuera de los entendimientos y las responsabilidades tradicionales del cuidado, el consentimiento y el riesgo. Como han argumentado los investigadores Luke Stark y Anna Lauren Hoffmann, la metáfora de los datos como “recursos naturales” que están esperando a ser descubiertos es un conocido truco retórico que ha sido utilizado durante siglos por los poderes coloniales.⁵⁷ La extracción se justifica si viene de una fuente primitiva y “sin refinar”.⁵⁸ Cuando se etiquetan los datos como “petróleo a la espera de ser extraído”, el aprendizaje automático comienza a verse como un proceso necesario de refinamiento.

Los datos también se han empezado a ver como capital, de acuerdo con las visiones neoliberales más amplias que sostienen que los mercados son las formas primarias de organización del valor. Una vez que las actividades humanas se expresan por medio de trazos digitales, y luego se contabilizan y clasifican dentro de métricas de puntuación, funcionan para extraer valor. Como han observado Fourcade y Healy, aquellos que tienen las señales de mercado correctas sobre los datos obtienen ganancias, como seguros con descuento y una mejor posición en los mercados.⁵⁹ A los grandes triunfadores de la economía convencional también les suele ir bien en la economía de datos, mientras que los más pobres se vuelven objetivos de las formas más dañinas de vigilancia y extracción. Cuando los datos se consideran una forma de capital, entonces todo se justifica a la hora de recopilar más. El sociólogo Jathan Sadowski sostiene del mismo modo que los datos hoy operan como una forma de capital. Sugiere que una vez que todo se entiende como datos, queda justificado el ciclo de extracción cada vez mayor:

La recolección de datos es, por lo tanto, impulsada por el ciclo perpetuo de la acumulación de capital, que a su vez impulsa al capital a construir y depender de un mundo en el que todo está hecho de datos. La supuesta universalidad de los datos replantea todo para que caiga bajo el dominio del capitalismo de datos. Todos los espacios deben estar sujetos a la datificación. Si el universo es concebido como una reserva potencialmente infinita, eso significa, por lo tanto, que la acumulación y circulación de datos se puede sostener para siempre.⁶⁰

Este impulso para acumular y circular es la poderosa ideología subyacente de los datos. La extracción masiva es la “nueva frontera de acumulación y el siguiente paso en el capitalismo”, sugiere Sadowski; la capa fundacional que hace que la IA funcione.⁶¹ Por lo tanto, hay industrias, instituciones e individuos que no quieren que esta frontera, en la que los datos están ahí para que los tome quien sea, sea cuestionada o desestabilizada.

Los modelos de aprendizaje automático necesitan flujos continuos de datos para ser más precisos. Pero las máquinas son asintóticas, nunca alcanzan la precisión total, lo que impulsa la justificación de extraer lo más posible de la mayor cantidad de personas para alimentar las refinerías de la IA. Esto ha creado un desplazamiento de ideas, como “sujetos humanos” (un concepto que surgió de los debates éticos del siglo XX) a la creación de “sujetos de datos”, aglomeraciones de datos sin subjetividad, contexto o derechos bien definidos.

LA ÉTICA AL ALCANCE DE LA MANO

Gran parte de la investigación sobre IA realizada en universidades se lleva a cabo sin ningún tipo de control ético. Pero si se están utilizando técnicas de aprendizaje automático para tomar decisiones en dominios tan sensibles como la educación y la salud, entonces ¿por qué no están sujetas a un mayor escrutinio? Para entender esta aparente negligencia, debemos observar las disciplinas precursoras de la IA. Antes del surgimiento del aprendizaje automático y de la ciencia de datos, no se consideraba a los campos de las matemáticas aplicadas, las estadísticas y las ciencias informáticas como formas de investigación sobre sujetos humanos.

En las primeras décadas de la IA, la investigación que usaba datos humanos solía verse como un riesgo mínimo.⁶² A pesar de que los conjuntos de datos en el aprendizaje automático a medida provienen de y representan a personas y sus vidas, la investigación que usaba esos conjuntos se veía como una forma de matemática aplicada que traía pocas consecuencias a los sujetos humanos. Las infraestructuras de protección ética, como las juntas revisoras institucionales (IRB, por su sigla en inglés) de las universidades, aceptaron esta posición durante años.⁶³ Inicialmente, esto tenía sentido: los IRB habían estado abrumadoramente centrados en los métodos comunes a la experimentación biomédica y psicológica, en los que las intervenciones conllevan claros riesgos para los sujetos individuales. La computación se veía como algo más abstracto.

Una vez que la IA se desplazó de los contextos de laboratorio de los años ochenta y noventa para adentrarse en situaciones del mundo real, como intentar predecir qué criminales reincidirían o quién debería recibir beneficios sociales, los daños potenciales se expandieron. Además, esos daños afectan tanto a comunidades enteras como a individuos. Pero todavía se asume con convicción que los conjuntos de datos que están disponibles al público plantean riesgos mínimos y, por lo tanto, no deberían estar sujetos a comisiones de ética.⁶⁴ Esta idea es producto de una era anterior, cuando resultaba más difícil mover los datos entre distintas locaciones y era muy costoso almacenarlos durante largos periodos. Esas suposiciones anteriores están fuera de sintonía con lo que está sucediendo actualmente en el aprendizaje automático. Ahora los conjuntos de datos se conectan con más facilidad, son reutilizables indefinidamente, actualizables continuamente y, con frecuencia, eliminados del contexto de recolección.

El perfil de riesgo de la IA está cambiando con rapidez, a medida que sus herramientas se vuelven más invasivas y los investigadores consiguen acceder con mayor facilidad a los datos, sin tener que interactuar con sus sujetos. Por ejemplo, un grupo de investigadores de aprendizaje automático publicó un artículo en el que aseguraba haber desarrollado un “sistema automático para clasificar crímenes”.⁶⁵ En particular, se había enfocado en determinar si un crimen violento estaba relacionado con las pandillas, lo que, según afirmaban, su red neuronal podía predecir con tan solo cuatro piezas de información: el arma, el número de sospechosos, el barrio y la ubicación del crimen. Hicieron esto usando un conjunto de datos del Departamento de Policía de Los Ángeles, que incluía miles de crímenes que la policía había etiquetado como relacionados con pandillas.

Los datos sobre pandillas están notoriamente sesgados y plagados de errores y, sin embargo, los investigadores los usan, junto con otros similares, como si fueran una fuente definitiva para entrenar sistemas de IA predictivos. Se ha demostrado que el conjunto de datos de CalGang, por ejemplo, ampliamente usado por la policía de California, posee importantes inexactitudes. El auditor estatal descubrió que un 23% de los cientos de registros que revisó no se habían corroborado adecuadamente para ser incluidos. El conjunto de datos contenía también 42 menores, 28 de los cuales se habían incluido porque habían “admitido pertenecer a una pandilla”.⁶⁶ La mayoría de los adultos en la lista nunca habían sido acusados de ningún crimen, pero una vez que pasaron a formar parte de la base de datos no había manera de eliminar su nombre de ella. Las razones para ser incluidos en esa base podían ser tan simples como charlar con un vecino con una camisa roja; con estas justificaciones insignificantes, los negros y latinos fueron desproporcionadamente agregados a la lista.⁶⁷

Cuando los investigadores presentaron su proyecto de predicción de crímenes de pandilla en una conferencia, algunos participantes quedaron preocupados. Como reportó la revista Science, las preguntas de la audiencia incluían: “¿Cómo podía el equipo estar seguro de que los datos de entrenamiento no contenían sesgos?” y “¿Qué pasa cuando se etiqueta a alguien equivocadamente como miembro de una pandilla?”. Hau Chan, el científico de la computación que ahora está en la Harvard University y presentó el trabajo, respondió que no sabía cómo se usaría esta nueva herramienta. “[Este es] el tipo de pregunta ética que no sé cómo responder adecuadamente”, dijo, pues él era solo “un investigador”. Uno de los miembros del público respondió citando la letra de una canción satírica de Tom Lehrer sobre el ingeniero aeroespacial Wernher von Braun: “Una vez que despegan los cohetes, ¿a quién le importa dónde caen?”.⁶⁸

Esta separación entre las preguntas éticas y técnicas refleja un problema más amplio en el campo, donde no se reconoce la responsabilidad por el daño o se considera que está más allá del alcance de la investigación. Como escribe Anna Lauren Hoffmann,

el problema aquí no es solo de conjuntos de datos sesgados o algoritmos injustos y sus consecuencias imprevistas. También es indicativo de un problema más persistente, en el que los investigadores están reproduciendo activamente ideas que dañan a las comunidades vulnerables y refuerzan las injusticias actuales. Incluso, si nunca llega a desarrollarse el sistema para identificar la violencia de las pandillas que propuso Harvard, ¿acaso un cierto daño no está ya hecho? ¿No era su proyecto un acto de violencia cultural en sí mismo?⁶⁹

Dejar de lado las cuestiones éticas es dañino en sí mismo y perpetúa la falsa idea de que la investigación científica ocurre en un vacío, sin responsabilidad por las ideas que propaga.

La reproducción de ideas dañinas es particularmente peligrosa hoy en día, cuando la IA se ha desplazado y ha pasado de ser una disciplina experimental usada solo en laboratorios a probarse en amplia escala con millones de personas. Los métodos técnicos pueden pasar rápidamente de un artículo para una conferencia a desplegarse en sistemas de producción, donde las presunciones dañinas pueden arraigar y ser difíciles de revertir.

El aprendizaje automático y los métodos de la ciencia de datos pueden crear una relación abstracta entre los investigadores y sus sujetos en la que el trabajo se hace a distancia, alejado de la comunidad y los individuos en riesgo de ser dañados. Esta relación “al alcance de la mano” entre los investigadores de la IA y la gente cuyas vidas se ven reflejadas en las bases de datos es una práctica de larga data. Ya en 1976, cuando el científico de la IA Joseph Weizenbaum escribió su mordaz crítica a este campo, señaló que la ciencia de la computación buscaba eludir todos los contextos humanos.⁷⁰ Argumentó que los sistemas de datos permitían que los científicos operaran durante los tiempos de guerra a una distancia psicológica de las personas “que serían mutiladas y asesinadas por los sistemas de armas que surgirían de las ideas que comunicaron”.⁷¹ La respuesta, según Weizenbaum, era lidiar directamente con lo que representan realmente los datos:

La enseñanza, por lo tanto, es que el científico y el tecnólogo tienen que esforzarse activamente, mediante actos de voluntad y de la imaginación, para reducir semejantes distancias psicológicas, para contrarrestar las fuerzas que tienden a exonerarlo de las consecuencias de sus actos. Deben (tan simple como esto) pensar en lo que están haciendo realmente.⁷²

Weizenbaum esperaba que los científicos y tecnólogos pensaran con mayor profundidad acerca de las consecuencias de su trabajo… y sobre a quién podía dañar. Pero esto no se volvería el estándar en el campo de la IA. En vez de eso, los datos hoy se ven con más frecuencia como algo que se puede tomar a voluntad, usar sin restricciones e interpretar sin contexto. Existe una voraz cultura internacional de recolección de datos que puede ser explotadora e invasiva y producir daños perdurables.⁷³ Y existen muchas industrias, instituciones e individuos con fuertes incentivos para mantener esta actitud colonizadora (en la que los datos están ahí para tomarse) y no quieren que se la cuestione o regule.

LA CAPTURA DE LOS BIENES COMUNES

La actual cultura generalizada de extracción de datos sigue creciendo, a pesar de las preocupaciones acerca de la privacidad, la ética y la seguridad. Al investigar los miles de bases de datos que están disponibles gratis para el desarrollo de la IA, pude observar lo que reconocen los sistemas técnicos y cómo se representa el mundo para las computadoras de una manera que los humanos rara vez ven. Hay bases de datos gigantescas llenas de selfis, tatuajes, padres caminando con sus hijos, gestos de las manos, gente manejando sus autos, cometiendo crímenes en filmaciones de circuito cerrado, y cientos de acciones cotidianas como sentarse, saludar, levantar un vaso o llorar. Cada forma de datos biográficos (incluidos forenses, biométricos, sociométricos y psicométricos) se captura y registra en bases de datos para que los sistemas de IA encuentren patrones y hagan evaluaciones.

Los conjuntos de datos de entrenamiento despiertan preguntas que resultan complejas desde las perspectivas ética, metodológica y epistemológica. Muchos de ellos fueron creados sin el conocimiento o el consentimiento de la gente, y se recolectaron de fuentes en línea como Flickr, el buscador de imágenes de Google y YouTube o fueron donados por agencias de gobierno como el FBI. Estos datos ahora se usan para expandir los sistemas de reconocimiento facial, modular las tasas de los seguros de salud, penalizar a los conductores distraídos y alimentar herramientas policiales de predicción. Pero las prácticas de la extracción de datos se están expandiendo todavía más profundamente hacia áreas de la vida humana que antes les estaban vedadas o resultaban demasiado costosas. Las compañías tecnológicas han usado una variedad de métodos para ganar terreno. Se recolectan los datos de voz de dispositivos que yacen en las mesadas de cocina o en las mesitas de luz; los datos físicos provienen de relojes de muñeca y de teléfonos que llevan en sus bolsillos; los datos acerca de qué libros y periódicos se leen provienen de tabletas y computadoras portátiles; los gestos y las expresiones faciales se compilan y evalúan en lugares de trabajo y salones de clases.

Recolectar datos de la gente para construir sistemas de IA plantea ciertos interrogantes sobre la privacidad. Tomemos, por ejemplo, el acuerdo que la Royal Free London NHS Foundation Trust de Gran Bretaña hizo con la subsidiaria de Google DeepMind para compartir los registros de datos de 1.600.000 pacientes. El National Health Service (NHS) de Gran Bretaña es una institución venerada, encargada de brindar atención médica que, en su mayoría, es gratis para todos, a la vez que mantiene los datos de los pacientes a salvo. Pero, cuando se investigó el acuerdo con DeepMind, se descubrió que la compañía había violado leyes de protección de datos al no dar información suficiente a sus pacientes.⁷⁴ En sus conclusiones, la delegada de información señaló que “el precio de la innovación no necesita ser la erosión de los derechos fundamentales a la privacidad”.⁷⁵

Sin embargo, hay otros problemas graves que no reciben tanta atención mediática como la privacidad. Las prácticas de extracción de datos y de construcción de conjuntos de datos de entrenamiento se basan en la captura comercializada de lo que antaño formaba parte de los bienes comunes. Esta forma particular de erosión es una privatización furtiva, una extracción del valor del conocimiento de los bienes públicos. Un conjunto de datos puede estar disponible al público, pero el metavalor de los datos (el modelo creado por aquel) es de propiedad privada. Sin duda, se pueden hacer muchas cosas buenas con los datos públicos. Pero hay una expectativa social, y hasta cierto punto técnica, de que el valor de los datos compartidos en línea por instituciones y espacios públicos debería regresar al bien público en forma de otros bienes comunes. Lo que vemos, en cambio, es a un puñado de empresas privadas que ahora tienen mucho poder para extraer conocimientos y ganancias de esas fuentes. La nueva fiebre del oro de la IA consiste en encerrar distintos campos del conocimiento, sentimiento y acción humanos —cada tipo de dato disponible— y atraparlos todos en una lógica expansionista de recolección sin fin. Se ha vuelto un saqueo del espacio público.

Básicamente, a lo largo de muchos años, las prácticas de la acumulación de datos han contribuido a crear una poderosa lógica extractiva, una lógica que ahora es un elemento central del funcionamiento del campo de la IA. Esta lógica ha enriquecido a las compañías tecnológicas que tienen los canales de datos más grandes, mientras que los espacios libres de recolección de datos han disminuido dramáticamente. Como predijo Vannevar Bush, las máquinas tienen apetitos voraces. Pero cómo y con qué se las alimenta tiene un impacto tremendo en la manera en que interpretarán el mundo, y las prioridades de sus maestros siempre van a delinear la forma en que esa visión se monetiza. Al mirar las capas de datos de entrenamiento que dan forma e informan los modelos y algoritmos de la IA, podemos ver que recolectar y etiquetar datos sobre el mundo es una intervención social y política, incluso si se disfraza de una intervención meramente técnica.

El modo en que los datos se entienden, capturan, clasifican y nombran es un acto fundamentalmente de creación y contención del mundo. Tiene enormes ramificaciones para la forma en que funciona la IA en el mundo y para las comunidades que se verán más afectadas. El mito de la recolección de datos como una práctica benevolente de la computación ha oscurecido sus operaciones de poder y protegido a aquellos que se benefician más, lo que les permite a la vez evadir cualquier responsabilidad por sus consecuencias.

¹ National Institute of Standards and Technology, “Special Database 32 - Multiple Encounter Dataset (MEDS)”, disponible en línea: <www.nist.gov>.

² Andrew Russell, Open Standards and the Digital Age. History, Ideology, and Networks, Nueva York, Cambridge University Press, 2014.

³ Los investigadores del NIST (llamado entonces National Bureau of Standards [NBS]) comenzaron a trabajar en la primera versión del Automated Fingerprint Identification System [Sistema Automatizado de Identificación de Huellas Dactilares] del FBI a fines de la década de 1960. Véase Michael D. Garris y Charles L. Wilson, “NIST Biometrics Evaluations and Developments”, en National Institute of Standards and Technology, NISTIR 7204, febrero de 2005, p. 1, disponible en línea: <https://www.govinfo.gov/content/pkg/GOVPUBC13-1ba4778e3b87bdd6ce660349317d3263/pdf/GOVPUB-C13-1ba4778e3b87bdd6ce660349317d3263.pdf>.

⁴ Ibid.

⁵ Ibid., p. 12.

⁶ Allan Sekula, “The Body and the Archive”, en October, vol. 39, 1986, p. 17, disponible en línea: <doi.org> [trad. esp.: “El cuerpo y el archivo”, en Gloria Picazo y Jorge Ribalta (eds.), Indiferencia y singularidad, Barcelona, Gustavo Gili, 2003].

⁷ Ibid., pp. 18 y 19.

⁸ Ibid., p. 17.

⁹ Véase, por ejemplo, Patrick Grother et al., “The 2017 IARPA Face Recognition Prize Challenge (FRPC)”, en National Institute of Standards and Technology, NISTIR 8197, noviembre de 2017, disponible en línea: <https://nvlpubs.nist.gov/nistpubs/ir/2017/nist.IR.8197.pdf>.

¹⁰ Véase, por ejemplo, Ever AI, “Ever AI Leads All US Companies on NIST’s Prestigious Facial Recognition Vendor Test”, en GlobeNewswire, 27 de noviembre de 2018, disponible en línea: <www.globenewswire.com>.

¹¹ Andrew P. Founds et al., “NIST Special Database 32: Multiple Encounter Dataset II (MEDS-II)”, en National Institute of Standards and Technology, NISTIR 7807, febrero de 2011, disponible en línea: <https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=908383>.

¹² Steven Curry et al., “NIST Special Database 32: Multiple Encounter Dataset I (MEDS-I)”, National Institute of Standards and Technology, NISTIR 7679, diciembre de 2009, p. 8, disponible en línea: <https://nvlpubs.nist.gov/nistpubs/Legacy/IR/nistir7679.pdf>.

¹³ Florian Jaton, “We Get the Algorithms of Our Ground Truths: Designing Referential Databases in Digital Image Processing”, en Social Studies of Science, vol. 47, núm. 6, 2017, pp. 811-840, disponible en línea: <doi.org>.

¹⁴ Nils J. Nilsson, The Quest for Artificial Intelligence. A History of Ideas and Achievements, Nueva York, Cambridge University Press, 2009, p. 398.

¹⁵ “ImageNet Large Scale Visual Recognition Competition (ILSVRC)”, disponible en línea: <image-net.org>.

¹⁶ A finales de la década de 1970, Ryszard Michalski escribió un algoritmo basado en variables simbólicas y reglas lógicas. Este idioma fue popular en las décadas de 1980 y 1990, pero a medida que las reglas de toma de decisiones y calificación se volvieron más complejas, el idioma se volvió menos útil. Al mismo tiempo, el potencial de usar grandes conjuntos de entrenamiento provocó un cambio en este agrupamiento conceptual hacia los enfoques contemporáneos de aprendizaje automático. Ryszard S. Michalski, “Pattern Recognition as Rule-Guided Inductive Inference”, en IEEE Transactions on Pattern Analysis Machine Intelligence, vol. 2, núm. 4, 1980, pp. 349-361.

¹⁷ Vannevar Bush, “As We May Think”, en The Atlantic, julio de 1945, disponible en línea: <https://www.theatlantic.com/magazine/archive/1945/07/ as-we-may-think/303881/>.

¹⁸ Jennifer S. Light, “When Computers Were Women”, en Technology and Culture, vol. 40, núm. 3, 1999, pp. 455-483, disponible en línea: <www.jstor.org>, y Mar Hicks, Programmed Inequality. How Britain Discarded Women Technologists and Lost Its Edge in Computing, Cambridge, MIT Press, 2017.

¹⁹ Como ha sido descripto en Stuart J. Russell y Peter Norvig, Artificial Intelligence. A Modern Approach, 3ª ed., Upper Saddle River, Pearson, 2010, p. 546 [trad. esp.: Inteligencia artificial. Un enfoque moderno, Madrid, Pearson, 2004].

²⁰ Xiaochang Li, “Divination Engines: A Media History of Text Prediction”, tesis doctoral, New York University, 2017, p. 143.

²¹ Ibid., p. 144.

²² Peter Brown y Robert Mercer, “Oh, Yes, Everything’s Right on Schedule, Fred”, ponencia en Twenty Years of Bitext Workshop, en Empirical Methods in Natural Language Processing Conference, Seattle, octubre de 2013, disponible en línea: <cs.jhu.edu>.

²³ Stainslaw Lem, “The First Sally (A), or Trurl’s Electronic Bard”, en James Gunn (ed.), The Road to Science Fiction, vol. 4: From Here to Forever, Lanham, Scarecrow, 2003, p. 199.

²⁴ Ibid.

²⁵ Peter Brown y Robert Mercer, op. cit.

²⁶ Mitchell P. Marcus, Mary Ann Marcinkiewicz y Beatrice Santorini, “Building a Large Annotated Corpus of English: The Penn Treebank”, en Computational Linguistics, vol. 19, núm. 2, 1993, pp. 313-330, disponible en línea: <dl.acm.org>.

²⁷ Bryan Klimt y Yiming Yang, “The Enron Corpus: A New Dataset for Email Classification Research”, en Jean-François Boulicat et al. (eds.), Machine Learning: ECML 2004, Berlín, Springer, 2004, pp. 217-226.

²⁸ Pat Wood III, William L. Massey y Nora Mead Brownell, “FERC Order Directing Release of Information”, Federal Energy Regulatory Commission, 21 de marzo de 2003, p. 12.

²⁹ Nathan Heller, “What the Enron Emails Say about Us”, en The New Yorker, 17 de julio de 2017, disponible en línea: <www.newyorker.com>.

³⁰ Janet M. Baker et al., “Research Developments and Directions in Speech Recognition and Understanding, Part 1”, en IEEE Signal Processing Magazine, abril de 2009, disponible en línea: <dspace.mit.edu>.

³¹ He participado en algunos trabajos preliminares que han buscado abordar esta brecha. Véase, por ejemplo, Timnit Gebru et al., “Datasheets for Datasets”, en arXiv, 23 de marzo de 2018, disponible en línea: <arxiv.org>. Otros investigadores han buscado abordar el problema en los modelos de IA; véanse Margaret Mitchell et al., “Model Cards for Model Reporting”, en FAT* ’19: Proceedings of the Conference on Fairness, Accountability, and Transparency, Atlanta, ACM Press, 2019, pp. 220-229, disponible en línea: <doi.org>, e Inioluwa Deborah Raji y Joy Buolamwini, “Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products”, en Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society, 2019, pp. 429-435.

³² P. Jonathon Phillips, Patrick J. Rauss y Sandor Z. Der, “FERET (Face Recognition Technology) Recognition Algorithm Development and Test Results”, Adelphi, Army Research Laboratory, octubre de 1996, p. 9, disponible en línea: <apps.dtic.mil>.

³³ Ibid., p. 61.

³⁴ Ibid., p. 12.

³⁵ Véanse Salman Aslam, “Facebook by the Numbers (2019): Stats, Demographics & Fun Facts”, en Omnicore, 6 de enero de 2020, disponible en línea: <www.omnicoreagency.com>, y “Advertising on Twitter”, en Twitter for Business, disponible en línea: <https://business.twitter.com/en/Twitter-ads-signup.html>.

³⁶ Fei-Fei Li, cit. en Dave Gershgorn, “The Data That Transformed AI Research - and Possibly the World”, en Quartz, 26 de julio de 2017, disponible en línea: <qz.com>.

³⁷ Jia Deng et al., “ImageNet: A Large-Scale Hierarchical Image Database”, en 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255, disponible en línea: <https://doi.org/10.1109/CVPR.2009.520 6848>.

³⁸ Dave Gershgorn, op. cit.

³⁹ Ibid.

⁴⁰ John Markoff, “Seeking a Better Way to Find Web Images”, en The New York Times, 19 de noviembre de 2012, disponible en línea: <www.nytimes.com>.

⁴¹ Elizabeth Hernandez, “CU Colorado Springs Students Secretly Photographed for Government-Backed Facial-Recognition Research”, en The Denver Post, 27 de mayo de 2019, disponible en línea: <www.denverpost.com>.

⁴² Zhimeng Zhang et al., “Multi-Target, Multi-Camera Tracking by Hierarchical Clustering: Recent Progress on DukeMTMC Project”, en arXiv, 27 de diciembre de 2017, disponible en línea: <arxiv.org>.

⁴³ Jake Satisky, “A Duke Study Recorded Thousands of Students’ Faces; Now They’re Being Used All over the World”, en Chronicle, 12 de junio de 2019, disponible en línea: <www.dukechronicle.com>.

⁴⁴ Russell Stewart, Brainwash Dataset, Stanford Digital Repository, 2015.

⁴⁵ Melissa Locker, “Microsoft, Duke, and Stanford Quietly Delete Databases with Millions of Faces”, en Fast Company, 6 de junio de 2019, disponible en línea: <www.fastcompany.com>.

⁴⁶ Madhumita Murgia y Max Harlow, “Who’s Using Your Face? The Ugly Truth about Facial Recognition”, en Financial Times, 19 de abril de 2019, disponible en línea: <www.ft.com>. Cuando Financial Times expuso el contenido de este conjunto de datos, Microsoft lo eliminó de Internet y un portavoz de la empresa afirmó que lo habían hecho solo “porque el desafío de la investigación ha terminado”. Melissa Locker, op. cit.

⁴⁷ Lorenzo Franceschi-Bicchierai, “Redditor Cracks Anonymous Data Trove to Pinpoint Muslim Cab Drivers”, en Mashable, 28 de enero de 2015, disponible en línea: <mashable.com>.

⁴⁸ Anthony Tockar, “Riding with the Stars: Passenger Privacy in the NYC Taxicab Dataset”, 15 de septiembre de 2014, disponible en línea: <agkn.wordpress.com>.

⁴⁹ Kate Crawford y Jason Schultz, “Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms”, en Boston College Law Review, vol. 55, núm. 1, 2014, disponible en línea: <lawdigitalcommons.bc.edu>.

⁵⁰ Lorenzo Franceschi-Bicchierai, op. cit.

⁵¹ Nils J. Nilsson, op. cit., p. 495.

⁵² Y, como bien nos recordó Geoff C. Bowker: “Los datos brutos son a la vez un oxímoron y una mala idea; al contrario, los datos deberían cocinarse con esmero”. [Aquí está haciendo un juego de palabras: raw data, datos brutos, significa literalmente datos crudos. (N. del T.)] Geoffrey C. Bowker, Memory Practices in the Sciences, Cambridge, MIT Press, 2005, pp. 184 y 185.

⁵³ Marion Fourcade y Kieran Healy, “Seeing Like a Market”, en Socio-Economic Review, vol. 15, núm. 1, 2016, p. 13, disponible en línea: <doi.org> (el énfasis me pertenece).

⁵⁴ John W. Meyer y Ronald L. Jepperson, “The ‘Actors’ of Modern Society: The Cultural Construction of Social Agency”, en Sociological Theory, vol. 18, núm. 1, 2000, pp. 100-120.

⁵⁵ Lisa Gitelman (ed.), “Raw Data” Is an Oxymoron, Cambridge, MIT Press, 2013, p. 3.

⁵⁶ Muchos investigadores han examinado de cerca el trabajo que realizan estas metáforas. Los profesores de ciencias de la comunicación Cornelius Puschmann y Jean Burgess analizaron las metáforas de datos comunes y señalaron dos categorías generalizadas: los datos “como una fuerza natural que debe controlarse y [los datos] como un recurso que debe consumirse”. Cornelius Puschmann y Jean Burgess, “Big Data, Big Questions: Metaphors of Big Data”, en International Journal of Communication, vol. 8, 2014, pp. 1690-1709. Los investigadores Tim Hwang y Karen Levy sugieren que describir los datos como “el nuevo petróleo” conlleva connotaciones que hacen verlos costosos, a la vez que se sugiere la posibilidad de “grandes beneficios para quienes tengan los medios para extraerlos”. Tim Hwang y Karen Levy, “‘The Cloud’ and Other Dangerous Metaphors”, en The Atlantic, 20 de enero de 2015, disponible en línea: <www.theatlantic.com>.

⁵⁷ Luke Stark y Anna Lauren Hoffmann, “Data Is the New What? Popular Metaphors and Professional Ethics in Emerging Data Culture”, en Journal of Cultural Analytics, vol. 1, núm. 1, 2019, disponible en línea: <doi.org>.

⁵⁸ Los académicos de las ciencias de la comunicación Nick Couldry y Ulises A. Mejías llaman a esto “colonialismo de datos”, impregnado de las prácticas históricas depredadoras del colonialismo, pero atado —y oscurecido— por los métodos informáticos contemporáneos. Sin embargo, como han demostrado otros estudiosos, esta terminología es de doble filo porque puede ocultar los daños reales y continuos del colonialismo. Nick Couldry y Ulises A. Mejías, “Data Colonialism: Rethinking Big Data’s Relation to the Contemporary Subject”, en Television and New Media, vol. 20, núm. 4, 2019, pp. 336-349; Nick Couldry y Ulises A. Mejías, The Costs of Connection. How Data Is Colonizing Human Life and Appropriating It for Capitalism, Stanford, Stanford University Press, 2019, y María Soledad Segura y Silvio Waisbord, “Between Data Capitalism and Data Citizenship”, en Television and New Media, vol. 20, núm. 4, 2019, pp. 412-419.

⁵⁹ Se refieren a este tipo de capital como “ubercapital”. Marion Fourcade y Kieran Healy, op. cit.

⁶⁰ Jathan Sadowski, “When Data Is Capital: Datafication, Accumulation, and Extraction”, en Big Data and Society, vol. 6, núm. 1, 2019, p. 8, disponible en línea: <doi.org>.

⁶¹ Ibid., p. 9.

⁶² Aquí me baso en una revisión de la historia de los seres humanos como sujetos y estudios de datos a gran escala en coautoría con Jake Metcalf. Véanse Jacob Metcalf y Kate Crawford, “Where Are Human Subjects in Big Data Research? The Emerging Ethics Divide”, en Big Data and Society, vol. 3, núm. 1, 2016, pp. 1-14, disponible en línea: <https://doi.org/10.1177/2053 951716650211>.

⁶³ “Federal Policy for the Protection of Human Subjects”, en Federal Register, 8 de septiembre de 2015, disponible en línea: <www.federalregister.gov>.

⁶⁴ Véase Jacob Metcalf y Kate Crawford, op. cit.

⁶⁵ Sungyong Seo et al., “Partially Generative Neural Networks for Gang Crime Classification with Partial Information”, en Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, diciembre de 2018, pp. 257-263, disponible en línea: <doi.org>. Jeffrey Brantingham, uno de los autores, también es cofundador de la controvertida empresa de vigilancia predictiva PredPol. Véase Ali Winston e Ingrid Burrington, “A Pioneer in Predictive Policing Is Starting a Troubling New Project”, en The Verge (blog), 26 de abril de 2018, disponible en línea: <www.theverge.com>.

⁶⁶ California State Auditor, “The CalGang Criminal Intelligence System”, informe 2015-130, Sacramento, agosto de 2016, disponible en línea: <www.auditor.ca.gov>.

⁶⁷ Sara Libby, “Scathing Audit Bolsters Critics’ Fears about Secretive State Gang Database”, en Voice of San Diego, 11 de agosto de 2016, disponible en línea: <www.voiceofsandiego.org>.

⁶⁸ Matthew Hutson, “Artificial Intelligence Could Identify Gang Crimes - and Ignite an Ethical Firestorm”, en Science, 28 de febrero de 2018, disponible en línea: <www.sciencemag.org>.

⁶⁹ Anna Lauren Hoffmann, “Data Violence and How Bad Engineering Choices Can Damage Society”, en Medium (blog), 30 de abril de 2018, disponible en línea: <medium.com>.

⁷⁰ Joseph Weizenbaum, Computer Power and Human Reason. From Judgment to Calculation, San Francisco, W. H. Freeman, 1976, p. 266.

⁷¹ Ibid., pp. 275 y 276.

⁷² Ibid., p. 276.

⁷³ Para obtener más información sobre la historia de la extracción de datos y conocimientos de comunidades marginadas, véanse Sasha Costanza-Chock, Design Justice. Community-Led Practices to Build the Worlds We Need, Cambridge, MIT Press, 2020, y Catherine D’Ignazio y Lauren F. Klein, Data Feminism, Cambridge, MIT Press, 2020.

⁷⁴ Timothy Revell, “Google DeepMind’s NHS Data Deal ‘Failed to Comply’ with Law”, en New Scientist, 3 de julio de 2017, disponible en línea: <www.newscientist.com>.

⁷⁵ “Royal Free - Google DeepMind Trial Failed to Comply with Data Protection Law”, en Information Commissioner’s Office, 3 de julio de 2017.

IV. La clasificación

ESTOY RODEADA de cráneos humanos. Esta habitación contiene casi quinientos, recolectados en las primeras décadas del siglo XIX. Todos están barnizados, con números inscriptos con tinta negra sobre el hueso frontal. Delicados círculos caligráficos delimitan las áreas del cráneo asociadas en la frenología con cualidades particulares, como la “Benevolencia” y la “Veneración”. Algunos llevan descripciones en mayúsculas, con palabras como “Holandés”, “Peruano de la raza inca” o “Lunático”. Cada uno fue minuciosamente pesado, medido y etiquetado por el craneólogo Samuel Morton. Morton era un médico, historiador natural y miembro de la Academy of Natural Sciences de Filadelfia. Recolectó estos cráneos humanos por todo el mundo, comerció con una red de científicos y cazadores que traían especímenes para sus experimentos, a veces habiendo saqueado tumbas.¹ Hacia el final de su vida, en 1851, Morton había juntado más de mil cráneos, la colección más grande del mundo para la época.² Gran parte del archivo se encuentra ahora almacenado en la sección de antropología del Penn Museum de Filadelfia.

Morton no era el clásico frenólogo, porque no creía que la personalidad pudiera leerse examinando la forma de la cabeza. Más bien, su fin era clasificar y ordenar a las razas humanas “de manera objetiva”, comparando las características físicas de sus cráneos. Para conseguir esto los dividió entre las cinco “razas” del mundo: africana, nativa americana, caucásica, malaya y mongola; una taxonomía común para la época, que refleja la mentalidad colonialista que dominaba su geopolítica.³ Este era el punto de vista del poligenismo, la creencia de que las distintas razas humanas habían evolucionado separadamente en diferentes épocas; creencia legitimada por académicos blancos europeos y estadounidenses y recibida por los exploradores coloniales para justificar la violencia y el despojo racistas.⁴ La craneometría creció hasta volverse uno de sus métodos principales, ya que pretendía evaluar con precisión las diferencias y los méritos humanos.⁵

Muchos de los cráneos que observo pertenecen a personas nacidas en África que murieron, sin embargo, esclavizadas en las Américas. Morton los midió llenando las cavidades craneales con perdigones de plomo y luego vertiéndolos en cilindros y midiendo el volumen de plomo en pulgadas cúbicas.⁶ Publicó sus resultados y los comparó con cráneos que había obtenido de otros lugares: por ejemplo, sostuvo que la gente blanca tenía los cráneos más grandes, mientras que los negros estaban en la parte más baja de la escala. Los gráficos de Morton de los volúmenes medio por raza se consideraron la vanguardia de la ciencia de la época. Su trabajo se citó como objetivo durante el resto del siglo, datos duros que probaban la inteligencia relativa de las razas humanas y la superioridad biológica de la raza caucásica. Esta investigación fue usada en Estados Unidos para mantener la legitimidad de la esclavitud y la segregación racial.⁷ Como se consideraba la ciencia de vanguardia en la época, se la utilizó para autorizar la opresión racial hasta mucho después de que los estudios dejaran de citarse.

Pero el trabajo de Morton no era el tipo de evidencia que decía ser. Como describe Stephen Jay Gould en su influyente La falsa medida del hombre:

En definitiva, y para decirlo sin rodeos, las síntesis de Morton son un popurrí de manipulaciones y artimañas que claramente tienen por objeto controlar creencias que ya se tenían de antes. Y, sin embargo (y este es el aspecto más intrigante del caso), no encuentro ninguna evidencia de un fraude consciente. […] La prevalencia de artimañas inconscientes, por otro lado, sugiere una conclusión general respecto al contexto social de la ciencia. Ya que, si los científicos pueden honestamente engañarse a sí mismos hasta el punto en que lo hizo Morton, entonces se pueden encontrar prejuicios en todas partes, incluso en aspectos básicos como medir huesos y hacer cuentas.⁸

Gould, y muchos otros desde entonces, han vuelto a pesar los cráneos y a examinar la evidencia de Morton.⁹ Este cometió equivocaciones y errores de cálculo, así como omisiones de procedimiento, como ignorar el hecho básico de que las personas más grandes tienen cerebros más grandes.¹⁰ Eligió selectivamente muestras que respaldaban sus creencias sobre una supremacía blanca y eliminó las submuestras que embarullaban sus promedios. Evaluaciones contemporáneas de los cráneos en el Penn Museum no muestran diferencias significativas entre las personas, incluso utilizando los datos de Morton.¹¹ Pero los prejuicios previos, la manera de ver el mundo, le habían dado forma a lo que él creía que era una ciencia objetiva, que era más bien un bucle que se perpetuaba a sí mismo, influyendo sus resultados tanto como los mismos cráneos llenos con plomo.

Un cráneo de la colección de Morton con la inscripción “lunático”. Fotografía de Kate Crawford.

La craneometría era, como indica Gould, “la principal ciencia numérica del determinismo biológico durante el siglo XIX” y se basaba en “errores atroces” en términos de sus supuestos fundamentales: que el tamaño del cerebro equivalía a la inteligencia, que había razas humanas separadas que eran especies biológicas distintas y que esas razas podían ordenarse jerárquicamente de acuerdo con su intelecto y personalidad innata.¹² En última instancia, este tipo de ciencia racial fue desacreditada, pero, como ha argumentado Cornel West, sus metáforas, su lógica y sus categorías dominantes no solo respaldaron la supremacía blanca, sino que también volvieron posibles algunas ideas políticas específicas acerca de la raza, al mismo tiempo que le cerraban la puerta a otras.¹³

El legado de Morton presagia los problemas epistemológicos presentes en la medición y la clasificación en la inteligencia artificial (IA). La correlación de la morfología craneal con la inteligencia y, en última instancia, los reclamos de derechos legales, funcionan como una coartada técnica para el colonialismo y la esclavitud.¹⁴ Si bien existe la tendencia a ocuparse de los errores a la hora de medir los cráneos y cómo corregirlos, el error más grande es la visión de mundo subyacente que animó esta metodología. La meta, por lo tanto, no debería ser pedir mediciones de cráneo más precisas para apuntalar los modelos racistas de inteligencia, sino condenar el método por completo. Las prácticas de clasificación que Morton usó eran inherentemente políticas, y sus inválidas suposiciones sobre la inteligencia, la raza y la biología tuvieron efectos sociales y económicos de gran alcance.

La política de clasificación es una práctica central de la IA. Las prácticas de clasificación dan cuenta de cómo se reconoce y produce la inteligencia de las máquinas, desde los laboratorios universitarios hasta la industria tecnológica. Como vimos en el capítulo anterior, los artefactos en el mundo son transformados en datos por medio de extracciones, mediciones, etiquetado y ordenamiento, y esto se vuelve, intencionalmente o no, una verdad fundamental inestable para los sistemas técnicos que son entrenados con esos datos. Y cuando se demuestra que algún sistema de IA produce resultados discriminatorios dentro de las categorías de raza, clase, género, discapacidad o edad, las compañías enfrentan grandes presiones para reformar sus herramientas o diversificar sus datos. Pero el resultado suele ser una respuesta limitada, por lo general un intento de abordar los problemas técnicos y los datos sesgados para hacer que el sistema de IA parezca más justo. Lo que se suele olvidar es una serie de preguntas más fundamentales: ¿cómo funciona la clasificación en el aprendizaje automático? ¿Qué está en juego cuando hacemos clasificaciones? ¿De qué maneras interactúan las clasificaciones con lo que ha sido clasificado? ¿Y qué teorías sociales y políticas tácitas subyacen y están respaldadas por estas clasificaciones del mundo?

En su estudio de referencia sobre la clasificación, Geoffrey Bowker y Susan Leigh Star escriben que “las clasificaciones son tecnologías poderosas. Incrustadas en infraestructuras operativas, se vuelven relativamente invisibles, sin perder ni un ápice de su poder”.¹⁵ La clasificación es un acto de poder, ya sea etiquetando imágenes en conjuntos de datos de entrenamiento, rastreando personas por medio del reconocimiento facial o llenando cráneos con plomo. Pero las clasificaciones pueden desaparecer, como observan Bowker y Star, “dentro de la estructura, dentro del hábito, dentro de lo que se da por sentado”.¹⁶ Podemos olvidar fácilmente que las clasificaciones que se eligen casualmente para darle forma a un sistema técnico pueden jugar un papel dinámico a la hora de delinear el mundo social y material.

La tendencia a enfocarse en el asunto de los sesgos nos ha alejado de la tarea de evaluar las prácticas centrales de la clasificación en la IA, junto con las políticas que la acompañan. Para ver todo esto en acción, en este capítulo exploraremos algunos de los conjuntos de datos de entrenamiento del siglo XXI y observaremos la manera en que sus patrones de ordenamiento social naturalizan las jerarquías y magnifican las desigualdades. También veremos los límites de los debates sobre el sesgo en la IA, en los que a menudo se propone una paridad matemática para producir “sistemas más justos”, en vez de lidiar con las estructuras sociales, políticas y económicas subyacentes. En definitiva, consideraremos la forma en que la IA usa la clasificación para codificar el poder.

SISTEMAS DE LÓGICA CIRCULAR

Diez años atrás, sugerir que podía existir un problema de sesgo en la IA habría sido algo poco convencional. Ahora, en cambio, abundan los ejemplos de sistemas discriminatorios, desde los sesgos de género en los algoritmos de solvencia de Apple al racismo en el software de evaluación de reincidencia criminal COMPAS y a la discriminación por edad en el enfoque de la publicidad de Facebook.¹⁷ Las herramientas de reconocimiento de imágenes clasifican incorrectamente los rostros de personas negras, los chatbots usan lenguaje racista y misógino, el software de reconocimiento de voz no consigue identificar las voces femeninas y las plataformas de redes sociales muestran anuncios de trabajos siempre mejor remunerados para los hombres que para las mujeres.¹⁸ Como han demostrado los académicos Ruha Benjamin y Safiya Noble, hay cientos de ejemplos a lo largo del ecosistema tecnológico.¹⁹ Muchos otros nunca han sido detectados o admitidos públicamente.

Si nos fijamos en la estructura típica de un episodio de esta narrativa en desarrollo sobre el sesgo de la IA, veremos que comienza con un periodista de investigación o con un soplón revelando la manera en que un sistema de IA produce resultados discriminatorios. La historia se difunde ampliamente y la compañía en cuestión promete encargarse del tema. Después, o bien el sistema se remplaza por algo nuevo o se realizan intervenciones técnicas que buscan producir resultados que evidencien una mayor paridad. Estos resultados y arreglos técnicos siguen siendo de propiedad exclusiva y se mantienen en secreto, mientras se le dice al público que puede estar tranquilo porque se ha “curado” la enfermedad del sesgo.²⁰ Es mucho más raro que haya un debate público sobre por qué siguen ocurriendo estas formas de sesgo y discriminación con tanta frecuencia y si están en juego problemas más fundamentales que un conjunto de datos subyacente que resulta inadecuado o un algoritmo mal diseñado.

Uno de los ejemplos más vívidos de cómo funciona el sesgo proviene de un relato desde el interior de Amazon. En 2014, la compañía decidió experimentar automatizando el proceso de recomendación y contratación de personal. Si la automatización había funcionado para conseguir beneficios con la recomendación de productos y la organización de los centros de distribución, de acuerdo con esta lógica también podía hacer que la contratación resultara más eficiente. Según palabras de un ingeniero: “Literalmente querían que fuera una máquina a la que le dieras cien currículos y te escupiera de vuelta los cinco mejores para contratar”.²¹ El sistema de aprendizaje automático estaba diseñado para valorar a las personas en una escala del uno al cinco, replicando el sistema de evaluación de los productos de Amazon. Para construir el modelo subyacente, los ingenieros de Amazon usaron un conjunto de datos que contenía diez años de currículos de sus empleados y luego entrenaron un modelo estadístico con cincuenta mil términos que aparecían en esos currículos. Rápidamente el sistema empezó a asignarle menos importancia a términos que usaban comúnmente los ingenieros, como los lenguajes de programación, porque todos los ponían en sus historiales de trabajo. En vez de eso, los modelos empezaron a valorar entradas más sutiles que recurrían en las aplicaciones que habían tenido éxito. Se dio una fuerte preferencia por verbos particulares. Los ejemplos que los ingenieros mencionaron fueron “ejecutado” y “capturado”.²²

Los reclutadores empezaron a usar el sistema como un suplemento para sus prácticas habituales.²³ Pero pronto apareció un problema serio: el sistema no recomendaba mujeres. Degradaba activamente aquellos currículos de candidatas que habían asistido a universidades para mujeres, junto con cualquier otro currículum que incluso incluyera la palabra “mujer”. Aun después de editar el sistema para quitar la influencia o las referencias explícitas al género, los sesgos persistieron. Los proxys de masculinidad hegemónica siguieron emergiendo en el uso mismo del lenguaje. El modelo estaba sesgado contra las mujeres no solo como una categoría, sino incluso contra las formas de expresión de género más comunes.

Inadvertidamente, Amazon había creado una herramienta de diagnóstico. La gran mayoría de los ingenieros contratados por la empresa a lo largo de diez años habían sido hombres, por lo que los modelos que ellos mismos habían creado, entrenados con los currículos de hombres que habían tenido éxito en la empresa, habían aprendido a recomendar la contratación de más hombres. Las prácticas de contratación del pasado y del presente estaban dando forma a las herramientas de contratación del futuro. El sistema de Amazon reveló inesperadamente los modos en que el sesgo ya estaba presente, desde la manera en que la masculinidad estaba codificada en el lenguaje, en los currículos y en la compañía misma. La herramienta fue una intensificación de las dinámicas ya existentes en Amazon y subrayó la falta de diversidad en la industria de la IA, tanto pasada como presente.²⁴

Eventualmente Amazon dio de baja a su experimento de contratación. Pero la escala del problema del sesgo va mucho más allá de un solo sistema o método fallido. La industria de la IA ha entendido el problema del sesgo típicamente como un error del sistema que se puede arreglar y no como una característica de la clasificación en sí. Como resultado, se ha enfocado en ajustar sistemas técnicos para producir una paridad cuantitativamente mayor entre los distintos grupos, lo que, como veremos a continuación, ha terminado creando sus propios problemas.

Entender la relación entre sesgo y clasificación requiere ir más allá de un simple análisis de la producción de conocimiento (determinar, por ejemplo, si un conjunto de datos está sesgado o no) y observar, en cambio, la mecánica detrás de la misma construcción de conocimiento, lo que la socióloga Karin Knorr Cetina llama “la maquinaria epistémica”.²⁵ Para poder ver eso se requiere observar la forma en que los patrones de desigualdad en el transcurso de la historia delinean el acceso a los recursos y las oportunidades, lo que a su vez delinea los datos. Esos datos, entonces, se extraen para utilizarse en sistemas técnicos para clasificar y reconocer patrones, lo que produce resultados que de alguna manera se perciben como objetivos. El resultado es una serpiente que se come la cola estadística: una máquina de discriminación que se autoperpetúa amplificando las desigualdades sociales bajo el disfraz de una neutralidad técnica.

LOS LÍMITES DE LOS SISTEMAS A LA HORA DE CORREGIR SESGOS

Para entender mejor las limitaciones cuando se analizan los sesgos de la IA, podemos echar una mirada a los intentos por arreglarlos. En 2019 IBM intentó responder a las preocupaciones por los sesgos en sus sistemas de IA creando lo que la compañía describió como un conjunto de datos más “inclusivo” llamado Diversity in Faces (DiF) [Diversidad en los rostros].²⁶ DiF formaba parte de la respuesta de la industria al innovador trabajo publicado un año antes por los investigadores Joy Buolamwini y Timnit Gebru, quienes habían demostrado que varios sistemas de reconocimiento facial (incluidos los de IBM, Microsoft y Amazon) cometían mayores errores cuando se trataba de personas de piel más oscura, y en particular de mujeres.²⁷ Como resultado, se llevaron a cabo esfuerzos dentro de las tres compañías para demostrar que estaban haciendo progresos para rectificar el problema.

“Esperamos que el reconocimiento facial funcione de forma precisa para cada uno de nosotros”, escribieron los investigadores de IBM; pero la única manera de “resolver el desafío de la diversidad” sería construyendo “un conjunto de datos que contuviera el rostro de cada persona en el mundo”.²⁸ Los investigadores de IBM decidieron utilizar un conjunto de datos preexistente de cien millones de imágenes tomadas de Flickr, la colección más grande disponible al público en Internet en ese momento.²⁹ Después usaron un millón de fotos para una muestra pequeña y midieron las distancias craneofaciales entre puntos clave de cada rostro: ojos, ancho de la nariz, altura de los labios y de las cejas, etc. Como Morton midiendo cráneos, los investigadores de IBM buscaron asignar medidas craneales y crear categorías de diferencia.

El equipo de IBM señaló que su meta era incrementar la diversidad de los datos de reconocimiento facial. Aunque actuaron de buena fe, las clasificaciones que usaron revelan la política de lo que significaba diversidad en ese contexto. Por ejemplo, para etiquetar el género y la edad de cualquier rostro, el equipo les asignó tareas a trabajadores de crowdsourcing, pidiéndoles que tomaran notas subjetivas usando el modelo restrictivo de los géneros binarios. A cualquiera que pareciera caer fuera de este orden se le sacaba del conjunto de datos. La visión de diversidad de IBM ponía énfasis en amplias opciones para la altura de la órbita craneal y los puentes nasales, pero descartaba la existencia de personas trans o no binarias. La palabra “equidad” pasó a significar mayores tasas de precisión para el reconocimiento facial dirigido por máquinas, y “diversidad” se refería tan solo a una gama más amplia de rostros para entrenar el modelo. El análisis craneométrico funciona como una publicidad engañosa que termina despolitizando la idea de diversidad y la remplaza con un enfoque en la variación. Los diseñadores tienen la última palabra sobre cuáles son las variables y cómo se asigna a las personas a categorías. Una vez más, la práctica de la clasificación centraliza el poder: el poder para decidir qué diferencias hacen una diferencia.

Los investigadores de IBM llegaron a una conclusión todavía más problemática: “Algunos aspectos de nuestra herencia (incluidas raza, etnicidad, cultura, geografía) y nuestra identidad individual (edad, género y formas visibles de expresión personal) se reflejan en nuestros rostros”.³⁰ Esta afirmación va directamente contra décadas de investigaciones que han desafiado la idea de que la raza, el género y la identidad son categorías biológicas, sino que se las entiende mejor como construcciones políticas, culturales y sociales.³¹ Incorporar afirmaciones de identidad en sistemas técnicos, como si fueran hechos observables en el rostro, es un ejemplo de lo que Simone Browne llama “epidermalización digital”, la imposición de la raza en el cuerpo. Browne define esto como el ejercicio del poder cuando la mirada incorpórea de las tecnologías de vigilancia “hace el trabajo de alienar al sujeto produciendo una ‘verdad’ sobre el cuerpo y la identidad (o identidades) de alguien a pesar de lo que ese sujeto afirme”.³²

Los problemas fundacionales del método de IBM para clasificar la diversidad surgen de este tipo de producción centralizada de la identidad, liderada por las técnicas de aprendizaje automático que el equipo tenía a disposición. La detección del color de piel se hace porque se puede, no porque diga algo acerca de la raza o produzca un entendimiento cultural más profundo. De forma similar, el uso de mediciones craneales se hace porque es un método que se puede hacer con el aprendizaje automático. El potencial de las herramientas se vuelve el horizonte de la verdad. La capacidad de poner en práctica mediciones craneales y la epidermalización digital a escala impulsan el deseo de encontrarle significado a estos métodos, incluso si no tienen nada que ver con la cultura, la herencia o la diversidad. Se utilizan para aumentar una comprensión problemática de la precisión. Las afirmaciones técnicas acerca de la precisión y el desempeño, por lo general, están impregnadas de decisiones políticas sobre las categorías y las normas, pero rara vez esto se reconoce.³³ Estos métodos se fundan en una premisa ideológica de la biología como destino, donde nuestros rostros se vuelven nuestro destino.

LAS MÚLTIPLES DEFINICIONES DE SESGO

Desde la Antigüedad, el acto de clasificación se ha alineado con el poder. En la teología, la capacidad de nombrar y dividir las cosas era un acto divino de Dios. La palabra “categoría” viene el griego antiguo kategoría, que se forma de las raíces kata (en contra) y agoreu (hablar en público). En griego, la palabra puede ser una afirmación lógica o una acusación en un juicio, aludiendo tanto a los métodos científicos como a los métodos legales de categorización.

El linaje histórico del “sesgo” como término es mucho más reciente. Aparece por primera vez en la geometría del siglo XIV,* cuando se refiere a una línea oblicua o diagonal. Para el siglo XVI, había adquirido algo parecido a su significado popular actual, de “prejuicio indebido”. Para la primera década del siglo XX, había desarrollado un significado más técnico en las estadísticas, donde se usaba para referirse a diferencias sistemáticas entre una muestra y una población, cuando la muestra no refleja realmente el conjunto.³⁴ El campo del aprendizaje automático toma de esta tradición estadística su entendimiento del sesgo, donde se relaciona con un conjunto de otros conceptos: generalización, clasificación y variación.

Los sistemas de aprendizaje automático están diseñados para hacer generalizaciones a partir de grandes conjuntos de ejemplos de datos de entrenamiento y para clasificar correctamente nuevas observaciones que no se incluyeron en esos conjuntos.³⁵ En otras palabras, los sistemas de aprendizaje automático pueden realizar un tipo de inducción, aprendiendo de ejemplos específicos (como los currículos viejos de los candidatos a un trabajo) para decidir qué datos buscar en los ejemplos nuevos (como agrupaciones de palabras en los currículos de los nuevos candidatos). En tales casos, el término “sesgo” se refiere a un tipo de error que puede ocurrir durante este proceso predictivo de generalización; específicamente, un error de clasificación sistemático o repetido consistentemente que el sistema exhibe cuando se le presentan nuevos ejemplos. Este tipo de sesgo a menudo se contrasta con otro tipo de error de generalización, la desviación, que se refiere a la sensibilidad de un algoritmo frente a las diferencias en los datos de entrenamiento. Un modelo con un sesgo alto y una desviación pequeña puede estar ajustando muy poco los datos y fallar en capturar todas sus características o señales importantes. Por otro lado, un modelo con una alta desviación y un sesgo pequeño puede estar sobreajustando los datos y crear un modelo demasiado cercano a los datos de entrenamiento, con lo que se captura potencialmente “ruido”, además de las características importantes de los datos.³⁶

Fuera del aprendizaje automático, el “sesgo” tiene muchos otros significados. Por ejemplo, en el derecho se refiere a nociones u opiniones preconcebidas, juicios basados en prejuicios, en lugar de decisiones que provengan de una evaluación imparcial de los hechos de un caso.³⁷ En psicología, Amos Tversky y Daniel Kahneman estudian “sesgos cognitivos”, o las formas en que el juicio humano se desvía sistemáticamente de las expectativas probabilísticas.³⁸ Investigaciones más recientes sobre sesgos implícitos destacan las formas en que las actitudes y los estereotipos inconscientes “producen comportamientos que divergen de las creencias o principios declarados de una persona”.³⁹ Aquí el sesgo no es simplemente un tipo de error técnico; se abre a las creencias humanas, los estereotipos, las formas de discriminación. Esta confusión de definiciones limita la utilidad del “sesgo” como término, especialmente cuando lo usan quienes practican disciplinas distintas.

Ciertamente, se pueden mejorar los diseños técnicos para que den cuenta de las formas en que sus sistemas producen sesgos y resultados discriminatorios. Pero en el apuro por llegar a soluciones técnicas limitadas del sesgo estadístico, como si ese fuera un remedio suficiente para los problemas estructurales más profundos, por lo general, se pasan por alto las preguntas más difíciles sobre por qué los sistemas de IA perpetúan la desigualdad. Ha habido un fracaso generalizado en el momento de abordar las maneras en que los instrumentos de conocimiento en la IA reflejan y sirven para incentivar una economía extractiva más amplia. Lo que subsiste es una asimetría permanente de poder, en la que los sistemas técnicos mantienen y amplían una desigualdad estructural, sin importar la intención de los diseñadores.

Cada conjunto de datos usado para entrenar sistemas de aprendizaje automático, ya sea en el contexto del aprendizaje supervisado o no supervisado, ya sea considerado sesgado técnicamente o no, contiene una visión del mundo. Crear un conjunto de datos de entrenamiento es tomar un mundo casi infinitamente complejo y variado y arreglarlo en taxonomías que se componen de clasificaciones discretas de datos individuales, un proceso que requiere tomar decisiones en esencia políticas, culturales y sociales. Al prestar atención a estas clasificaciones, podemos vislumbrar las distintas formas de poder que están integradas en las arquitecturas de la construcción de mundos de la IA.

LOS CONJUNTOS DE DATOS DE ENTRENAMIENTO COMO MÁQUINAS DE CLASIFICACIÓN: EL CASO DE IMAGENET

En el último capítulo, nos enfocamos en la historia de ImageNet y en que su conjunto de datos de entrenamiento se volvió una referencia e influyó en la investigación de la visión artificial desde su creación en 2009. Al escudriñar más de cerca la estructura de ImageNet, podemos alcanzar a ver la manera en que ese conjunto de datos está ordenado y cuál es su lógica subyacente para cartografiar el mundo de los objetos. La estructura de ImageNet es laberíntica, inmensa y está llena de curiosidades. La estructura semántica subyacente fue importada de WordNet, una base de datos de clasificación de palabras que fue desarrollada primero por el Cognitive Science Laboratory de la Princeton University en 1985 y financiada por la Office of Naval Research de Estados Unidos.⁴⁰ WordNet se concibió como un diccionario legible por computadora, donde los usuarios harían sus búsquedas sobre la base de similitudes semánticas antes que alfabéticas. Se volvió una fuente vital para los campos de la lingüística computacional y el procesamiento del lenguaje natural. El equipo de WordNet recolectó tantas palabras como pudo, empezando con el Brown Corpus, una colección de un millón de palabras compiladas en la década de 1960.⁴¹ Las palabras del Brown Corpus provenían de periódicos y de una desaliñada colección de libros con títulos como New Methods of Parapsychology, The Family Fallout Shelter y Who Rules the Marriage Bed?⁴²

WordNet intenta organizar toda la lengua inglesa en conjuntos de sinónimos, también llamados synsets [por su acrónimo en inglés]. Los investigadores de ImageNet eligieron usar única y exclusivamente sustantivos, siguiendo la idea de que se trata de cosas que se pueden representar con imágenes y que eso bastaría para entrenar a las máquinas para reconocer objetos automáticamente. Por eso, la taxonomía de ImageNet se organiza de acuerdo con una jerarquía anidada derivada de WordNet, en la que cada synset representa un concepto distinto, con los sinónimos agrupados entre sí (“auto” y “carro”, en ese sentido, se tratan como pertenecientes a un mismo conjunto). La jerarquía avanza desde los conceptos más generales a otros más específicos. Por ejemplo, el concepto “silla” se encuentra dentro de artefacto → moblaje → mueble → asiento → silla. Como era de esperar, este sistema de clasificación evoca muchos rangos taxonómicos anteriores, desde el sistema linneano de clasificación biológica hasta la disposición de los libros en las bibliotecas.

Pero la primera indicación de lo extraña que resulta la cosmovisión de ImageNet son sus nueve categorías superiores, que sacó de WordNet: planta, formación geológica, objeto natural, deporte, artefacto, hongo, persona, animal y misceláneo. Estas son las curiosas categorías a partir de las cuales se organiza absolutamente todo. De estas nueve surgen miles de extrañas y específicas clases anidadas, en las que se albergan millones de imágenes, como muñecas rusas. Hay categorías para manzanas, puré de manzana, empanadas de manzana, geranios de manzana, mermelada de manzana, jugo de manzana, gusanos de la manzana, óxido de manzana, árboles de manzana, pastel de manzana, carritos de manzana y compota de manzana. Hay imágenes de líneas directas, líneas del metro, líneas del tiempo, líneas fronterizas, líneas paralelas, líneas aerodinámicas, líneas de dirección, líneas de cartones de bingo, líneas telegráficas, líneas ofensivas, líneas viudas y líneas transversales. Es un motín de palabras, ordenadas en extrañas categorías, como las de la mítica enciclopedia de Jorge Luis Borges.⁴³ A nivel de imágenes parece una locura. Algunas de las imágenes son fotografías de archivo de alta resolución, otras se ven borrosas, tomadas con un teléfono y poca luz. Otros son fotogramas de pornografía. Algunas son caricaturas. Hay pin-ups, iconos religiosos, políticos famosos, celebridades de Hollywood y comediantes italianos. Bruscamente se pasa de lo profesional a lo amateur, de lo sagrado a lo profano.

Las clasificaciones humanas son un buen lugar para ver esta política de clasificación en funcionamiento. En ImageNet, la categoría “cuerpo humano” cae dentro de la rama objeto natural → cuerpo → cuerpo humano. Sus subcategorías incluyen “cuerpo masculino”, “persona”, “cuerpo juvenil”, “cuerpo adulto” y “cuerpo femenino”. La categoría “cuerpo adulto” contiene las subclases “cuerpo adulto femenino” y “cuerpo adulto masculino”. Hay aquí una suposición implícita de que solo los cuerpos “masculinos” y “femeninos” se reconocen como “naturales”. Existe una categoría de ImageNet para el término “hermafrodita”, pero está situada dentro de la rama persona → sensualista → bisexual, junto con las categorías “pseudohermafrodita” y “juega para los dos equipos”.⁴⁴

Incluso antes de mirar las categorías más controversiales dentro de ImageNet, podemos ver la política de este esquema clasificatorio. Las decisiones para clasificar el género de esta manera también lo naturalizan como una construcción biológica binaria y, por lo tanto, las personas transgénero o no binarias no existen o bien están colocadas bajo categorías de sexualidad.⁴⁵ Por supuesto, este no es un método nuevo. La jerarquía de clasificación de género y sexualidad en ImageNet recuerda formas anteriores dañinas de categorización, como la clasificación de la homosexualidad como trastorno mental en el Manual diagnóstico y estadístico de los transtornos mentales.⁴⁶ Esta categorización profundamente dañina se utilizó como justificación para someter a las personas a supuestas terapias represivas y pasaron años de intenso activismo antes de que la Asociación Estadounidense de Psiquiatría la eliminara, en 1973.⁴⁷

Reducir a los seres humanos a categorías de género binarias y retratar a las personas transgénero como invisibles o “desviadas” son características comunes de los esquemas de clasificación en el aprendizaje automático. Un estudio de la detección automática de género en el reconocimiento facial, llevado a cabo por Os Keyes, demostró que casi el 95% de los artículos en la materia tratan el género como binario, la mayoría lo describe como inmutable y fisiológico.⁴⁸ Si bien habrá quienes digan que esto se puede remediar fácilmente creando más categorías, ello no abordaría el daño más profundo que se crea cuando se les asigna a las personas categorías de género o raza sin su participación o consentimiento. Esta práctica también es de larga data. Durante siglos, los sistemas administrativos han buscado que los seres humanos sean legibles, y les han aplicado etiquetas fijas y propiedades definidas. El trabajo de fijar elementos esenciales y ordenar sobre la base de la biología o la cultura se ha usado largamente para justificar formas de violencia y opresión.

Mientras que estas lógicas de clasificación se tratan como si fueran naturales y fijas, en realidad, son objetivos en movimiento: no solo afectan a quienes son clasificados, sino que la misma manera en que impactan a las personas cambia a su vez las clasificaciones. En la piratería informática esto se llama “efecto bucle”, que se produce cuando las ciencias se dedican a “inventar personas”.⁴⁹ Bowker y Star también subrayan que, una vez que se construyen clasificaciones de personas, estas pueden estabilizar una categoría política controvertida de formas que son difíciles de reconocer.⁵⁰ Se las da por sentado, a menos que se las resista activamente. Vemos este fenómeno en el campo de la IA cuando infraestructuras y conjuntos de datos de entrenamiento muy influyentes se ven como meramente técnicos, cuando en realidad contienen intervenciones políticas dentro de sus taxonomías: naturalizan un ordenamiento particular del mundo que produce efectos que parecen justificar ese ordenamiento original.

EL PODER DE DEFINIR A UNA “PERSONA”

Imponerle un orden a una masa indiferenciada, adscribir fenómenos a una categoría (es decir, nombrar una cosa) es a su vez una manera de cosificar la existencia de esa categoría.

En el caso de las 21.841 categorías que estaban originalmente en la jerarquía de ImageNet, las clases de sustantivos como “manzana” o “puré de manzana” pueden parecer bastante indiscutibles, pero no todos los sustantivos se crean de igual manera. Para adoptar una idea del lingüista George Lakoff, el concepto de una “manzana” es un sustantivo más sustantivesco que el concepto de “luz”, que a su vez es más sustantivesco que un concepto como “salud”.⁵¹ Los sustantivos ocupan distintos lugares en un eje que va de lo concreto a lo abstracto, de lo descriptivo a lo crítico. Estas gradientes han sido eliminadas de la lógica de ImageNet. Todo ha sido achatado y fijado en una etiqueta, como hace la taxidermia con las mariposas en una vitrina. Si bien este método tiene apariencia de objetividad, es, sin embargo, un ejercicio profundamente ideológico.

Durante una década, ImageNet contuvo 2.832 subcategorías bajo la categoría principal “persona”. La subcategoría con más imágenes asociadas era “muchacha” (con 1.664 imágenes), seguida por “abuelo” (1.662), “papá” (1.643) y “director ejecutivo” (1.614, la mayoría hombres). Con estas categorías muy pobladas, ya podemos empezar a hacernos una idea de los contornos de su cosmovisión. ImageNet contiene una profusión de categorías clasificatorias, incluidas algunas para raza, edad, nacionalidad, profesión, estatus económico, comportamiento, personalidad e, incluso, moralidad.

Existen muchos problemas con la manera en que la taxonomía de ImageNet pretende clasificar las fotos de las personas bajo la lógica del reconocimiento de objetos. A pesar de que sus creadores eliminaron algunos synsets explícitamente ofensivos en 2009, las categorías para las identidades raciales y nacionales permanecieron, incluidas las de nativo de Alaska, angloamericano, negro, negro africano, mujer negra (pero no mujer blanca), latinoamericano, mexicoamericano, nicaragüense, pakistaní, indio sudamericano, hispanoamericano, texano, uzbeko, blanco y zulú. Presentarlas como categorías lógicas para clasificar personas ya es problemático, incluso antes de ser usadas para clasificar personas basándose en su apariencia. Otras se etiquetan según sus profesiones o pasatiempos: hay boy scouts, porristas, neurocientíficos cognitivos, peluqueros, analistas de inteligencia, mitólogos, vendedores minoristas, jubilados, etc. La existencia de estas categorías sugiere que las personas pueden ser clasificadas visualmente de acuerdo con su profesión, de una manera que parece evocar libros infantiles como What do People do all Day?, de Richard Scarry. ImageNet también contiene categorías que no tienen sentido para la clasificación de imágenes, como deudor, jefe, conocido, hermano y daltónico. Son todos conceptos no visuales que describen relaciones, bien con otras personas, bien con sistemas financieros o con el campo visual mismo. El conjunto de datos cosifica estas categorías y las conecta con imágenes, de modo que imágenes similares puedan ser “reconocidas” por sistemas futuros.

Muchas categorías verdaderamente ofensivas y dañinas se escondían en las profundidades de las subcategorías de persona de ImageNet. Algunas clasificaciones eran misóginas, racistas y discriminatorias por edad o discapacidad. La lista incluye mala persona, prostituta, maricón de clóset, vejestorio, convicto, loco, tirador, drogadicto, adicto, malogrado, fracasado, hijo de puta, hipócrita, Jezabel, cleptómano, perdedor, melancólico, inexistente, pervertido, diva, esquizofrénico, de segunda, zorra, espástico, solterona, mujer de la calle, semental, pendejo, inexperto, calentón, indeciso y pobre diablo. Abundan los insultos, los epítetos racistas y los juicios morales.

Estos términos ofensivos permanecieron en ImageNet durante diez años. Debido a que ImageNet se usaba por lo general para el reconocimiento de objetos (con una definición de “objeto” muy amplia), la categoría específica de persona rara vez se discutía en conferencias técnicas, ni recibió tampoco mucha atención del público, hasta que el proyecto ImageNet Roulette se hizo viral en 2019: liderado por el artista Trevor Paglen, el proyecto incluía una aplicación que permitía a las personas subir imágenes para ver cómo serían clasificadas de acuerdo con las categorías de persona de ImageNet.⁵² Esto generó mucha atención por parte de los medios sobre la inclusión de larga data de términos racistas y sexistas en la influyente colección. Los creadores de ImageNet publicaron un artículo poco tiempo después, titulado “Hacia conjuntos de datos más justos”, que buscaba “eliminar synsets inseguros”. Le pidieron a 12 estudiantes de posgrado que marcaran cualquier categoría que pareciera peligrosa, ya fuera porque fuera “en esencia ofensiva” (por ejemplo, si contenía insultos) o “sensible” (términos que no eran ofensivos en esencia, pero que “podían ofender al ser usados de forma inapropiada, como la clasificación de personas basada en su orientación sexual o religión”).⁵³ Si bien este proyecto buscaba evaluar el carácter ofensivo de las categorías de ImageNet preguntándolo a estudiantes de postgrado, los autores, sin embargo, seguían apoyando la clasificación automática de personas basada en fotografías, a pesar de los evidentes problemas de este método.

Al final, el equipo de ImageNet eliminó 1.593 de las 2.832 subcategorías que estaban en la categoría persona (casi el 56%), por considerarlas “peligrosas”, junto con sus 600.040 imágenes asociadas. El medio millón de imágenes restantes fueron “provisoriamente consideradas seguras”.⁵⁴ Pero ¿qué se considera seguro cuando se trata de clasificar personas? Enfocarse en las categorías malignas no es un error, pero evita abordar preguntas más amplias sobre el funcionamiento del sistema en su totalidad. Toda la taxonomía de ImageNet revela las complejidades y los peligros de la clasificación humana. Mientras términos como “microeconomista” o “basquetbolista” pueden, en principio, parecer menos preocupantes que el uso de etiquetas como “espástico”, “inexperto”, “mulato”, “pueblerino”, cuando vemos a las personas que han sido etiquetadas en estas categorías vemos que entran en juego muchas suposiciones y estereotipos que incluyen raza, género, edad y capacidades. En la metafísica de ImageNet hay categorías de imágenes distintas para “profesor asistente” y “profesor titular”, como si, cada vez que alguien obtuviera un ascenso, su perfil biométrico reflejara ese cambio de rango.

De hecho, no hay categorías neutrales en ImageNet, porque la selección de imágenes siempre interactúa con el significado de las palabras. Hay políticas integradas en la lógica de clasificación, incluso cuando las palabras no son ofensivas. ImageNet es una enseñanza, en ese sentido, sobre lo que pasa cuando se categoriza a las personas como objetos. Pero esta práctica apenas se ha vuelto común en años recientes, por lo general dentro de las compañías de tecnología. Los esquemas de clasificación usados en compañías como Facebook son mucho más difíciles de investigar y criticar: los sistemas de propiedad exclusiva ofrecen menos oportunidades de que alguien externo investigue o audite la manera en que se ordenan o interpretan las imágenes.

Después está el problema de la procedencia de las imágenes de la subcategoría persona de ImageNet. Como vimos en el capítulo anterior, los creadores de ImageNet recolectaron imágenes en masa de buscadores como Google, extrajeron las selfis y las fotos de las vacaciones de personas sin que estas lo supieran y, después, les pagaron a trabajadores de Mechanical Turk para que las etiquetaran y reagruparan. Por lo tanto, todos los sesgos presentes en los resultados que entregaron los motores de búsqueda se encuentran en la base de los subsecuentes sistemas técnicos que los volvieron a etiquetar. A los trabajadores mal remunerados del crowdsourcing se les dio la tarea imposible de encontrarle sentido a estas imágenes, a una velocidad de cincuenta por minuto, y colocarlas en categorías basadas en los sysnets de WordNet y definiciones de Wikipedia.⁵⁵ Quizá no sea de extrañar que, al investigar la capa fundamental de estas imágenes etiquetadas, nos encontremos con que están plagadas de estereotipos, errores y absurdos. Una mujer recostada sobre una toalla de playa es una “cleptómana”, un adolescente con una camiseta deportiva está etiquetado como “perdedor” y una imagen de la actriz Sigourney Weaver aparece clasificada como “hermafrodita”.

Las imágenes, como todos los tipos de datos, están cargadas con todo tipo de significados potenciales, preguntas sin respuesta y contradicciones. Al tratar de resolver estas ambigüedades, las etiquetas de ImageNet comprimen y simplifican la complejidad. Focalizarse en hacer conjuntos de datos de entrenamiento “más justos” borrando términos ofensivos no consigue lidiar con la dinámica de poder de la clasificación e impide una evaluación más detallada de la lógica subyacente. Incluso si los peores ejemplos se arreglan, el método sigue construido fundamentalmente sobre una relación con los datos de naturaleza extractiva, alejada de la gente y de los lugares de donde se los sacó. Luego, se representa a través de una visión del mundo técnica que busca fusionar materiales culturales complejos y variados para crear una forma de objetividad singular. La cosmovisión de ImageNet no es infrecuente en ese sentido. De hecho, es la más típica en los muchos conjuntos de datos de entrenamiento y revela muchos de los problemas de los esquemas descendentes, que achatan las complejas relaciones sociales, culturales, políticas e históricas hasta volverlas entidades cuantificables. Este fenómeno quizá resulta más obvio e insidioso cuando se trata de los esfuerzos generalizados por clasificar a las personas según su raza y género en los sistemas técnicos.

CONSTRUIR RAZA Y GÉNERO

Si nos enfocamos en la clasificación en la IA, podemos rastrear las maneras en que se asume, erróneamente, que el género, la raza y la sexualidad son categorías naturales, fijas y detectables biológicamente. La experta en vigilancia Simone Browne señala que “cuando se trata de estas tecnologías, existe cierta presunción de que las categorías de identidad de género y raza están bien definidas, que una máquina puede programarse para asignar categorías de género o determinar qué cuerpos o partes del cuerpo deberían significar”.⁵⁶ Efectivamente, la idea de que la raza y el género pueden detectarse automáticamente en el aprendizaje automático se toma como si fuera un hecho asumido, rara vez cuestionado por las disciplinas técnicas, a pesar de los profundos problemas políticos que esto presenta.⁵⁷

El conjunto de datos UTKFace (producido por un grupo de la University of Tennessee en Knoxville), por ejemplo, consiste en más de veinte mil imágenes de rostros con anotaciones sobre la edad, el género y la raza.⁵⁸ Los autores del conjunto de datos declaran que puede usarse para una variedad de tareas, incluidas la detección facial automática, la estimación de edad y la progresión de edad. Las anotaciones para cada imagen incluyen una edad estimada para cada persona, expresada en años que van del 0 al 116. El género es un binario forzado: un cero para los hombres o un uno para las mujeres. En segundo lugar, la raza se categoriza en cinco clases: blanca, negra, asiática, india y otras. Las políticas de género y raza aquí son tan obvias como dañinas. Y, sin embargo, este tipo de categorizaciones peligrosamente reductivas son muy utilizadas en muchos conjuntos de datos de entrenamiento de clasificación de humanos y han sido parte de los conductos de producción de IA durante años.

El limitado esquema clasificatorio de UTKFace replica las problemáticas clasificaciones raciales del siglo XX, como el sistema de apartheid de Sudáfrica. Como han detallado Bowker y Star, el gobierno sudafricano aprobó una legislación en los años cincuenta que creaba un burdo esquema de clasificación racial para dividir a los ciudadanos bajo las categorías de “europeos, asiáticos, personas de raza mixta o de color y ‘nativos’ o individuos de sangre pura de la raza bantú”.⁵⁹ Este régimen legal racista rigió las vidas de las personas, sobre todo la de los sudafricanos negros, cuyos movimientos estaban completamente restringidos, además de haber sido expulsados a la fuerza de sus tierras. Las políticas de la clasificación racial se extendieron hasta las esferas más íntimas. La sexualidad interracial estaba prohibida, lo que condujo a más de once mil quinientas condenas para el año 1980, en su mayoría de mujeres que no eran blancas.⁶⁰ La compleja base de datos centralizada para estas clasificaciones había sido diseñada y era mantenida por IBM, pero la compañía a menudo tenía que reajustar el sistema y volver a clasificar a las personas, porque en la práctica no había ninguna categoría racial pura.⁶¹

Sobre todo, estos sistemas de clasificación han causado enormes daños a las personas, y el concepto de un significante de raza “pura” siempre ha estado en disputa. En sus escritos sobre la raza, Donna Haraway señala lo siguiente:

En estas taxonomías, que son, después de todo, pequeñas máquinas para clarificar y separar categorías, la entidad que siempre eludió al clasificador era simple: la raza misma. El tipo puro, que animaba sueños, ciencias y terrores, seguía escabulléndose y multiplicando sin parar todas las taxonomías tipológicas.⁶²

Y, sin embargo, en las taxonomías de las bases de datos, y en los sistemas de aprendizaje automático que se entrenan con ellas, el mito del tipo puro ha surgido de nuevo, adjudicándose la autoridad de la ciencia. En un artículo sobre los peligros del reconocimiento facial, el experto en medios de comunicación Luke Stark menciona que, “al introducir una variedad de lógicas de clasificación que o bien cosifican categorías raciales existentes, o bien producen nuevas, la lógica de la generación automática de patrones de los sistemas de reconocimiento facial reproduce la desigualdad sistémica a la vez que la exacerba”.⁶³

Algunos métodos de aprendizaje automático van más allá de predecir la edad, el género y la raza. Ha habido intentos muy publicitados por detectar la sexualidad a partir de las fotografías de los sitios de citas y la criminalidad basándose en las fotografías de licencias de conducir.⁶⁴ Estos métodos son profundamente problemáticos por muchas razones, partiendo de la base de que características como “criminalidad”, al igual que raza y género, son categorías profundamente relacionales y determinadas socialmente; no son características inherentes ni fijas, son contextuales y cambiantes según el tiempo y el lugar. Para hacer semejantes predicciones, los sistemas de aprendizaje automático están buscando clasificar cosas que son completamente relacionales dentro de categorías fijas, lo que a su vez es con razón criticado como algo problemático científica y éticamente.⁶⁵

Los sistemas de aprendizaje automático están construyendo de una manera muy real la raza y el género: están definiendo el mundo dentro de los términos que ellos mismos han fijado, y esto tiene ramificaciones de largo alcance para las personas que han sido clasificadas. Cuando tales sistemas son aclamados como innovaciones científicas para predecir identidades y acciones futuras, esto borra las debilidades técnicas que hay detrás de la construcción de estos sistemas, las prioridades con base en las cuales se diseñaron y los muchos procesos políticos de categorización que les dan forma. Los especialistas en discapacidad han señalado durante mucho tiempo la forma en que se clasifican los llamados cuerpos normales, lo que ha funcionado para estigmatizar las diferencias.⁶⁶ Como un informe señala, la historia de las discapacidades es en sí misma una “historia sobre las maneras en que muchos sistemas de clasificación (por ejemplo, el médico, el científico y el legal) interactúan con las instituciones sociales y sus articulaciones de poder y conocimiento”.⁶⁷ En muchos niveles, el acto de definir categorías e ideas de normalidad crea un afuera: formas de anormalidad, diferencia y otredad. Los sistemas técnicos están haciendo intervenciones políticas y normativas al ponerle nombres a algo tan dinámico y relacional como la identidad personal, y suelen hacerlo usando un conjunto reducido de posibilidades de lo que es ser humano. Eso restringe el rango de cómo se entiende a las personas y cómo pueden representarse a sí mismas, lo que reduce el horizonte de identidades reconocibles.

Como señala Ian Hacking, clasificar a las personas es un imperativo imperial: los imperios clasificaban a los sujetos cuando los conquistaban y, luego, las instituciones y los expertos los ordenaban en “un tipo de persona”.⁶⁸ Estos actos de nombrar eran afirmaciones de poder y control colonial, y los efectos negativos de esas clasificaciones pueden durar incluso más que los mismos imperios. Las clasificaciones son tecnologías que producen y limitan los tipos de conocimiento, y están integradas en la lógica de la IA.

LOS LÍMITES DE LA MEDICIÓN

Entonces, ¿qué se puede hacer? Si gran parte de los estratos clasificatorios de los datos de entrenamiento y los sistemas técnicos son formas de poder y política que se representan como mediciones objetivas, ¿cómo podríamos corregir esto? ¿Cómo deberían dar cuenta los diseñadores de sistemas de, en algunos casos, la esclavitud, la opresión y cientos de años de discriminación en contra de algunos grupos para beneficiar a otros? En otras palabras, ¿cómo deberían representar lo social los sistemas de IA?

Decidir qué información alimenta los sistemas de IA para producir nuevas clasificaciones es un momento poderoso de toma de decisiones, pero ¿quién toma esa decisión y con qué bases? El problema para la ciencia de la computación es que, en los sistemas de IA, la justicia nunca será algo que se pueda codificar o computar. Se requiere de un desplazamiento hacia la evaluación de los sistemas más allá de las métricas de optimización y la paridad estadística, así como un entendimiento de dónde los marcos de las matemáticas y la ingeniería están causando los problemas. Esto también implica entender la manera en que los sistemas de IA interactúan con los datos, los trabajadores, el ambiente y los individuos cuyas vidas se verán afectadas por su uso, y decidir en qué casos no debería utilizarse la IA.

Bowker y Star concluyen que la mera densidad de las colisiones de los esquemas de clasificación exige un nuevo tipo de método, una sensibilidad hacia la “topografía de cosas como la distribución de la ambigüedad; la dinámica fluida de cómo los sistemas de clasificación se encuentran… una placa tectónica más que una geología estática”.⁶⁹ Pero también se requiere prestar atención a las asignaciones desiguales de las ventajas y el sufrimiento, ya que “la manera en que se toman estas decisiones y la forma de pensar acerca de ese proceso de emparejamiento invisible son dos cosas que están en el núcleo del proyecto ético”.⁷⁰ Las clasificaciones no consensuadas presentan serios riesgos, al igual que los supuestos normativos sobre la identidad; y, sin embargo, estas prácticas se han vuelto algo estándar. Eso debe cambiar.

En este capítulo, hemos visto que las infraestructuras clasificatorias contienen lagunas y contradicciones: necesariamente reducen la complejidad y eliminan contextos significativos para hacer el mundo más computable. Pero también proliferan en plataformas de aprendizaje automático, en lo que Umberto Eco llamó “enumeración caótica”.⁷¹ A un cierto nivel de granularidad, las cosas semejantes y diferentes se vuelven lo suficientemente proporcionales para que sus similitudes y diferencias sean legibles por computadora y, no obstante, sus características son inabarcables. En este caso, los problemas van más allá de si algo está mal o bien clasificado. Vemos giros extraños e impredecibles a medida que las categorías automáticas y las personas interactúan y se alteran entre sí, mientras tratan de encontrar legibilidad en un terreno cambiante para calzar en las categorías correctas y hacerse con las fuentes más lucrativas. En el escenario del aprendizaje automático, estas preguntas no son menos urgentes porque cueste verlas. Lo que está en juego no es tan solo una curiosidad histórica o la sensación extraña de estar frente a un desajuste entre los perfiles de contornos punteados que vislumbramos en nuestras plataformas y feeds. Todas y cada una de estas clasificaciones traen consigo consecuencias.

Las historias de la clasificación nos demuestran que las formas más dañinas de categorización humana (desde el sistema del apartheid hasta la patologización de la homosexualidad) no se desvanecieron simplemente bajo la luz de la investigación científica y la crítica ética. Más bien, el cambio también requirió de organización política, protestas continuadas y campañas públicas que se prolongaron durante muchos años. Los esquemas clasificatorios promulgan y apoyan las estructuras de poder que les dieron forma y estas no cambian sin que haya considerables esfuerzos detrás. En palabras de Frederick Douglass: “El poder no concede nada si no se le exige. Nunca lo hizo y nunca lo hará”.⁷² Dentro de los regímenes invisibles de clasificación del aprendizaje automático es más difícil exigir y oponerse a su lógica interna.

Los conjuntos de datos de entrenamiento que se hacen públicos (como ImageNet, UTKFace y DiF) nos dan una idea de los tipos de categorizaciones que se están propagando a través de los sistemas de IA industriales y de las prácticas investigativas. Pero los motores verdaderamente masivos de clasificación son los que operan a escala global por medio de compañías tecnológicas privadas, como Facebook, Google, TikTok y Baidu. La manera en que estas compañías categorizan y se dirigen a los usuarios no pasa por mucha supervisión y tampoco ofrece vías significativas para el debate público. Cuando los procesos de emparejamiento de la IA están realmente ocultos y se mantiene a la gente ignorante sobre por qué o cómo recibe formas de ventajas o desventajas, es necesaria una respuesta política colectiva… aun cuando esta se vuelve más difícil.

¹ Ann Fabian, The Skull Collectors. Race, Science, and America’s Unburied Dead, Chicago, University of Chicago Press, 2010.

² Stephen Jay Gould, The Mismeasure of Man, Nueva York, W. W. Norton, 1996, p. 83 [trad. esp.: La falsa medida del hombre, Barcelona, Crítica, 2004].

³ Elizabeth Kolbert, “There’s No Scientific Basis for Race - It’s a Made-Up Label”, en National Geographic, 12 de marzo de 2018, disponible en línea: <www.nationalgeographic.com>.

⁴ Terence D. Keel, “Religion, Polygenism and the Early Science of Human Origins”, en History of the Human Sciences, vol. 26, núm. 2, 2013, pp. 3-32, disponible en línea: <doi.org>.

⁵ David Hurst Thomas, Skull Wars. Kennewick Man, Archaeology, and the Battle for Native American Identity, Nueva York, Basic, 2002.

⁶ Ibid., p. 85.

⁷ Ibram X. Kendi, “A History of Race and Racism in America, in 24 Chapters”, en The New York Times, 22 de febrero de 2017, disponible en línea: <https://www.nytimes.com/2017/02/22/books/review/a-history-of-race- and-racism-in-america-in-24-chapters.html>.

⁸ Stephen Jay Gould, op. cit., p. 88.

⁹ Paul Wolff Mitchell, “The Fault in His Seeds: Lost Notes to the Case of Bias in Samuel George Morton’s Cranial Race Science”, en PLOS Biology, vol. 16, núm. 10, 2018, disponible en línea: <doi.org>.

¹⁰ Alexandra Horowitz, “Why Brain Size Doesn’t Correlate with Intelligence”, en Smithsonian Magazine, diciembre de 2013, disponible en línea: <www.smithsonianmag.com>.

¹¹ Paul Wolff Mitchell, op. cit.

¹² Stephen Jay Gould, op. cit., p. 58.

¹³ Cornel West, “A Genealogy of Modern Racism”, en Philomena Essed y David Theo Goldberg (eds.), Race Critical Theories: Text and Context, Malden, Blackwell, 2002, p. 91.

¹⁴ Teryn Bouche y Laura Rivard, “America’s Hidden History: The Eugenics Movement”, en Scitable, 18 de septiembre de 2014, disponible en línea: <www.nature.com>.

¹⁵ Geoffrey C. Bowker y Susan Leigh Star, Sorting Things Out. Classification and Its Consequences, Cambridge, MIT Press, 1999, p. 319.

¹⁶ Ibid.

¹⁷ Evelina Nedlund, “Apple Card Is Accused of Gender Bias; Here’s How That Can Happen”, en CNN, 12 de noviembre de 2019, disponible en línea: <edition.cnn.com>; Julia Angwin et al., “Machine Bias”, en ProPublica, 23 de mayo de 2016, disponible en línea: <www.propublica.org>, y Julia Angwin et al., “Dozens of Companies Are Using Facebook to Exclude Older Workers from Job Ads”, en ProPublica, 20 de diciembre de 2017, disponible en línea: <www.propublica.org>.

¹⁸ Conor Dougherty, “Google Photos Mistakenly Labels Black People ‘Gorillas’”, en Bits Blog (blog), 1° de julio de 2015, disponible en línea: <bits.blogs.nytimes.com>; Sarah Perez, “Microsoft Silences Its New AI Bot Tay, after Twitter Users Teach It Racism [Updated]”, en TechCrunch (blog), 24 de marzo de 2016, disponible en línea: <techcrunch.com>; Graeme McMillan, “It’s Not You, It’s It: Voice Recognition Doesn’t Recognize Women”, en Time, 1° de junio de 2011, disponible en línea: <techland.time.com>, y Garett Sloane, “Online Ads for High-Paying Jobs Are Targeting Men More Than Women”, en AdWeek (blog), 7 de julio de 2015, disponible en línea: <www.adweek.com>.

¹⁹ Véanse Ruha Benjamin, Race after Technology. Abolitionist Tools for the New Jim Code, Cambridge, Polity, 2019, y Safiya Umoja Noble, Algorithms of Oppression. How Search Engines Reinforce Racism, Nueva York, NYU Press, 2018.

²⁰ Tristan Greene, “Science May Have Cured Biased AI”, en The Next Web, 26 de octubre de 2017, disponible en línea: <thenextweb.com>.

²¹ Jeffrey Dastin, “Amazon Scraps Secret AI Recruiting Tool That Showed Bias against Women”, en Reuters, 10 de octubre de 2018, disponible en línea: <www.reuters.com>.

²² Ibid.

²³ Esto es parte de una tendencia más amplia hacia la automatización de aspectos de la contratación. Para una descripción detallada, véase Ifeoma Ajunwa y Daniel Greene, “Platforms at Work: Automated Hiring Platforms and other new Intermediaries in the Organization of Work”, en Steven P. Vallas y Anne Kovalainen (eds.), Work and Labor in the Digital Age, Bingley, Emerald, 2019, pp. 66-91.

²⁴ Existen varios excelentes recuentos de la historia de la desigualdad y la discriminación en la computación. Estos son algunos de los que han informado mi manera de pensar sobre estos temas: Mar Hicks, Programmed Inequality: How Britain Discarded Women Technologists and Lost Its Edge in Computing, Cambridge, MIT Press, 2017; Charlton McIlwain, Black Software: The Internet and Racial Justice, from the AfroNet to Black Lives Matter, Nueva York, Oxford University Press, 2019; Jennifer S. Light, “When Computers Were Women”, en Technology and Culture, vol. 40, núm. 3, 1999, pp. 455-483, disponible en línea: <www.jstor.org>, y Nathan Ensmenger, “Computation, Materiality, and the Global Environment”, en IEEE Annals of the History of Computing, vol. 35, núm. 3, 2013, p. 80, disponible en línea: <www.doi.org>.

²⁵ Karin Knorr Cetina, Epistemic Cultures. How the Sciences Make Knowledge, Cambridge, Harvard University Press, 1999, p. 3.

²⁶ Michele Merler et al., “Diversity in Faces”, en arXiv, 8 de abril de 2019, disponible en línea: <arxiv.org>.

²⁷ Joy Buolamwini y Timnit Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, en Proceedings of the First Conference on Fairness, Accountability and Transparency, PLMR, vol. 81, 2018, pp. 77-91, disponible en línea: <proceedings.mlr.press>, e Inioluwa Deborah Raji et al., “Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing”, en Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, Nueva York, Association for Computing Machinery, 2020, pp. 145-151.

²⁸ Michele Merler et al., op. cit.

²⁹ “YFCC100M Core Dataset”, en Multimedia Commons Initiative, 4 de diciembre de 2015, disponible en línea: <multimediacommons.wordpress.com>.

³⁰ Michele Merler et al., op. cit., p. 1.

³¹ Hay muchos libros excelentes sobre estos temas, pero, en particular, véanse Dorothy Roberts, Fatal Invention. How Science, Politics, and Big Business Re-Create Race in the Twenty-First Century, Nueva York, New Press, 2011, pp. 18-41, y Alondra Nelson, The Social Life of DNA. Race, Reparations, and Reconciliation after the Genome, Boston, Beacon, 2016, p. 43. Véase también Sarah A. Tishkoff y Kenneth K. Kidd, “Implications of Biogeography of Human Populations for ‘Race’ and Medicine”, en Nature Genetics, vol. 36, núm. 11, 2004, S21-S27, disponible en línea: <doi.org>.

³² Simone Browne, “Digital Epidermalization: Race, Identity and Biometrics”, en Critical Sociology, vol. 36, núm. 1, enero de 2010, p. 135.

³³ Sebastian Benthall y Bruce D. Haynes, “Racial Categories in Machine Learning”, en FAT* ’19. Proceedings of the Conference on Fairness, Accountability, and Transparency, Nueva York, ACM Press, 2019, pp. 289-298, disponible en línea: <dl.acm.org>.

34* Se refiere aquí a una de las acepciones de la palabra inglesa bias, correspondiente a “diagonal” en nuestro idioma. [N. del T.]

Tom M. Mitchell, “The Need for Biases in Learning Generalizations”, documento de trabajo, Rutgers University, mayo de 1980.

³⁵ Thomas Dietterich y Eun Bae Kong, “Machine Learning Bias, Statistical Bias, and Statistical Variance of Decision Tree Algorithms”, artículo inédito, Oregon State University, 1995, disponible en línea: <http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.38.2702>.

³⁶ Pedro Domingos, “A Few Useful Things to Know about Machine Learning”, en Communications of the ACM, vol. 55, núm. 10, 2012, p. 78, disponible en línea: <doi.org>.

³⁷ Maddox v. State, 32 Ga. 5S7, 79 Am. Dec. 307; Pierson v. State, 18 Tex. App. 55S, y Hinkle v. State, 94 Ga. 595, 21 S. E. 601.

³⁸ Amos Tversky y Daniel Kahneman, “Judgment under Uncertainty: Heuristics and Biases”, en Science, vol. 185, 1974, pp. 1124-1131.

³⁹ Anthony G. Greenwald y Linda Hamilton Krieger, “Implicit Bias: Scientific Foundations”, en California Law Review, vol. 94, núm. 4, 2006, p. 951.

⁴⁰ Christiane Fellbaum (ed.), WordNet. An Electronic Lexical Database, Cambridge, MIT Press, 1998, p. 18. A continuación me baso en una investigación sobre ImageNet realizada con Trevor Paglen. Véase Kate Crawford y Trevor Paglen, “Excavating AI: The Politics of Images in Machine Learning Training Sets”, en AI and Society, s. d., 2020.

⁴¹ Ibid., p. 19.

⁴² Francis W. Nelson y Henry Kucera, Brown Corpus Manual. Manual of Information to Accompany a Standard Corpus of Present-Day Edited American English for Use with Digital Computers, Providence, Brown University, 1979, disponible en línea: <icame.uib.no>.

⁴³ Jorge Luis Borges, “John Wilkins’ Analytical Language”, en Borges. Selected Non-Fictions, ed. de Eliot Weinberger, Nueva York, Penguin, 2000 [ed. orig.: “El idioma analítico de John Wilkins”, en Otras inquisiciones, Madrid, Alianza, 2008].

⁴⁴ Estas son algunas de las categorías que, a la fecha, 1º de octubre de 2020, han sido eliminadas por completo de ImageNet.

⁴⁵ Véase Os Keyes, “The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition”, en Proceedings of the ACM on Human-Computer Interaction, vol. 2, núm. CSCW, art. 88, 2018, disponible en línea: <doi.org>.

⁴⁶ Jack Drescher, “Out of DSM: Depathologizing Homosexuality”, en Behavioral Sciences, vol. 5, núm. 4, 2015, pp. 565-575, disponible en línea: <doi.org>.

⁴⁷ Véase Ronald Bayer, Homosexuality and American Psychiatry. The Politics of Diagnosis, Princeton, Princeton University Press, 1987.

⁴⁸ Véase Os Keyes, op. cit.

⁴⁹ Ian Hacking, “Making Up People”, en London Review of Books, 17 de agosto de 2006, p. 23.

⁵⁰ Geoffrey C. Bowker y Susan Leigh Star, op. cit., p. 196.

⁵¹ Esto proviene de George Lakoff, Women, Fire, and Dangerous Things. What Categories Reveal about the Mind, Chicago, University of Chicago Press, 1987.

⁵² ImageNet Roulette fue resultado de una colaboración de investigación de varios años entre el artista Trevor Paglen y yo, en la que estudiamos la lógica subyacente a múltiples conjuntos de datos de entrenamiento de referencia en la IA. ImageNet Roulette, dirigida por Paglen y producido por Leif Ryge, era una aplicación que permitía a las personas interactuar con una red neuronal entrenada en la categoría “persona” de ImageNet. La gente podía subir imágenes de sí mismos, o imágenes de noticias o fotografías históricas, para ver cómo las etiquetaría ImageNet. La gente también podía ver cuántas de las etiquetas eran extrañas, racistas, misóginas y problemáticas. La aplicación fue diseñada para mostrar la existencia de estas preocupantes etiquetas, después de haber advertido de sus potenciales resultados. Todos los datos de las imágenes cargadas se eliminaron inmediatamente durante el procesamiento. Véase Kate Crawford y Trevor Paglen, op. cit.

⁵³ Kaiyu Yang et al., “Towards Fairer Datasets: Filtering and Balancing the Distribution of the People Subtree in the ImageNet Hierarchy”, en FAT* ’20. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, Nueva York, ACM Press, 2020, pp. 547-558, § 4.2, disponible en línea: <dl.acm.org>.

⁵⁴ Ibid., § 4.3.

⁵⁵ John Markoff, “Seeking a Better Way to Find Web Images”, en The New York Times, 19 de noviembre de 2012, disponible en línea: <www.nytimes.com>.

⁵⁶ Simone Browne, Dark Matters. On the Surveillance of Blackness, Durham, Duke University Press, 2015, p. 114.

⁵⁷ Morgan Klaus Scheuerman et al., “How We’ve Taught Algorithms to See Identity: Constructing Race and Gender in Image Databases for Facial Analysis”, en Proceedings of the ACM on Human-Computer Interaction, vol. 4, núm. CSCW1, 2020, pp. 1-35, disponible en línea: <doi.org>.

⁵⁸ UTKFace Large Scale Face Dataset, disponible en línea: <susanqq.github.io>.

⁵⁹ Geoffrey C. Bowker y Susan Leigh Star, op. cit., p. 197.

⁶⁰ Ibid., p. 198.

⁶¹ Paul N. Edwards y Gabrielle Hecht, “History and the Technopolitics of Identity: The Case of Apartheid South Africa”, en Journal of Southern African Studies, vol. 36, núm. 3, 2010, p. 627, disponible en línea: <doi.org>.

⁶² Donna J. Haraway, Modest_Witness@Second_Millennium.FemaleMan_ Meets_OncoMouse. Feminism and Technoscience, Nueva York, Routledge, 1997, p. 234.

⁶³ Luke Stark, “Facial Recognition Is the Plutonium of AI”, en XRDS: Crossroads. The ACM Magazine for Students, vol. 25, núm. 3, 2019, p. 53, disponible en línea: <doi.org>.

⁶⁴ Siguiendo el orden de los ejemplos, véanse Yilun Wang y Michal Kosinski, “Deep Neural Networks Are More Accurate than Humans at Detecting Sexual Orientation from Facial Images”, en Journal of Personality and Social Psychology, vol. 114, núm. 2, 2018, pp. 246-257, disponible en línea: <doi.org>; Xiaolin Wu y Xi Zhang, “Automated Inference on Criminality Using Face Images”, en arXiv: 13 de noviembre de 2016, disponible en línea: <arxiv.org>, y Julia Angwin et al., “Machine Bias”, op. cit.

⁶⁵ Blaise Agüera y Arcas, Margaret Mitchell y Alexander Todorov, “Physiognomy’s New Clothes”, en Medium: Artificial Intelligence (blog), 7 de mayo de 2017, disponible en línea: <medium.com>.

⁶⁶ Kim E. Nielsen, A Disability History of the United States, Boston, Beacon, 2012; Alison Kafer, Feminist, Queer, Crip, Bloomington, Indiana University Press, 2013, y Tobin Siebers, Disability Theory, Ann Arbor, University of Michigan Press, 2008.

⁶⁷ Meredith Whittaker et al., “Disability, Bias, and AI”, en AI Now Institute, noviembre de 2019, disponible en línea: <ainowinstitute.org>.

⁶⁸ Ian Hacking, “Kinds of People: Moving Targets”, en Proceedings of the British Academy, vol. 151, 2007, p. 289.

⁶⁹ Geoffrey C. Bowker y Susan Leigh Star, op. cit,. p. 31.

⁷⁰ Ibid., p. 6.

⁷¹ Umberto Eco, The Infinity of Lists. An Illustrated Essay, trad. de Alastair McEwen, Nueva York, Rizzoli, 2009 [trad. esp.: El vértigo de las listas, Barcelona, Lumen, 2009].

⁷² Frederick Douglass, “West India Emancipation”, discurso en Canandaigua, Nueva York, 3 de agosto de 1857, disponible en línea: <rbscp.lib.rochester.edu>.

V. Las emociones

EN UN REMOTO puesto de avanzada de las zonas montañosas de Papúa Nueva Guinea, un joven psicólogo estadounidense llamado Paul Ekman llegó acompañado de una colección de tarjetas y una nueva teoría.¹ Era el año 1967 y Ekman había escuchado que el pueblo fore de Okapa estaba tan aislado del ancho mundo que pensó que eso los volvería sus sujetos de prueba ideales. Como muchos investigadores occidentales antes que él, Ekman había llegado a Papúa Nueva Guinea para recabar datos de la comunidad indígena. Reunía pruebas para reforzar una controvertida hipótesis: que todos los seres humanos exhiben un pequeño número de emociones o afectos que son naturales, innatos, transculturales e idénticos en todo el mundo. Aunque esa afirmación sigue siendo poco convincente, sus consecuencias han tenido un gran alcance: los presupuestos de Ekman sobre las emociones se han convertido en una industria creciente que vale más de 17.000 millones de dólares.² Esta es la historia de cómo el reconocimiento emocional se volvió parte de la inteligencia artificial (IA) y los problemas que esto conlleva.

En los trópicos de Okapa, guiado por el investigador médico Daniel Carleton Gajdusek y el antropólogo E. Richard Sorenson, Ekman esperaba conducir experimentos para evaluar la manera en que los fore reconocían emociones transmitidas por expresiones faciales. Puesto que los fore tenían un contacto mínimo con Occidente y los medios de comunicación, Ekman teorizaba que su reconocimiento y exhibición de expresiones básicas probaría que tales expresiones eran universales. Sus métodos eran simples: les mostraría tarjetas de expresiones faciales y observaría si, al verlas, describían las emociones. En sus propias palabras: “Todo lo que estaba haciendo era mostrarles imágenes divertidas”.³

Pero Ekman no tenía ningún conocimiento de la historia, el lenguaje, la cultura y la política de los fore. Sus intentos por realizar sus experimentos con tarjetas usando traductores fracasaron; él y sus sujetos quedaban agotados por el proceso, que describió como sacar dientes sin anestesia.⁴ Ekman abandonó Papúa Nueva Guinea frustrado por este primer intento de investigación transcultural sobre las expresiones emocionales. Pero esto solo sería el principio.

Las herramientas de reconocimiento emocional actuales se pueden encontrar en los sistemas de seguridad nacionales y en los aeropuertos, en la educación y en startups para la contratación de empleados, desde sistemas que pretenden detectar enfermedades psiquiátricas hasta programas de vigilancia que aseguran poder predecir la violencia. Si observamos la historia de cómo surgió la detección de emociones automática, podemos entender que sus métodos hayan planteado tanto preocupaciones éticas como dudas científicas. Como veremos, la afirmación de que el estado interior emocional de alguien se puede evaluar con precisión analizando su rostro se basa en una evidencia inestable.⁵ De hecho, una revisión exhaustiva de la bibliografía científica disponible sobre la inferencia de emociones a partir de movimientos faciales, publicada en 2019, fue concluyente: no hay evidencia confiable de que puedes predecir con precisión el estado emocional de una persona a partir de su rostro.⁶

¿Cómo fue, entonces, que esta colección de afirmaciones y metodologías experimentales controvertidas se convirtió en el enfoque que impulsa muchas partes de la industria de la IA emocional? ¿Por qué la idea de que hay un pequeño conjunto de emociones universales que pueden interpretarse fácilmente a partir del rostro se volvió tan aceptada en el campo de la IA, a pesar de la existencia de considerable evidencia que prueba lo contrario? Para entender eso, es necesario rastrear el desarrollo de esas ideas, mucho antes de que las herramientas de reconocimiento emocional de la IA fueran integradas a la infraestructura de la vida cotidiana.

Ekman es solo una de las muchas personas que han contribuido a las teorías detrás del reconocimiento emocional. Pero la rica y sorprendente historia de su investigación ilumina algunas de las complejas fuerzas que impulsan el campo. Su trabajo está conectado, en primer lugar, con la financiación, por parte de las agencias de inteligencia de Estados Unidos, de las ciencias humanas durante la Guerra Fría, pero también con el trabajo fundamental en el campo de la visión artificial de los programas de seguridad posteriores al 11 de septiembre empleados para identificar a los terroristas, y así hasta llegar a la moda actual del reconocimiento emocional basado en la IA. Esta es una crónica que combina ideologías, políticas económicas y otras basadas en el miedo, así como el deseo de extraer más información sobre las personas de la que ellas están dispuestas a dar.

PROFETAS EMOCIONALES: CUANDO LOS SENTIMIENTOS CUESTAN DINERO

Para los ejércitos, las corporaciones, las agencias de inteligencia y las fuerzas policiales del mundo, la idea del reconocimiento emocional automático es tan llamativa como lucrativa. Promete filtrar, de manera confiable, al amigo del enemigo, distinguir mentiras de verdades y usar los instrumentos de la ciencia para adentrarse en mundos interiores.

Las compañías tecnológicas han capturado volúmenes inmensos de imágenes superficiales de expresiones humanas, incluidos miles de millones de selfis de Instagram, retratos de Pinterest, videos de TikTok y fotografías de Flickr. Una de las muchas cosas que la profusión de imágenes hizo posible fue el intento de extraer, usando el aprendizaje automático, la llamada verdad escondida de los estados emocionales interiores. El reconocimiento emocional se está integrando en muchas plataformas de reconocimiento facial, desde las compañías tecnológicas más grandes hasta las pequeñas startups. Mientras que el reconocimiento facial busca identificar a un individuo particular, la detección emocional apunta a detectar y clasificar emociones analizando cualquier rostro. Puede que estos sistemas no estén haciendo lo que pretenden hacer, pero pueden ser agentes poderosos a la hora de influir comportamientos y entrenar personas para que se desempeñen de maneras reconocibles. Estos sistemas ya están jugando un papel en delinear el comportamiento de las personas y la manera en que las instituciones sociales operan, a pesar de la falta de evidencia científica sustancial que diga que funcionan.

Hoy en día se utilizan ampliamente los sistemas automatizados de detección emocional, en especial en la contratación. Una startup de Londres llamada Human usa el reconocimiento emocional para analizar entrevistas filmadas de candidatos a puestos de trabajo. De acuerdo con un informe del Financial Times, “la compañía asegura que puede detectar las expresiones emocionales de los posibles candidatos y relacionarlas con rasgos de personalidad”; la compañía luego puntúa a los sujetos en rasgos de personalidad como honestidad o pasión por el trabajo.⁷ HireVue, la compañía de contratación por medio de IA, que tiene entre sus clientes a Goldman Sachs, Intel y Unilever, usa aprendizaje automático para evaluar pistas faciales que les permitan inferir la idoneidad de una persona para un trabajo. En el año 2014, la compañía lanzó su sistema de IA para extraer microexpresiones, tonos de voz y otras variables a partir de entrevistas de trabajo filmadas, que usaron para comparar a los candidatos con los trabajadores que tenían menor desempeño de la compañía.⁸

En enero de 2016, Apple compró la startup Emotient, que aseguraba haber producido un software capaz de detectar emociones a partir de imágenes de rostros.⁹ Emotient surgió de una investigación académica llevada a cabo en la University of California San Diego, y es una de las muchas startups que trabajan en esta área.¹⁰ Quizá la más grande de todas es Affectiva, una compañía con sede en Boston que emergió del trabajo académico realizado en el Massachusetts Institute of Technology (MIT). Aquí, Rosalind Picard y sus colegas formaban parte de un campo emergente más amplio, llamado computación afectiva, que describe la computación que “se relaciona con, surge de o influye deliberadamente en las emociones y otros fenómenos afectivos”.¹¹

Affectiva codifica una variedad de aplicaciones relacionadas con las emociones, usando principalmente técnicas de aprendizaje profundo, que van desde detectar a conductores distraídos o “arriesgados” en las carreteras hasta medir las respuestas emocionales de los consumidores frente a la publicidad. La compañía ha construido lo que llama la base de datos de emociones más grande del mundo, que consiste en más de diez millones de expresiones de personas de 87 países.¹² Trabajadores de crowdsourcing, la mayoría desde El Cairo, etiquetaron a mano su monumental colección de videos de personas exteriorizando sus emociones.¹³ Muchas otras compañías han comprado los derechos de los productos de Affectiva para desarrollar de todo, desde aplicaciones para evaluar candidatos para puestos de trabajo hasta otras que analizan si los estudiantes están prestando atención en clases; todo esto capturando y analizando sus expresiones faciales y lenguaje corporal.¹⁴

Más allá del sector de las startups, todos los gigantes de la IA, como Amazon, Microsoft e IBM, tienen sus propios sistemas diseñados para detectar emociones y afectos. Microsoft ofrece una detección emocional en su Face API que asegura poder detectar lo que un individuo está sintiendo entre un rango de emociones que va de “ira, desprecio, asco, miedo, felicidad, neutralidad, tristeza y sorpresa”, y afirma que “estas emociones son entendidas como transculturales y se comunican universalmente con expresiones faciales particulares”.¹⁵ De forma similar, la herramienta Rekognition de Amazon asegura que puede identificar “todas las siete emociones” y “medir cómo estas cosas pueden cambiar en el tiempo, una especie de línea temporal de las emociones de un actor”.¹⁶

Pero ¿cómo funcionan estas tecnologías? Los sistemas de reconocimiento emocional crecieron en los intersticios entre tecnologías de IA, las prioridades militares y las ciencias del comportamiento (la psicología en particular). Comparten un conjunto similar de cianotipos y suposiciones fundacionales: que hay un pequeño número de categorías emocionales distintas y universales, que revelamos esas emociones de forma involuntaria en nuestros rostros y que las máquinas las pueden detectar. Estos artículos de fe son tan aceptados en algunos campos que puede incluso parecer raro prestarles atención, y todavía más cuestionarlos; están tan integrados que han venido a constituir “el punto de vista común”.¹⁷ Pero si vemos cómo se llegó a taxonomizar las emociones (ordenadas y etiquetadas cuidadosamente), veremos que van surgiendo preguntas a cada paso. Y una de las figuras destacadas detrás de este método es la de Paul Ekman.

“EL LECTOR DE ROSTROS MÁS FAMOSO DEL MUNDO”

La investigación de Ekman comenzó con un afortunado encuentro con Silvan Tomkins, por entonces reconocido psicólogo con base en Princeton que había publicado en 1962 el primer volumen de su magnum opus, Affect Imagery Consciousness.¹⁸ El trabajo de Tomkins con las emociones tuvo una gran influencia en Ekman, que dedicó gran parte de su carrera a estudiar sus implicaciones. Un aspecto en particular cumplió un papel descomunal: la idea de que, si las emociones eran un conjunto innato de respuestas evolutivas, estas serían universales y, por lo tanto, reconocibles a través de las culturas. Este deseo de universalidad resulta muy relevante a la hora de entender por qué estas teorías se aplican ampliamente en los sistemas de reconocimiento emocional de la IA hoy en día: ofrecía un pequeño conjunto de principios que podían aplicarse en todas partes, una simplificación de la complejidad que era fácilmente replicable.

En la introducción a Affect Imagery Consciousness, Tomkins enmarcó su teoría de las emociones universales de base biológica como una que abordaba una crisis aguda de la soberanía humana. Desafiaba con esto el desarrollo del conductismo y el psicoanálisis, dos escuelas del pensamiento que, según él, trataban la conciencia como si fuera un mero subproducto de otras fuerzas que, a su vez, servían. Señalaba que la conciencia humana había “sido desafiada y reducida una y otra vez, primero por Copérnico”, que desplazó al hombre desde el centro del universo, “después por Darwin”, cuya teoría de la evolución destrozó por completo la idea de que los seres humanos habían sido creados a imagen de un Dios cristiano, “y sobre todo por Freud”, que les quitó a la conciencia humana y a la razón su espacio como fuerzas impulsoras de nuestra motivación.¹⁹ Tomkins continuaba su argumento con esta aseveración: “La paradoja del control máximo sobre la naturaleza, y el control mínimo sobre la naturaleza humana, deriva en parte del descuido de la función de la conciencia como un mecanismo de control”.²⁰ Para decirlo de una manera más simple: la conciencia nos dice muy poco respecto a por qué sentimos y actuamos como lo hacemos. Esta es una afirmación clave para todo tipo de aplicaciones posteriores de la teoría de las emociones, ya que pone énfasis en la incapacidad de los humanos de reconocer tanto el sentimiento como la expresión de las emociones. Si como seres humanos somos incapaces de detectar realmente lo que sentimos, entonces ¿quizá los sistemas de IA pueden hacerlo por nosotros?

La teoría de las emociones de Tomkins fue su manera de abordar el problema de la motivación humana. Argumentó que la motivación estaba gobernada por dos sistemas: emociones e impulsos. Tomkins sostenía que los impulsos solían estar asociados estrechamente con las necesidades biológicas inmediatas, como el hambre y la sed,²¹ y eran instrumentales: el dolor que causa el hambre se puede remediar con comida. Pero el sistema primario que gobierna la motivación humana y el comportamiento es el de las emociones, que incluye sentimientos positivos y negativos. Las emociones, que desempeñan el papel más importante en la motivación humana, amplifican las señales de los impulsos, pero son mucho más complejas. Por ejemplo, resulta difícil saber la razón precisa o las causas por las que llora un bebé, expresando la emoción del sufrimiento-angustia. El bebé puede estar “hambriento o [con] frío o mojado o adolorido o [llorando] por una fiebre”.²² De igual modo, hay un gran número de maneras en que se puede lidiar con este sentimiento emocional: “El llanto se puede detener alimentando el bebé, meciéndolo, subiendo la temperatura de la habitación, bajándola, quitando el alfiler del pañal, etcétera”.²³

Tomkins concluye lo siguiente:

El precio que se paga por esta flexibilidad es el de la ambigüedad y el error. El individuo puede (o no) identificar correctamente la “causa” de su miedo o alegría, y puede (o no) aprender a reducir su miedo o mantener o recapturar su alegría. En este aspecto, el sistema de las emociones no es tan simple como un sistema de señales, como [sí] lo es el sistema de impulsos.²⁴

Las emociones, como los impulsos, no son estrictamente instrumentales; tienen un grado más alto de independencia de los estímulos y los objetos, lo que quiere decir que, a menudo, podemos no saber por qué sentimos enojo, miedo, o felicidad.²⁵

Toda esta ambigüedad puede sugerir que las complejidades de las emociones son imposibles de desenredar. ¿Cómo podemos saber cualquier cosa sobre un sistema en el que las conexiones entre la causa y el efecto, el estímulo y la respuesta, son tan tenues e inciertas? Tomkins propuso una respuesta: “Las emociones primarias […] parecen están relacionadas innatamente de una forma individualizada con un sistema de órganos que es extraordinariamente visible”. En otras palabras, el rostro.²⁶ Encontró precedentes para este énfasis en la expresión facial en dos trabajos publicados en el siglo XIX: La expresión de las emociones en el hombre y en los animales (1872), de Charles Darwin, y un volumen desconocido escrito por el neurólogo francés Guillaume Benjamin Amand Duchenne de Boulogne, Mécanisme de la physionomie humaine ou Analyse électro-physiologique de l’expression des passions applicable à la pratique des arts plastiques (1862).²⁷

Tomkins asumió que la exhibición facial de las emociones era un universal humano.

Las emociones —creía— son conjuntos de respuestas musculares, vasculares y glandulares localizadas en el rostro y también distribuidas ampliamente por el cuerpo, lo que genera respuestas sensoriales. […] Estos conjuntos organizados de respuestas son detonados en centros subcorticales donde se guardan “programas” específicos para cada emoción distinta;

este es uno de los primeros usos de una metáfora computacional para un sistema humano.²⁸

Pero Tomkins reconoce que la interpretación de las manifestaciones emocionales depende de factores individuales, sociales y culturales. Admitió también que había muchos diferentes “dialectos” del lenguaje facial en distintas sociedades.²⁹ Es decir que hasta el progenitor de la investigación de las emociones planteó la posibilidad de que el reconocimiento de los afectos y las emociones dependiera del contexto social y cultural. El conflicto potencial entre los dialectos culturales y un lenguaje universal basado en la biología tuvo enormes implicaciones para el estudio de las expresiones faciales y posteriores formas de reconocimiento emocional. Debido a que las expresiones faciales son culturalmente variables, usarlas para entrenar sistemas de aprendizaje automático supone inevitablemente mezclar todo tipo de contextos, señales y expectativas distintos.

A mediados de la década de 1960, la oportunidad golpeó a la puerta de Ekman. Se trataba de la Advanced Research Projects Agency (ARPA), una de las ramas de investigación del Departamento de Defensa. Al recordar este período, Ekman admitió: “No fue idea mía [la investigación de las emociones]. Se me pidió… me empujaron. Ni siquiera escribí la propuesta de investigación. La escribió por mí el hombre que me dio el dinero para hacerla”.³⁰ En 1965, estaba investigando la expresión no verbal en ambientes clínicos y buscando fondos para desarrollar un programa de investigación en la Stanford University. Consiguió una entrevista en Washington con Lee Hough, que estaba a la cabeza de la división de Ciencias del Comportamiento de ARPA.³¹ A Hough no le impresionó la descripción que Ekman hizo de su investigación, pero vio el potencial en el entendimiento de la comunicación no verbal transcultural.³²

El único problema era que, según admitía el propio Ekman, él no sabía cómo hacer investigación transcultural: “Ni siquiera sabía cuáles eran los argumentos, la bibliografía o los métodos”.³³ Así que, comprensiblemente, decidió dejar de buscar el financiamiento de ARPA. Pero Hough insistió y, de acuerdo con Ekman, “se sentó un día entero en mi oficina y escribió la propuesta que luego él mismo financió y me permitió hacer la investigación por la que soy conocido: la evidencia de la universalidad de ciertas expresiones faciales de emociones y las diferencias culturales en los gestos”.³⁴ Obtuvo una inyección masiva de fondos de ARPA, cercana al millón de dólares; el equivalente a más de ocho millones de dólares en la actualidad.³⁵

En ese momento, Ekman se preguntó por qué Hough parecía estar tan ansioso por financiar su investigación, a pesar de sus propias objeciones y su falta de experiencia. Resultó que Hough quería distribuir su dinero rápidamente para poder eludir las sospechas del senador Frank Church, que había descubierto a Hough usando la investigación en las ciencias sociales para tapar la adquisición de información en Chile que pudiera ser usada para derrocar al gobierno de izquierda del presidente Salvador Allende.³⁶ Ekman llegaría a concluir que era simplemente un tipo con suerte, alguien “capaz de hacer investigación en el extranjero que no lo metería [a Hough] en problemas”.³⁷ ARPA sería la primera de una larga lista de agencias de defensa, inteligencia y policía que financiarían tanto la carrera de Ekman como, más ampliamente, el campo del reconocimiento emocional.

Con el apoyo de una gran beca a sus espaldas, Ekman empezó sus primeros estudios para probar la universalidad de las expresiones faciales. En general, estos estudios siguieron un diseño que sería replicado en los primeros laboratorios de IA. Ekman duplicó en gran parte los métodos de Tomkins, incluso usando las fotografías de este para hacer pruebas con sujetos tomados de Chile, Argentina, Brasil, Estados Unidos y Japón.³⁸ Confiaba en pedirles a los participantes de la investigación que simularan las expresiones de una emoción y, luego, las compararía con expresiones reunidas “en condiciones salvajes”, esto es, fuera de un laboratorio.³⁹ Se les mostraban a los sujetos fotografías de expresiones faciales en pose, seleccionadas por los diseñadores, como ejemplares o expresivas de una emoción particularmente “pura” o intensa. Se les pedía entonces que eligieran entre esas categorías de emociones y etiquetaran la imagen. El análisis midió el grado en que las etiquetas elegidas por los sujetos se correlacionaban con las elegidas por los diseñadores.

Desde el principio, la metodología presentó problemas. El formato de respuesta de elección forzada de Ekman sería criticado más tarde por alertar a los sujetos de las conexiones que los diseñadores ya habían hecho entre expresiones faciales y emociones.⁴⁰ Además, el hecho de que estas emociones fueran falsificadas o actuadas levantaría preocupaciones significativas acerca de la validez de los resultados.⁴¹ Ekman encontró algunos acuerdos transculturales usando este método, pero el antropólogo Ray Birdwhistell puso en duda sus hallazgos y sugirió que podían no reflejar estados emocionales innatos, si es que habían sido aprendidos culturalmente a través de la exposición a medios masivos como películas, televisión o revistas.⁴² Fue esta controversia la que empujó a Ekman a dirigirse a Papúa Nueva Guinea, específicamente a estudiar indígenas en la región de las zonas altas. Pensó que, si las personas con poco contacto con la cultura y los medios occidentales coincidían con la forma en que había categorizado expresiones emocionales propuestas, esto le proporcionaría una fuerte evidencia de la universalidad de su esquema.

Después de regresar de su primer intento por estudiar a los fore en Papúa Nueva Guinea, Ekman ideó un enfoque alternativo para probar su teoría. Les mostró a sujetos de investigación en Estados Unidos una fotografía, luego les pidió que eligieran uno entre seis conceptos emocionales: felicidad, miedo, disgusto-desprecio, ira, sorpresa y tristeza.⁴³ Los resultados se acercaban lo suficiente a los de sujetos de otros países, con lo que Ekman creyó que estaba en condiciones de asegurar que “ciertos comportamientos faciales particulares están asociados universalmente con emociones particulares”.⁴⁴

EMOCIONES: DE LA FISONOMÍA A LA FOTOGRAFÍA

La idea de que los estados interiores se pueden inferir de forma confiable a partir de señales exteriores surge en parte de la historia de la fisonomía, que fue premisa en el estudio de los rasgos faciales de las personas para encontrar indicaciones sobre su carácter. En el mundo griego antiguo, Aristóteles había creído que “es posible juzgar el carácter de los hombres a partir de su aspecto físico […] pues se ha asumido que el cuerpo y el alma se ven afectados juntos”.⁴⁵ Los griegos también usaban la fisonomía como una forma temprana de clasificación racial, aplicada al “género del hombre mismo, dividiéndolo en razas, en la medida en que difirieran en apariencia y en personalidad (por ejemplo, egipcios, tracios y escitas)”.⁴⁶ Presuponían una conexión entre el cuerpo y el alma que justificaba una lectura del carácter interior de una persona basada en su apariencia externa.

La fisonomía en la cultura occidental llegó a un punto álgido durante los siglos XVIII y XIX, cuando se la veía como parte de las ciencias anatómicas. Una figura central de esta tradición era el pastor suizo Johann Kaspar Lavater, quien escribió Essays on Physiognomy; for the Promotion of Knowledge and the Love of Mankind [Ensayos sobre la fisonomía para la promoción del conocimiento y el amor a la humanidad], publicado originalmente en alemán en 1789.⁴⁷ Lavater tomó los métodos de la fisonomía y los mezcló con los últimos conocimientos científicos. Intentó crear una comparación más “objetiva” de los rostros usando siluetas en lugar de grabados de artistas, ya que estas eran más mecánicas y fijaban la posición de cada rostro en una forma familiar (la del perfil), lo que permitía un punto de vista comparativo.⁴⁸ Creía que la estructura ósea era una conexión subyacente entre la apariencia física y el tipo de carácter. Mientras que las expresiones faciales eran pasajeras, los cráneos ofrecían un material más sólido para las inferencias fisonómicas.⁴⁹ Como vimos en el capítulo anterior, la medición de cráneos se utilizó para apoyar el nacionalismo, el racismo y la xenofobia emergentes. A lo largo del siglo XIX, elaboraron este infame trabajo frenólogos como Franz Joseph Gall y Johann Gaspar Spurzheim, así como el trabajo de Cesare Lombroso en la criminología científica… todo lo cual conduciría a los tipos de clasificaciones inferenciales que recurren en los sistemas de IA contemporáneos.

Pero fue el neurólogo francés Duchenne, descripto por Ekman como un “observador maravillosamente dotado”, quien codificó el uso de la fotografía y otros medios técnicos en el estudio de los rostros humanos.⁵⁰ En Mécanisme de la physionomie humaine, Duchenne sentó importantes bases tanto para Darwin como para Ekman, conectando viejas ideas de la fisonomía y la frenología con investigaciones más modernas de la fisiología y la psicología. Remplazó vagas afirmaciones sobre el carácter con una investigación más limitada sobre la expresión y los estados mentales o emocionales interiores.⁵¹

Duchenne trabajaba en París, en el asilo Salpêtrière, que alojaba hasta cinco mil personas con un amplio rango de diagnósticos de enfermedades mentales y condiciones neurológicas. Algunos se convertirían en sujetos de sus angustiosos experimentos, parte de una larga tradición de experimentación médica y tecnológica con aquellos más vulnerables que no pueden negarse.⁵² Duchenne, que era poco conocido en la comunidad científica, desarrolló técnicas de descargas eléctricas para estimular movimientos musculares aislados en los rostros de las personas. Su meta era construir un entendimiento anatómico y fisiológico más completo del rostro. Usó estos métodos para unir la nueva ciencia psicológica con el estudio mucho más antiguo de los signos fisonómicos, o pasiones.⁵³ Confió en las últimas técnicas fotográficas, como el procesamiento de colodión, que permitía tiempos de exposición mucho más cortos, lo que le permitió congelar en imágenes movimientos musculares y expresiones faciales fugaces.⁵⁴

Incluso en estas etapas muy tempranas, los rostros nunca fueron expresiones humanas naturales o que ocurrieran en contextos sociales, sino simulaciones producidas por la aplicación bruta de electricidad en los músculos. Aun así, Duchenne creía que el uso de la fotografía y otros sistemas técnicos transformaría el laxo asunto de la representación en algo objetivo y probatorio, más pertinente para el estudio científico.⁵⁵ En su introducción a La expresión de emociones en el hombre y en los animales, Darwin elogió las “magníficas fotografías” de Duchenne e incluyó reproducciones en su propio trabajo.⁵⁶ Puesto que las emociones son ocurrencias temporales, incluso fugaces, la fotografía ofrecía la posibilidad de fijar, comparar y categorizar su aparición en el rostro. Sin embargo, las imágenes verdaderas de Duchenne estaban muy fabricadas.

Placas de Guillaume Benjamin Duchenne (de Boulogne), Mécanisme de la physionomie humaine. Cortesía de la Biblioteca Nacional de Medicina de Estados Unidos.

Ekman seguiría a Duchenne al poner a la fotografía en el centro de su práctica experimental.⁵⁷ Creía que la fotografía en cámara lenta era esencial para su método, porque muchas expresiones faciales operan en los límites de la percepción humana. Buscaba encontrar las llamadas microexpresiones, movimientos musculares minúsculos en la cara. La duración de las microexpresiones, según él, “es tan corta que, a menos que se use la proyección en cámara lenta, se quedan en el umbral del reconocimiento”.⁵⁸ En años posteriores, Ekman también insistiría en que cualquiera podía llegar a aprender a reconocer microexpresiones, sin un entrenamiento especial ni el uso de capturas en cámara lenta, en alrededor de una hora.⁵⁹ Pero si estas expresiones son demasiado rápidas para que los humanos puedan reconocerlas, ¿cómo van a poder entenderlas?⁶⁰

Uno de los planes más ambiciosos de Ekman al principio de su investigación era codificar un sistema para detectar y analizar expresiones faciales.⁶¹ En 1971, copublicó la descripción de lo que llamó Facial Action Scoring Technique (FAST) [Técnica de puntuación de acciones faciales]. Apoyándose en fotografías para las que habían posado, el método usaba seis tipos emocionales básicos, derivados principalmente de las intuiciones de Ekman.⁶² Pero FAST pronto se encontró con problemas cuando otros científicos fueron capaces de producir expresiones faciales que no estaban incluidas en su tipología.⁶³ Así que Ekman decidió basar su nueva herramienta de medición en la musculatura facial, remontándose a los estudios originales de electrochoque de Duchenne. Ekman identificó aproximadamente cuarenta contracciones musculares distintas en el rostro, y llamó a los componentes básicos de cada expresión facial unidad de acción.⁶⁴ Después de algunas pruebas y validaciones Ekman y Wallace Friesen publicaron el Facial Action Coding System (FACS) [Sistema de codificación de la acción facial] en 1978; las ediciones actualizadas continúan siendo ampliamente utilizadas.⁶⁵ FACS era extremadamente laborioso para ser usado como una herramienta de medición. Ekman dijo que le tomaba entre setenta y cinco y ochenta horas capacitar a los usuarios en la metodología FACS, y una hora obtener un minuto de metraje facial.⁶⁶

Elementos del Sistema de codificación de la acción facial. Fuente: Paul Ekman y Wallace V. Friesen.

En una conferencia a principios de los años ochenta, Ekman escuchó una presentación que sugería una solución a las intensas demandas laborales de FACS: el uso de computadoras para automatizar las mediciones. Aunque en sus memorias Ekman no menciona al investigador que dio la charla, sí señala que el sistema se llamaba Wizard y que había sido desarrollado en la Brunel University de Londres.⁶⁷ Seguramente, se trata del sistema de reconocimiento de objetos de aprendizaje automático de Igor Aleksander, WISARD, uno de los primeros de su tipo, que usaba redes neuronales en una época en que este método estaba pasado de moda.⁶⁸ Algunas fuentes reportan que WISARD estaba entrenado con “una base de datos de conocidos hooligans de fútbol”, anticipando el difundido uso contemporáneo de fotos de prontuarios policiales para entrenar tecnologías de reconocimiento facial.⁶⁹

Debido a que el reconocimiento facial surgió como una de las aplicaciones fundacionales para la IA en los años sesenta, no resulta sorprendente que los primeros investigadores que trabajaban en este campo hicieran causa común con el método de Ekman para analizar rostros.⁷⁰ El mismo Ekman asegura haber tenido un papel activo impulsando las formas automatizadas de reconocimiento emocional a través de sus viejos contactos en las agencias de defensa e inteligencia, de la época en que lo financiaba ARPA. Ayudó a organizar una competencia informal entre dos equipos trabajando con datos FACS, y esto parece haber tenido un impacto duradero. Ambos equipos han pasado a ocupar un lugar prominente en el campo de la computación emocional. Un equipo estaba compuesto por Terry Sejnowski y su estudiante Marian Bartlett, que se convertiría en una figura importante de la informática de reconocimiento emocional y la científica principal de Emotient, adquirida por Apple en 2016.⁷¹ El segundo equipo, con sede en Pittsburgh, era dirigido por el psicólogo Jeffrey Cohn de la University of Pittsburgh y el eminente investigador de visión artificial Takeo Kanade de Carnegie Mellon.⁷² Estas dos figuras se dedicaron al reconocimiento emocional a largo plazo y desarrollaron el muy conocido conjunto de datos de expresión emocional Cohn-Kanade (CK) y sus descendientes.

El sistema FACS de Ekman proporcionó dos cosas esenciales a las aplicaciones posteriores de aprendizaje automático: un conjunto de etiquetas estable, discreto y finito, que los humanos podían usar para categorizar fotografías de rostros, así como un sistema para producir mediciones. Prometía desplazar, del ámbito de los artistas y novelistas, el difícil trabajo de representar las vidas interiores para ponerlo bajo la protección de una rúbrica racional, cognoscible y mensurable, adecuada para los laboratorios, corporaciones y gobiernos.

CAPTURAR EL SENTIMIENTO: EL ARTIFICIO DETRÁS DE LA INTERPRETACIÓN DE LAS EMOCIONES

A medida que empezaba a tomar forma el uso de computadoras para el reconocimiento emocional, los investigadores admitieron que necesitaban una recolección de imágenes estandarizadas para experimentar. Un informe de la National Science Foundation (NSF) de 1992, escrito en colaboración con Ekman, recomendaba que “una base de datos multimedia, de fácil acceso, compartida por la diversa comunidad de la investigación facial, sería un importante recurso para resolver y ampliar algunos temas relacionados con el entendimiento facial”.⁷³ En menos de un año, el Departamento de Defensa comenzaría a financiar el programa Face Recognition Technology (FERET) para recolectar fotografías faciales, como vimos en el capítulo III. Para el final de la década, los investigadores de aprendizaje automático habían comenzado a compilar, etiquetar y hacer públicos los conjuntos de datos que impulsan la mayor parte de la investigación de aprendizaje automático hoy en día.

Las pautas de FACS de Ekman formaron directamente el conjunto de datos de CK.⁷⁴ Siguiendo con la tradición de Ekman de posar para las expresiones faciales, “a los sujetos se les instruyó por medio de un experimentador a realizar una serie de 23 demostraciones faciales”, que los expertos de FACS luego codificaron, proporcionando etiquetas para los datos. El conjunto de datos de CK permitió a los laboratorios comparar sus resultados y su progreso a medida que construían nuevos sistemas de reconocimiento de expresiones.

Otros laboratorios y compañías trabajaban en proyectos paralelos, creando decenas de bases de datos. Por ejemplo, los investigadores de un laboratorio en Suecia crearon el Karolinska Directed Emotional Faces. Esta base de datos se compone de imágenes de individuos que posan con expresiones emocionales que se corresponden con las categorías de Ekman.⁷⁵ Hacen que sus rostros adopten formas acordes a seis estados emocionales básicos. Al mirar estos conjuntos de datos de entrenamiento cuesta no sorprenderse por lo extremos que son: ¡Sorpresa increíble! ¡Felicidad abundante! ¡Miedo paralizante! Estos sujetos están literalmente creando emociones legibles por computadora.

Mientras el campo crecía en escala y complejidad, también lo hacían los tipos de fotografías usadas en el reconocimiento emocional. Los investigadores comenzaron a utilizar el sistema FACS para etiquetar datos generados no a partir de poses con expresiones, sino de expresiones faciales espontáneas, a veces recopiladas fuera del laboratorio. Por ejemplo, una década después del inmensamente exitoso lanzamiento del conjunto de datos CK, un grupo de investigadores lanzó una segunda generación, el conjunto de datos Cohn-Kanade Extendido (CK+),⁷⁶ que incluía el rango típico de poses con expresiones, pero también empezó a incluir las llamadas expresiones sin pose o espontáneas, tomadas de videos en los que los sujetos hacían expresiones faciales espontáneas.

Para 2009, Affectiva surgió del MIT Media Lab con el objetivo de capturar “expresiones faciales naturalistas y espontáneas” en escenarios de la vida real.⁷⁷ La compañía recolectó datos permitiendo a los usuarios participar en un sistema que grabaría sus rostros usando una cámara web mientras miraban una serie de comerciales. Estas imágenes serían luego etiquetadas usando un software personalizado por codificadores entrenados con el FACS.⁷⁸ Pero aquí encontramos otro problema de circularidad: FACS fue desarrollado a partir del cuantioso archivo de Ekman de fotografías en que se posa;⁷⁹ incluso cuando las imágenes son recolectadas en escenarios naturalistas, por lo general se clasifican de acuerdo con un esquema derivado de imágenes para las que se posa.

Expresiones faciales del conjunto de datos Cohn-Kanade: alegría, ira, disgusto, tristeza, sorpresa, miedo. Imágenes para las que se ha posado de Takeo Kanade et al., Yearbook of Physical Anthropology, 2000. © Cohn & Kanade.

El trabajo de Ekman influyó profunda y ampliamente en casi todo, desde el software de detección de mentiras hasta la visión artificial. The New York Times lo describió como “el lector de rostros más famoso del mundo” y Time lo nombró una de las cien personas más influyentes del mundo. Eventualmente, llegaría a ser asesor de clientes tan dispares como el Dalai Lama, el Federal Bureau of Investigation (FBI), la Intelligence Agency (CIA), el Servicio Secreto e, incluso, el estudio de animación Pixar, que quería crear representaciones más realistas para las caras de sus dibujos animados.⁸⁰ Sus ideas se volvieron parte de la cultura popular, incluidas en best-sellers como Blink: inteligencia intuitiva, de Malcolm Gladwell, y un drama de televisión, Miénteme, en el que Ekman trabajó como asesor del personaje principal, aparentemente basado vagamente en él.⁸¹

Sus negocios también prosperaron: Ekman vendió técnicas de detección de engaños a agencias de seguridad como la Transportation Security Administration (TSA), que las usó para desarrollar el programa Screening of Passengers by Observation Techniques (SPOT). SPOT se usó para monitorear las expresiones faciales de los viajeros aéreos en los años que siguieron a los ataques del 11 de septiembre, en un intento por detectar terroristas “automáticamente”. El sistema usa un conjunto de 94 criterios que, supuestamente, son señales de estrés, miedo o engaño. Pero estar buscando estas respuestas significaba que algunos grupos estaban inmediatamente en desventaja. Cualquiera que estuviera estresado, que se sintiera incómodo al ser interrogado o que hubiera tenido experiencias negativas con la policía o los controles fronterizos podía obtener una puntuación más alta. Esto produjo su propia forma de discriminación racial. El programa SPOT ha sido criticado por la Government Accountability Office (GAO) y por grupos que abogan por los derechos individuales, por su falta de metodología científica y por no producir éxitos claros, a pesar de su precio de 900 millones de dólares.⁸²

LAS CRÍTICAS A LAS TEORÍAS DE EKMAN

Cuanto más crecía la fama de Ekman, también lo hacía el escepticismo hacia su trabajo, con críticas que provenían de distintos campos. Una de las primeras críticas fue la antropóloga cultural Margaret Mead, que debatió con Ekman sobre la cuestión de la universalidad de las emociones a fines de la década de 1960, lo que resultó en intercambios feroces no solo entre ellos dos, sino entre otros antropólogos que criticaban las ideas de Ekman sobre una universalidad absoluta.⁸³ A Mead no la convencía que Ekman creyera en determinantes biológicos universales del comportamiento y no considerara factores culturales.⁸⁴ En particular, Ekman tendía a reducir las emociones a un binario demasiado simplificado y mutuamente excluyente: o las emociones eran universales o no lo eran. Los críticos como Mead señalaban que había otros matices.⁸⁵ Ella adoptó una posición intermedia y destacó que no había ninguna contradicción inherente entre “la posibilidad de que los seres humanos puedan compartir un núcleo de comportamientos innatos […] y la idea de que las expresiones emocionales puedan, al mismo tiempo, estar muy condicionadas por factores culturales”.⁸⁶

Otros científicos de distintos campos se sumaron al coro en las siguientes décadas. En años más recientes los psicólogos James Russell y José Miguel Fernández-Dols han demostrado que los aspectos más básicos de la ciencia siguen estando sin resolver: “Las preguntas más fundamentales, como por ejemplo si acaso ‘las expresiones faciales de emociones’ expresan de hecho emociones, permanecen sujetas a grandes controversias”.⁸⁷ Las científicas sociales Maria Gendron y Lisa Feldman Barrett han señalado los peligros específicos de usar las teorías de Ekman en la industria de la IA, porque la detección automática de expresiones faciales no indica con fiabilidad un estado mental interno.⁸⁸ Como observa Barrett, “las compañías pueden decir lo que quieran, pero los datos son claros. Pueden detectar un ceño fruncido, pero eso no es lo mismo que detectar enojo”.⁸⁹

Todavía más problemático resulta que, en el campo de estudio de las emociones, no haya consenso entre los investigadores respecto a lo que es en realidad una emoción. Qué son, cómo se formulan dentro nuestro y se expresan, sus funciones fisiológicas y neurobiológicas, su relación con los estímulos, incluso cómo definirlas: todo esto sigue total y obstinadamente lejos de ser resuelto.⁹⁰

Quizá la principal crítica de la teoría de las emociones de Ekman sea la historiadora científica Ruth Leys. En The Ascent of Affect desglosa minuciosamente

las implicancias de las suposiciones fundamentalmente fisiognómicas que subyacen en el trabajo de Ekman […] en concreto, la idea de que se puede mantener una distinción estricta entre expresiones emocionales auténticas y artificiales, basándose en las diferencias entre las caras que hacemos cuando estamos solos y las que hacemos cuando estamos con otros.⁹¹

Leys ve una circularidad fundamental en el método de Ekman. En primer lugar, las fotografías en las que se posa o se simula que usó expresaban un conjunto de estados emocionales básicos, “ya libres de influencias culturales”.⁹² Después, estas fotografías se usaban para obtener etiquetas de distintas poblaciones para demostrar la universalidad de las expresiones faciales. Leys señala un problema serio: Ekman asumió que “las expresiones faciales en las fotografías que usó en sus experimentos estaban libres de máculas culturales porque habían sido reconocidas a nivel universal. Al mismo tiempo, sugirió que esas expresiones faciales eran reconocidas universalmente porque estaban libres de máculas culturales”.⁹³ El método es en esencia recursivo.⁹⁴

Otros problemas se volvieron evidentes cuando las ideas de Ekman empezaron a utilizarse en sistemas técnicos. Como hemos visto, muchos conjuntos de datos que forman la base de este campo están basados en actores simulando estados emocionales, actuando para la cámara. Esto significa que los sistemas de IA están entrenados para reconocer expresiones fingidas de sentimientos. Aunque los sistemas de IA aseguran tener acceso a la verdad fundamental sobre los estados naturales interiores, están entrenados con materiales que, inevitablemente, son construidos. Incluso en las imágenes que capturan a personas respondiendo a comerciales o películas, esas personas son conscientes de que están siendo observadas, lo que puede alterar sus reacciones.

La dificultad para automatizar la conexión entre los movimientos faciales y las categorías emocionales básicas nos lleva a un cuestionamiento más amplio: si las emociones pueden, de hecho, agruparse adecuadamente en pequeños números de categorías discretas.⁹⁵ Este punto de vista se remonta a Tomkins, quien argumentaba que “cada tipo de emoción puede identificarse mediante una respuesta distintiva más o menos única dentro del cuerpo”.⁹⁶ Pero hay muy poca evidencia consistente que apunte a esto. Los psicólogos han llevado a cabo muchas revisiones de la evidencia publicada, sin encontrar las asociaciones entre las respuestas medibles y los estados emocionales, cuya existencia esta evidencia asume.⁹⁷ Finalmente, está el obstinado asunto de que las expresiones faciales a veces no indican precisamente nuestros estados interiores, como podrá confirmar quienquiera que alguna vez haya sonreído sin sentirse feliz.⁹⁸

Ninguno de estos importantes cuestionamientos a la base de las aseveraciones de Ekman ha impedido que su trabajo tenga un lugar privilegiado en las aplicaciones de IA actuales. Cientos de artículos citan la visión de Ekman sobre las expresiones faciales interpretables, como si se tratara de un hecho indiscutible, a pesar de las décadas de controversia científica. Muy pocos científicos informáticos han siquiera reconocido esta literatura de incertidumbres. El investigador de computación afectiva Arvid Kappas, por ejemplo, menciona directamente una falta de consenso científico básico:

Sabemos demasiado poco sobre los complejos moduladores sociales de la actividad facial, y posiblemente de otras actividades expresivas en tales situaciones, como para poder medir de manera confiable los estados emocionales a partir de la conducta expresiva. Este no es un problema de ingeniería que puede resolverse con un mejor algoritmo.⁹⁹

A diferencia de muchos en este campo, que confían ciegamente en el reconocimiento emocional, Kappas cuestiona por completo la creencia de que es una buena idea que las computadoras intenten detectar las emociones.¹⁰⁰

Entre más tiempo pasan investigadores de otros campos examinando el trabajo de Ekman, más fuerte se vuelve la evidencia en su contra. En 2019, Lisa Feldman Barrett dirigió un equipo de investigación que realizó una amplia revisión de la bibliografía sobre la inferencia de emociones a partir de expresiones faciales. Concluyeron tajantemente que las expresiones faciales están lejos de ser indiscutibles, y que “no son ‘huellas digitales’ o muestras de diagnóstico” que señalan con fiabilidad estados emocionales, mucho menos a través de culturas y contextos. Basándose en toda la evidencia actual, el equipo señaló que “no es posible inferir con seguridad la felicidad a partir de una sonrisa, la rabia de un ceño fruncido o la tristeza de una mueca, como intenta hacer gran parte de la tecnología actual al aplicar lo que equivocadamente se cree que son hechos científicos”.¹⁰¹

El equipo de Barrett criticaba a las compañías de IA que aseguraban ser capaces de automatizar la inferencia de las emociones:

Las compañías tecnológicas, por ejemplo, están gastando millones de dólares de investigación para construir dispositivos que lean emociones de los rostros, tomando erróneamente la visión común como si fuera algo que tiene un fuerte apoyo científico. […] De hecho, nuestra revisión de la evidencia científica indica que se conoce muy poco acerca de cómo y por qué ciertos movimientos faciales expresan instancias emocionales, particularmente con un nivel de detalle suficiente como para que semejantes conclusiones se utilicen en programas importantes del mundo real.¹⁰²

¿Por qué, teniendo tantas críticas, ha permanecido el método de “leer emociones” de los rostros? Al analizar la historia de estas ideas, nos damos cuenta de que el financiamiento de la investigación militar, las prioridades policiales y el lucro han delineado esta área. Desde los años sesenta, impulsados por importantes fondos del Departamento de Defensa, se han desarrollado muchos sistemas que son cada vez más precisos en la medición de movimientos en los rostros. Una vez que surgió la teoría de que era posible evaluar estados internos midiendo movimientos faciales, y que se desarrolló la tecnología para medirlos, la gente adoptó voluntariamente la premisa subyacente. La teoría calzaba con lo que las herramientas podían hacer. Las teorías de Ekman parecían ideales para el campo emergente de la visión artificial porque podían automatizarse a escala.

Existen poderosas inversiones institucionales y corporativas detrás de la validez de las teorías y metodologías de Ekman. Reconocer que las emociones no se pueden clasificar fácilmente, o que no se pueden detectar de manera confiable en expresiones faciales, podría socavar a una industria en expansión. En el campo de la IA, se suele citar a Ekman como si el tema se hubiera resuelto, antes de proceder directamente a desafíos de la ingeniería. Los asuntos más complejos de contexto, acondicionamiento, relacionalidad y factores culturales son difíciles de conciliar con los métodos disciplinarios actuales de la informática, o con las ambiciones del sector tecnológico comercial. Por lo tanto, las categorías emocionales básicas de Ekman se volvieron estándar. Métodos más sutiles, como el intermedio de Mead, se pasaron en gran medida por alto. El enfoque se ha puesto en aumentar las tasas de precisión de los sistemas de IA, en lugar de abordar las mayores preguntas respecto a las muchas maneras en que experimentamos, mostramos y ocultamos emociones y cómo interpretamos las expresiones faciales de los demás.

Conjunto de datos Columbia Gaze, en Brian A. Smith et al., ACM Symposium on User Interface Software and Technology (UIST), octubre de 2013, pp. 271-280. Cortesía de Brian A. Smith.

Como escribe Barrett: “Muchos de los modelos más influyentes de nuestra ciencia asumen que las emociones son categorías biológicas impuestas por la naturaleza, de modo que las categorías emocionales son reconocidas, en vez de construidas, por la mente humana”.¹⁰³ Los sistemas de IA para detectar emociones se basan en esta idea. El reconocimiento puede ser el marco equivocado por completo cuando se piensa en las emociones, porque el reconocimiento asume que las categorías emocionales están determinadas, en lugar de ser emergentes y relacionales.

LA POLÍTICA DE LOS ROSTROS

En vez de intentar construir más sistemas que agrupen expresiones en categorías legibles por computadora, deberíamos preguntarnos por los orígenes de esas categorías, así como por sus consecuencias sociales y políticas. Actualmente, se usan herramientas de reconocimiento emocional para ataques políticos. Por ejemplo, un blog conservador aseguró haber creado un “sistema de polígrafo virtual” para evaluar videos de la congresista Ilhan Abdullahi Omar.¹⁰⁴ Mediante análisis de rostro y voz de Rekognition de Amazon, XRVision Sentinel AI y Watson de IBM, el bloguero aseguraba que el puntaje analítico de mentiras de Omar superaba la “media de verdad” y que sus registros de estrés, desprecio y nerviosismo eran altos. Varios medios de comunicación conservadores reportaron la noticia, alegando que Omar era una “mentirosa patológica” y una amenaza para la seguridad de la nación.¹⁰⁵

Es sabido que estos sistemas señalan las afectaciones del habla de las mujeres de manera diferente del modo en que señalan las de los hombres, en especial las de las mujeres negras. Como vimos en el capítulo III, la construcción de un “promedio” a partir de datos de entrenamiento no representativos desde el principio resulta epistemológicamente sospechoso, con sesgos claramente raciales. Un estudio llevado a cabo en la University of Maryland demostró que algunos softwares de reconocimiento facial interpretan los rostros negros como si tuvieran mayores emociones negativas que los blancos, en particular registrándolos como más enojados y desdeñosos, incluso llegando a medir el grado de sus sonrisas.¹⁰⁶

Este es el peligro de las herramientas de reconocimiento emocional. Como hemos visto, nos devuelven a un pasado frenológico, en el que se hicieron aseveraciones falsas que fueron no solo permitidas, sino desplegadas para apoyar los sistemas de poder existentes. Las décadas de controversias científicas sobre la inferencia de emociones distintas a partir de rostros humanos subraya un punto central: el modelo de reconocimiento “de talla única” no es la metáfora correcta para identificar estados emocionales. Las emociones son completas y se desarrollan y cambian en relación con nuestras familias, amigos, culturas e historias, y todos los diferentes contextos que viven fuera del marco de la IA. En muchos casos, los sistemas de detección de emociones no hacen lo que aseguran. En lugar de medir directamente los estados mentales interiores de las personas, simplemente optimizan estadísticamente correlaciones de ciertas características físicas entre imágenes faciales. Las bases científicas de la detección de emociones automatizada están puestas en duda y, sin embargo, una nueva generación de herramientas emocionales ya está haciendo inferencias a través de una gama cada vez más amplia de contextos de alto riesgo, de la vigilancia policial a la contratación.

A pesar de que la evidencia ahora apunta a la poca fiabilidad de la detección emocional, las compañías siguen buscando nuevas fuentes de minería para la imaginería facial, compitiendo por liderar la participación en el mercado de un sector que promete miles de millones en beneficios. La revisión sistemática de Barrett de la investigación detrás de la inferencia de emociones a partir de los rostros de las personas concluye con una nota condenatoria:

De manera más general, las compañías de tecnología puede que se estén haciendo una pregunta que en su esencia está equivocada. Los esfuerzos por simplemente “leer” los estados internos de las personas a partir tan solo de un análisis de sus movimientos faciales, sin considerar varios aspectos del contexto, son en el mejor de los casos insuficientes, y en el peor carecen completamente de validez, sin importar cuán sofisticados sean los algoritmos computacionales. […] Resulta prematuro utilizar esta tecnología para sacar conclusiones sobre lo que la gente siente basándose en sus movimientos faciales.¹⁰⁷

Hasta que no resistamos el deseo de automatizar el reconocimiento emocional, seguiremos corriendo el riesgo de juzgar de manera injusta a postulantes a trabajos porque sus microexpresiones no calzan con las de otros empleados, de que algunos estudiantes reciban peores notas que sus pares porque sus caras indicaban falta de entusiasmo y de que se detenga a algunos clientes porque un sistema de IA los marcó como posibles ladrones únicamente basándose en sus características faciales.¹⁰⁸ Estas son las personas que pagarán los costos de tener sistemas que no solo son imperfectos técnicamente hablando, sino que además están basados en metodologías cuestionables.

Las áreas de la vida en que estos sistemas operan se están expandiendo con la misma velocidad con que los laboratorios y las empresas pueden crear nuevos mercados para ellos. Y, sin embargo, todos dependen de un entendimiento muy limitado de las emociones, derivado del conjunto inicial de Ekman de ira, felicidad, sorpresa, asco, tristeza y miedo, que se supone que han de representar el universo infinito de sentimientos y expresiones humanos a través del espacio y el tiempo. Esto nos lleva de vuelta a las profundas limitaciones a la hora de capturar las complejidades del mundo en un solo esquema clasificatorio. Nos devuelve al mismo problema que hemos visto repetidamente: el deseo de simplificar en extremo lo que resulta obstinadamente complejo para computarse y empaquetarse fácilmente para el mercado. Los sistemas de IA están buscando extraer las experiencias mutables, privadas y divergentes de nuestros yoes corporales, pero el resultado es una caricatura que no consigue capturar los matices de la experiencia emocional en el mundo.

¹ Agradecimientos especiales a Alex Campolo, mi asistente de investigación e interlocutor en este capítulo, también por su investigación sobre Ekman y la historia de las emociones.

² “Emotion Detection and Recognition (EDR) Market Size to Surpass 18%+ CAGR 2020 to 2027”, en MarketWatch, 5 de octubre de 2020, y Oscar Schwartz, “Don’t Look Now: Why You Should Be Worried about Machines Reading Your Emotions”, en The Guardian, 6 de marzo de 2019.

³ Miyoko Ohtake, “Psychologist Paul Ekman Delights at Exploratorium”, en Wired, 28 de enero de 2008, disponible en línea: <www.wired.com>.

⁴ Paul Ekman, Emotions Revealed. Recognizing Faces and Feelings to Improve Communication and Emotional Life, Nueva York, Times, 2003, p. 7.

⁵ Para una descripción general de los investigadores que han encontrado fallas en la afirmación de la universalidad de las expresiones emocionales y el que la IA pueda predecirlas, véase Douglas Heaven, “Why Faces Don’t Always Tell the Truth about Feelings”, en Nature, 26 de febrero de 2020, disponible en línea: <www.nature.com>.

⁶ Lisa Feldman Barrett et al., “Emotional Expressions Reconsidered: Challenges to Inferring Emotion from Human Facial Movements”, en Psychological Science in the Public Interest, vol. 20, núm. 1, 2019, pp. 1-68, disponible en línea: <https://doi.org/10.1177/1529100619832930>

⁷ Patricia Nilsson, “How AI Helps Recruiters Track Jobseekers’ Emotions”, en Financial Times, 28 de febrero de 2018, disponible en línea: <www.ft.com>.

⁸ Javier Sánchez-Monedero y Lina Dencik, “The Datafication of the Workplace”, documento de trabajo, Data Justice Lab, Cardiff University, 9 de mayo de 2019, p. 48, disponible en línea: <datajusticeproject.net>, y Drew Harwell, “A Face-Scanning Algorithm Increasingly Decides Whether You Deserve the Job”, en The Washington Post, 7 de noviembre de 2019, disponible en línea: <www.washingtonpost.com>.

⁹ Sam Byford, “Apple Buys Emotient, a Company That Uses AI to Read Emotions”, en The Verge, 7 de enero de 2016, disponible en línea: <www.theverge.com>.

¹⁰ Phillip Molnar, Gary Robbins y David Pierson, “Cutting Edge: Apple’s Purchase of Emotient Fuels Artificial Intelligence Boom in Silicon Valley”, en Los Angeles Times, 17 de enero de 2016, disponible en línea: <www.latimes.com>.

¹¹ Rosalind Picard, “Affective Computing Group”, en MIT Media Lab, disponible en línea: <affect.media.mit.ed>.

¹² “Affectiva Human Perception AI Analyzes Complex Human States”, en Affectiva, disponible en línea: <www.affectiva.co>.

¹³ Oscar Schwartz, op. cit.

¹⁴ Véase, por ejemplo, Patricia Nilsson, op. cit.

¹⁵ “Face: An AI Service That Analyzes Faces in Images”, en Microsoft Azure, disponible en línea: <azure.microsoft.com>.

¹⁶ “Amazon Rekognition Improves Face Analysis”, en Amazon Web Services, 12 de agosto de 2019, disponible en línea: <aws.amazon.com>, y “Amazon Rekognition - Video and Image - AWS”, en Amazon Web Services, disponible en línea: <aws.amazon.com>.

¹⁷ Lisa Feldman Barrett et al., op. cit., p. 1.

¹⁸ Eve Kosofsky Sedgwick, Adam Frank e Irving Alexander (eds.), Shame and Its Sisters. A Silvan Tomkins Reader, Durham, Duke University Press, 1995, p. 258.

¹⁹ Silvan S. Tomkins, Affect Imagery Consciousness. The Complete Edition, Nueva York, Springer, 2008.

²⁰ Silvan S. Tomkins, op. cit.

²¹ Ruth Leys, The Ascent of Affect. Genealogy and Critique, Chicago, University of Chicago Press, 2017, p. 18.

²² Silvan S. Tomkins, op. cit., p. 23.

²³ Ibid.

²⁴ Ibid.

²⁵ Para Leys, esta “disociación radical entre sentimiento y cognición” es la principal razón de su atractivo para los teóricos de las humanidades, entre ellos Eve Kosofsky Sedgwick, quienes buscan revalorizar nuestras experiencias de error o confusión como nuevas formas de libertad. Ruth Leys, op. cit., p. 35, y Eve Kosofsky Sedgwick, Touching Feeling. Affect, Pedagogy, Performativity, Durham, Duke University Press, 2003 [trad. esp.: Tocar la fibra. Afecto, pedagogía, performatividad, Madrid, Alpuerto, 2018].

²⁶ Silvan S. Tomkins, op. cit., p. 204.

²⁷ Silvan S. Tomkins, op. cit., p. 206; Charles Darwin, The Expression of the Emotions in Man and Animals, ed. de Joe Cain y Sharon Messenger, Londres, Penguin, 2009 [trad. esp.: La expresión de las emociones en el hombre y los animales, Valencia, Sempere, s. f.], y Guillaume Benjamin Duchenne de Boulogne, Mécanisme de la physionomie humaine ou Analyse électro-physiologique de l’expression des passions applicable à la pratique des arts plastiques, París, Librairie J.-B. Baillière et Fils, 1876.

²⁸ Silvan S. Tomkins, op. cit., p. 243, cit. en Ruth Leys, op. cit., p. 32.

²⁹ Ibid., p. 216.

³⁰ Paul Ekman, Nonverbal Messages: Cracking the Code. My Life’s Pursuit, San Francisco, PEG, 2016, p. 45.

³¹ Anna Tuschling, “The Age of Affective Computing”, en Marie-Luise Angerer, Bernd Bösel y Michaela Ott (eds.), Timing of Affect. Epistemologies, Aesthetics, Politics, Zúrich, Diaphanes, 2014, p. 186.

³² Paul Ekman, Nonverbal Messages, op. cit., p. 45.

³³ Paul Ekman, Nonverbal Messages, op. cit., p. 46.

³⁴ Ibid.

³⁵ Ibid.

³⁶ Ibid.

³⁷ Ibid.

³⁸ Paul Ekman y Erika L. Rosenberg (eds.), What the Face Reveals. Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS), Nueva York, Oxford University Press, 1997, p. 375.

³⁹ Silvan S. Tomkins y Robert McCarter, “What and Where Are the Primary Affects? Some Evidence for a Theory”, en Perceptual and Motor Skills, vol. 18, núm. 1, 1964, pp. 119-158, disponible en línea: <doi.org>.

⁴⁰ James A. Russell, “Is There Universal Recognition of Emotion from Facial Expression? A Review of the Cross-Cultural Studies”, en Psychological Bulletin, vol. 115, núm. 1, 1994, p. 116, disponible en línea: <doi.org>.

⁴¹ Ruth Leys, op. cit., p. 93.

⁴² Paul Ekman y Erika L. Rosenberg (eds.), What the Face Reveals, op. cit., p. 377.

⁴³ Paul Ekman, E. Richard Sorenson y Wallace V. Friesen, “Pan-Cultural Elements in Facial Displays of Emotion”, en Science, vol. 164, 1969, pp. 86 y 87, disponible en línea: <doi.org>.

⁴⁴ Paul Ekman y Wallace V. Friesen, “Constants across Cultures in the Face and Emotion”, en Journal of Personality and Social Psychology, vol. 17, núm. 2, 1971, p. 128, disponible en línea: <doi.org>.

⁴⁵ Aristóteles, The Categories. On Interpretation, trad. de Harold Percy Cooke y Hugh Tredennick, Cambridge, Harvard University Press, 1938, 70b, 8-13, 527 [trad. esp.: Categorías, Buenos Aires, Colihue, 2009].

⁴⁶ Ibid., 805a, 27-30, 87.

⁴⁷ Sería difícil exagerar la influencia de esta obra, que desde entonces ha caído en descrédito: en 1810 ya tenía dieciséis ediciones en alemán y veinte en inglés. John Graham, “Lavater’s Physiognomy in England”, en Journal of the History of Ideas, vol. 22, núm. 4, 1961, p. 561, disponible en línea: <doi.org>.

⁴⁸ Richard T. Gray, About Face. German Physiognomic Thought from Lavater to Auschwitz, Detroit, Wayne State University Press, 2004, p. 342.

⁴⁹ Jean-Jacques Courtine y Claudine Haroche, Histoire du visage. Exprimer et taire ses émotions (du XVIe siècle au début du XIXe siècle), París, Payot & Rivages, 2007, p. 132.

⁵⁰ Paul Ekman, “Duchenne and Facial Expression of Emotion”, en Guillaume Benjamin Duchenne de Boulogne, The Mechanism of Human Facial Expression, ed. y trad. de R. A. Cuthbertson, Cambridge, Cambridge University Press, 1990, pp. 270-284.

⁵¹ Guillaume Benjamin Duchenne de Boulogne, op. cit.

⁵² François Clarac, Jean Massion y Allan M. Smith, “Duchenne, Charcot and Babinski, Three Neurologists of La Salpetrière Hospital, and Their Contribution to Concepts of the Central Organization of Motor Synergy”, en Journal of Physiology - Paris, vol. 103, núm. 6, 2009, pp. 362 y 363, disponible en línea: <doi.org>.

⁵³ François Delaporte, Anatomy of the Passions, trad. de Susan Emanuel, Stanford, Stanford University Press, 2008, p. 33 [trad. esp.: Anatomía de las pasiones, Barranquilla, Uninorte, 2007].

⁵⁴ Ibid., pp. 48-51.

⁵⁵ Lorraine Daston y Peter Galison, Objectivity, Nueva York, Zone Books, 2010.

⁵⁶ Charles Darwin, op. cit., pp. 12 y 307.

⁵⁷ Ruth Leys, op. cit., p. 85, y James A. Russell, “Is There Universal Recognition of Emotion from Facial Expression? A Review of the Cross-Cultural Studies”, en Psychological Bulletin, vol. 115, núm. 1, 1994, p. 114, disponible en línea: <doi.org>.

⁵⁸ Paul Ekman y Wallace V. Friesen, “Nonverbal Leakage and Clues to Deception”, en Psychiatry, vol. 31, núm. 1, 1969, p. 93.

⁵⁹ Mark Williams Pontin, “Lie Detection”, en MIT Technology Review, 21 de abril de 2009, disponible en línea: <www.technologyreview.com>.

⁶⁰ Paul Ekman y Wallace V. Friesen, “Nonverbal Leakage…”, op. cit., p. 94. En una nota al pie, los autores explican: “Nuestra propia investigación y la evidencia de la neurofisiología de la percepción visual sugieren fuertemente que se pueden percibir microexpresiones que son tan cortas como un cuadro de película (1/50 de segundo). El hecho de que estas microexpresiones no se vean habitualmente debe depender de que estén incrustadas en otras expresiones que distraen la atención, su poca frecuencia o algún hábito perceptual aprendido de ignorar las expresiones faciales rápidas”.

⁶¹ Paul Ekman, E. Richard Sorenson y Wallace V. Friesen, “Pan-Cultural Elements in Facial Displays of Emotion”, en Science, vol. 164, 1969, p. 87, disponible en línea: <doi.org>.

⁶² Paul Ekman, Wallace V. Friesen y Silvan Tomkins, “Facial Affect Scoring Technique: A First Validity Study”, en Semiotica, vol. 3, 1971, p. 40.

⁶³ Paul Ekman, Nonverbal Messages, op. cit., p. 97.

⁶⁴ Ibid., p. 102.

⁶⁵ Paul Ekman y Erika L. Rosenberg (eds.), What the Face Reveals, op. cit.

⁶⁶ Paul Ekman, Nonverbal Messages, op. cit., p. 105.

⁶⁷ Paul Ekman, Nonverbal Messages, op. cit., p. 169.

⁶⁸ Ibid., p. 106, e Igor Aleksander (ed.), Artificial Vision for Robots, Boston, Springer US, 1983.

⁶⁹ “Magic from Invention”, en Brunel University London, disponible en línea: <https://www.brunel.ac.uk/research/Brunel-Innovations/Magic-from-invention>.

⁷⁰ Woodrow Wilson Bledsoe, “The Model Method in Facial Recognition”, reporte técnico, PRI 15, Palo Alto, Panoramic Research, 1964.

⁷¹ Phillip Molnar, Gary Robbins y David Pierson, op. cit.

⁷² Takeo Kanade, Computer Recognition of Human Faces, Basel, Birkhäuser Boston, 2013.

⁷³ Takeo Kanade, Computer Recognition of Human Faces, op. cit., p. 16.

⁷⁴ Takeo Kanade, Jeffrey F. Cohn y Yingli Tian, “Comprehensive Database for Facial Expression Analysis”, en Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition, 2000, p. 46, disponible en línea: <doi.org>.

⁷⁵ Véanse Takeo Kanade, Jeffrey F. Cohn y Yingli Tian, op. cit.; Michael Lyons et al., “Coding Facial Expressions with Gabor Wavelets”, en Proceedings Third IEEE International Conference on Automatic Face and Gesture Recognition, 1998, pp. 200-205, disponible en línea: <doi.org>, y Elen Goeleven et al., “The Karolinska Directed Emotional Faces: A Validation Study”, en Cognition and Emotion, vol. 22, núm. 6, 2008, pp. 1094-1018, disponible en línea: <https://doi.org/10.1080/02699 930701626582>.

⁷⁶ Patrick Lucey et al., “The Extended Cohn-Kanade Dataset (CK+): A Complete Dataset for Action Unit and Emotion-Specified Expression”, en 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops, pp. 94-101, disponible en línea: <doi.org>.

⁷⁷ Daniel McDuff et al., “Affectiva-MIT Facial Expression Dataset (AM-FED): Naturalistic and Spontaneous Facial Expressions Collected ‘In-the-Wild’”, en 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 881-888, disponible en línea: <doi.org>.

⁷⁸ Daniel McDuff et al., op. cit.

⁷⁹ Paul Ekman y Wallace V. Friesen, Facial Action Coding System (FACS). A Technique for the Measurement of Facial Action, Palo Alto, Consulting Psychologists Press, 1978.

⁸⁰ Judy Foreman, “A Conversation with: Paul Ekman; The 43 Facial Muscles That Reveal Even the Most Fleeting Emotions”, en The New York Times, 5 de agosto de 2003, disponible en línea: <www.nytimes.com>; Jill Bolte Taylor, “The 2009 Time 100”, en Time, 30 de abril de 2009, disponible en línea: <content.time.com>, y Paul Ekman Group, disponible en línea: <www.paulekman.co>.

⁸¹ Sharon Weinberger, “Airport Security: Intent to Deceive?”, en Nature, vol. 465, 2010, p. 413, disponible en línea: <doi.org>.

⁸² Ashley Halsey III, “House Member Questions $900 Million TSA ‘SPOT’ Screening Program”, en The Washington Post, 14 de noviembre de 2013, disponible en línea: <https://www.washingtonpost.com/local/trafficandcommuting/house-member-questions-900-million-tsa-spot-screening-program/2013/ 11/14/ad194cfe-4d5c-11e3-be6b-d3d28122e6d4_story.html>.

⁸³ Paul Ekman, “A Life’s Pursuit”, en Thomas A. Sebeok y Jean Umiker-Sebeok (eds.), The Semiotic Web ’86: An International Yearbook, Berlín, Mouton de Gruyter, 1987, pp. 4-46, y Nonverbal Messages, op. cit., pp. 79-81.

⁸⁴ Margaret Mead, “Review of Darwin and Facial Expression. A Century of Research in Review, edited by Paul Ekman”, en Journal of Communication, vol. 25, núm. 1, 1975, p. 209, disponible en línea: <https://doi.org/10.1111/j. 1460-2466.1975.tb00574.x>.

⁸⁵ Silvan S. Tomkins, Affect Imagery Consciousness, op. cit., p. 216.

⁸⁶ Margaret Mead, op. cit., p. 212. Véase también Alan Fridlund, “A Behavioral Ecology View of Facial Displays, 25 Years Later”, en Emotion Researcher, agosto de 2015, disponible en línea: <emotionresearcher.com>. Ekman terminaría aceptando muchos de los postulados de Mead. Véanse Paul Ekman, “Argument for Basic Emotions”, en Cognition and Emotion, vol. 6, núm. 3-4, 1992, pp. 169-200; Emotions Revealed, op. cit., y “What Scientists Who Study Emotion Agree About”, en Perspectives on Psychological Science, vol. 11, núm. 1, 2016, pp. 81-88, disponible en línea: <https://doi.org/10.1177/1745 691615596992>. A Ekman tampoco le faltaban defensores. Véanse Alan Cowen et al., “Mapping the Passions: Toward a High-Dimensional Taxonomy of Emotional Experience and Expression”, en Psychological Science in the Public Interest, vol. 20, núm. 1, 2019, pp. 61-90, disponible en línea: <doi.org>, y Hillary Anger Elfenbein y Nalini Ambady, “On the Universality and Cultural Specificity of Emotion Recognition: A Meta-Analysis”, en Psychological Bulletin, vol. 128, núm. 2, 2002, pp. 203-235, disponible en línea: <doi.org>.

⁸⁷ José Miguel Fernández-Dols y James A. Russell (eds.), The Science of Facial Expression, Nueva York, Oxford University Press, 2017, vol. 1, p. 4.

⁸⁸ Maria Gendron y Lisa Feldman Barrett, “Facing the Past”, en José Miguel Fernández-Dols y James A. Russell (eds.), op. cit., vol. 1, p. 30.

⁸⁹ James Vincent, “AI ‘Emotion Recognition’ Can’t Be Trusted”, en The Verge, 25 de julio de 2019, disponible en línea: <www.theverge.com>. Los académicos que estudian discapacidades también han notado que las suposiciones sobre cómo funcionan la biología y los cuerpos pueden suscitar preocupaciones en torno al sesgo, especialmente cuando se automatizan a través de la tecnología. Véase Meredith Whittaker et al., “Disability, Bias, and AI”, en AI Now Institute, noviembre de 2019, disponible en línea: <ainowinstitute.org>.

⁹⁰ Carroll E. Izard, “The Many Meanings/Aspects of Emotion: Definitions, Functions, Activation, and Regulation”, en Emotion Review, vol. 2, núm. 4, 2010, pp. 363-370, disponible en línea: <https://doi.org/10.1177/17540 73910374661>.

⁹¹ Ruth Leys, op. cit., p. 22.

⁹² Ibid., p. 92.

⁹³ Ibid., p. 94.

⁹⁴ Ibid.

⁹⁵ Lisa Feldman Barrett, “Are Emotions Natural Kinds?”, en Perspectives on Psychological Science, vol. 1, núm. 1, 2006, p. 28, disponible en línea: <doi.org>.

⁹⁶ Ibid., p. 30.

⁹⁷ Véase, por ejemplo, Lisa Feldman Barrett et al., op. cit.

⁹⁸ Ibid., p. 40.

⁹⁹ Arvid Kappas, “Smile When You Read This, Whether You Like It or Not: Conceptual Challenges to Affect Detection”, en IEEE Transactions on Affective Computing, vol. 1, núm. 1, 2010, p. 39, disponible en línea: <doi.org> (el énfasis me pertenece).

¹⁰⁰ Ibid., p. 40.

¹⁰¹ Lisa Feldman Barrett et al., op. cit., p. 46.

¹⁰² Lisa Feldman Barrett et al., op. cit., pp. 47 y 48.

¹⁰³ Lisa Feldman Barrett et al., op. cit., p. 47 (el énfasis me pertenece).

¹⁰⁴ Yaacov Apelbaum, “One Thousand and One Nights and Ilhan Omar’s Biographical Engineering”, en The Illustrated Primer (blog), 13 de agosto de 2019, disponible en línea: <apelbaum.wordpress.com>.

¹⁰⁵ Véase, por ejemplo, Joe Hoft, “Facial, Speech and Virtual Polygraph Analysis Shows Ilhan Omar Exhibits Many Indications of a Compulsive Fibber!!!”, en The Gateway Pundit, 21 de julio de 2019, disponible en línea: <www.thegatewaypundit.com>.

¹⁰⁶ Lauren Rhue, “Racial Influence on Automated Perceptions of Emotions”, en Social Science Research Network, 9 de noviembre de 2018, disponible en línea: <dx.doi.org>.

¹⁰⁷ Lisa Feldman Barrett et al., “Emotional Expressions Reconsidered”, op. cit., p. 48.

¹⁰⁸ Véanse, por ejemplo, Neil Connor, “Chinese School Uses Facial Recognition to Monitor Student Attention in Class”, en Telegraph, 17 de mayo de 2018, disponible en línea: <www.telegraph.co.uk>, y Lisa Du y Ayaka Maki, “AI Cameras That Can Spot Shoplifters Even before They Steal”, en Bloomberg, 4 de marzo de 2019, disponible en línea: <www.bloomberg.com>.

VI. El Estado

ESTOY SENTADA frente a una computadora portátil air gapped,* en el décimo piso de un almacén en Nueva York. En la pantalla hay un programa de software que se usa por lo general para la ciencia forense digital, una herramienta para investigar evidencia y validar información que se halla en discos duros. Estoy aquí para investigar un archivo que contiene algunos de los detalles más específicos de cómo empezó a usarse el aprendizaje automático en el sector de la inteligencia, dirigido por algunos de los gobiernos más ricos del mundo. Se trata del archivo Snowden: todos los documentos, las presentaciones de PowerPoint, los memorandos internos, los boletines y los manuales técnicos que el excontratista de la National Security Agency (NSA) y delator Edward Snowden filtró en 2013. Cada página está marcada con un encabezado que señala diferentes tipos de clasificación: TOP SECRET // SI // ORCON // NOFORN.¹ Cada una de ellas es una advertencia y una designación.

La cineasta Laura Poitras me dio acceso a este archivo por primera vez en 2014. Fue abrumador leerlo: el archivo contenía más de una década de consideraciones y comunicaciones de inteligencia, incluidos documentos internos de la NSA, de la Government Communications Headquarters (GCHQ) y de la red internacional de Five Eyes (FVEY).² Este conocimiento estaba estrictamente fuera del alcance de quienes no tuvieran una autorización de alto nivel. Era parte del “imperio clasificado” de la información, que alguna vez se estimó que crecía cinco veces más rápido que el conocimiento accesible por el público, aunque ahora quién sabe.³ El archivo Snowden captura los años en que la recolección de datos hizo metástasis: cuando teléfonos, navegadores, plataformas de redes sociales y correos electrónicos se volvieron, todos, fuentes de datos para el Estado. Los documentos revelan cuánto contribuyó la comunidad de la inteligencia al desarrollo de muchas de las técnicas a las que hoy nos referimos como inteligencia artificial (IA).

El archivo Snowden releva un sector de la IA paralelo, uno desarrollado en secreto. Los métodos comparten muchas similitudes, pero hay diferencias notables en términos del alcance, los objetivos y el resultado. Atrás quedaron todas las construcciones retóricas para justificar la extracción y la captura: cualquier sistema de software se describe simplemente como algo para poseer, derrotar; todas las plataformas de datos eran un posible blanco y muy pocas cosas estaban designadas como protegidas. Un archivo de PowerPoint describe TREASUREMAP [mapa del tesoro], un programa diseñado para construir un mapa interactivo de Internet casi en tiempo real.⁴ Afirma poder rastrear la locación y al dueño de cualquier computadora, dispositivo móvil o router que esté conectado: “Cartografía todo Internet, cualquier dispositivo, en cualquier parte, todo el tiempo”, se jacta la diapositiva. Algunas de las diapositivas sobre “TREASUREMAP como facilitador” ofrecen una imagen por capas de un análisis de señales. Sobre la capa geográfica y la de redes está la “capa de imagen pública cibernética”, atractivamente representada en la diapositiva por iMacs y teléfonos con funciones de Nokia que parecen gomitas y, luego, la “capa personal” de conexiones personales. Esto se supone que representa a todas las personas que usan dispositivos conectados alrededor del mundo, en “una vista de Internet de 100 kilómetros”. También se parece notablemente al trabajo de compañías de mapeo y manipulación de redes sociales, como Cambridge Analytica.

Los documentos de Snowden fueron liberados en 2013, pero se siguen leyendo como los folletos de marketing de IA de hoy. Si TREASUREMAP fue un precursor de la vista de red cenital de Facebook, entonces el programa llamado FOXACID recuerda al Amazon Ring para las computadoras caseras: que graba la actividad diaria.⁵ “Si conseguimos que el objetivo nos visite en alguna especie de navegador, probablemente podemos apoderarnos de él”, explica la diapositiva.⁶ Una vez que se ha tentado a los individuos para que hagan clic en un correo spam o para que visiten una página web capturada, la NSA coloca archivos a través de un navegador que estará permanentemente en su dispositivo, reportando silenciosamente todo lo que hagan. Una diapositiva describe la manera en que los analistas “envían correos tan específicos” que requieren “un nivel de conocimiento culpable” del objetivo.⁷ Rara vez se discuten las restricciones sobre la recopilación de ese conocimiento culpable por parte de la NSA (al menos cuando se trata de datos de ciudadanos estadounidenses). Un documento señala que la agencia estaba trabajando en múltiples frentes para “buscar agresivamente que haya autoridades legales y un marco de políticas que se correspondan más plenamente con la era de la información”.⁸ En otras palabras, cambiar las leyes para que calcen con las herramientas, y no al revés.

TREASUREMAP como facilitador. Archivo Snowden.

Las agencias de inteligencia de Estados Unidos son los viejos guardianes del big data. Junto con la Defense Advanced Research Projects Agency (DARPA) han sido las mayores impulsoras de la investigación de IA desde la década de 1950. Como el historiador científico Paul Edwards describe en The Closed Work, las agencias de investigación militares formaron activamente el emergente campo que llegaría a ser conocido como IA desde sus primeros días.⁹ La Office of Naval Research, por ejemplo, financió en parte el primer Proyecto de Investigación de Verano sobre la Inteligencia Artificial en Dartmouth College en 1956.¹⁰ El campo de la IA siempre ha estado fuertemente guiado por el apoyo del ejército y, a menudo, por las prioridades militares, desde mucho antes de que estuviera claro que la IA podía ser práctica a escala. Como Edwards señala:

Como era el proyecto con la utilidad menos inmediata y las ambiciones de mayor alcance, la IA llegó a depender en gran medida y de forma inusual del financiamiento de ARPA. Como resultado, ARPA se volvió el patrocinador principal durante los primeros veinte años de la investigación de IA. El antiguo director Robert Sproull concluyó con orgullo que “toda una generación de expertos en la computación empezó gracias al financiamiento de DARPA” y que “todas las ideas que se incorporan a la quinta generación [de computación avanzada] del proyecto [de mediados de los ochenta], es decir, inteligencia artificial, computación paralela, reconocimiento de voz, programación de lenguajes naturales, todo comenzó, en última instancia, a partir de investigaciones financiadas por DARPA”.¹¹

Las prioridades militares de comando y control, automatización y vigilancia moldearon profundamente aquello en lo que se convertiría la IA. Las herramientas y los métodos financiados por DARPA han marcado el área, incluida la visión artificial, la traducción automática y los vehículos autónomos. Pero estos métodos técnicos tienen implicaciones más profundas. Infundidos en la lógica general de la IA, hay ciertos tipos de pensamiento clasificatorio: desde nociones explícitamente orientadas al campo de batalla, como la detección de objetivos, recursos y anomalías, hasta las categorías más sutiles de alto, mediano y bajo riesgo. Estos conceptos de alerta y focalización constante impulsarían la investigación de la IA durante décadas, creando marcos epistemológicos que inspirarían tanto a la industria como a la academia.

Desde el punto de vista del Estado, el giro hacia el big data y el aprendizaje automático expandió los modos de extracción de información que inspiraron la teoría social de que las personas pueden ser rastreadas y entendidas: se las conocerá por sus metadatos. Quién recibe un mensaje de texto, qué lugares se visitan, qué se lee, cuándo entran en acción los dispositivos y por qué motivo; estas acciones moleculares se volvieron una imagen para identificar y evaluar amenazas, para asignar culpabilidad o inocencia. Recopilar y medir grandes conjuntos de datos a distancias se volvió la forma preferida para desarrollar supuestos conocimientos sobre grupos y comunidades, así como para evaluar potenciales objetivos para asesinar. La NSA y la GCHQ no son únicas: China, Rusia, Israel, Siria y muchos otros países tienen agencias similares. Hay muchos sistemas de vigilancia y de control de soberanía, una multitud de máquinas de guerra que nunca descansan. El archivo Snowden subraya la manera en que los actores estatales y corporativos colaboran para producir lo que Achille Mbembe llama “la guerra de infraestructura”.¹²

Pero la relación entre los ejércitos nacionales y la industria de la IA se ha expandido más allá de los contextos de la seguridad. Tecnologías que alguna vez solo estaban disponibles para las agencias de inteligencia (y que por diseño eran extralegales) se han filtrado hasta las ramas municipales del Estado: las agencias de gobierno y los organismos de seguridad. Mientras que la NSA ha sido un foco de preocupación constante por asuntos de privacidad, menos atención se le ha prestado al creciente sector comercial de la vigilancia, que publicita agresivamente sus herramientas y plataformas entre los departamentos de policía y las agencias públicas. La industria de la IA está simultáneamente desafiando y reformulando el papel tradicional de los Estados, a la vez que también se utiliza para apuntalar y expandir formas viejas de poder geopolítico. El gobierno algorítmico a la vez forma parte y excede al gobierno estatal tradicional. Parafraseando al teórico Benjamin Bratton, el Estado está tomando el armazón de una máquina porque las máquinas ya han asumido las funciones y el registro del Estado.¹³

ALCANZAR LA TERCERA COMPENSACIÓN

La historia de la creación de Internet se ha centrado en la innovación y el dominio militares y académicos de Estados Unidos.¹⁴ Pero en el espacio de la IA vemos que no hay un sistema nacional puro. En cambio, los sistemas de IA operan dentro de una compleja red entrelazada de herramientas, infraestructuras y mano de obra multinacional y multilateral. Tomemos, por ejemplo, un sistema de reconocimiento facial que se implementó en las calles de Belgrado.¹⁵ El jefe de policía ordenó la instalación de dos mil cámaras en ochocientas ubicaciones alrededor de la ciudad para capturar rostros y matrículas. El gobierno de Serbia firmó un acuerdo con el gigante chino de las telecomunicaciones Huawei para que este le proporcionara videovigilancia, soporte de red 4G y centros de comando y datos unificados. Tratos de este tipo son comunes. Los sistemas locales por lo general son híbridos, con infraestructura de China, India, Estados Unidos y otras partes, con límites porosos, protocolos de seguridad diferentes y potenciales puertas traseras de datos.

Pero la retórica alrededor de la inteligencia artificial es mucho más cruda: se nos dice una y otra vez que estamos en una guerra de IA. Los principales objetos de preocupación son los esfuerzos supernacionales de Estados Unidos y China, con recordatorios constantes de que China ha declarado su compromiso de ser el líder global en IA.¹⁶ Las prácticas de datos de las principales compañías tecnológicas chinas, incluidas Alibaba, Huawei, Tencent y ByteDance, a menudo se enmarcan como políticas estatales chinas directas y, por lo tanto, se ven, de manera inherente, más amenazantes que actores privados de Estados Unidos como Amazon y Facebook, a pesar de que las líneas entre los imperativos estatales y cooperativos y los incentivos están completamente entrelazadas. Y, sin embargo, el lenguaje de la guerra es mucho más que la articulación típica de la xenofobia, la sospecha mutua, el espionaje internacional y el hackeo de redes. Como los académicos de medios Wendy Chun y Tung-Hui Hu han observado, la visión liberal de ciudadanos digitales globales interactuando en un espacio abstracto de redes se ha desplazado hacia una visión paranoica que defiende una nube nacional contra el enemigo racializado.¹⁷ El fantasma de una amenaza foránea sirve para establecer una especie de poder soberano sobre la IA y rediseñar el lugar de poder de las compañías tecnológicas (que son infraestructuras e influencias transnacionales) dentro de los límites del Estado-nación.

Y, no obstante, la carrera estatizada en pos de la superioridad tecnológica es al mismo tiempo retórica y real, creando una dinámica de competencia geopolítica a lo largo y dentro de los sectores comerciales y militares, difuminando cada vez más las líneas entre las dos. El uso dual de aplicaciones de IA en dominios tanto civiles como militares también ha producido fuertes incentivos para la colaboración cercana y el financiamiento.¹⁸ En Estados Unidos, podemos ver que esto se volvió una estrategia explícita: buscar el control nacional y el dominio internacional de la IA para asegurarse una ventaja militar y corporativa.

La última versión de esta estrategia surgió con Ash Carter, quien se desempeñó como secretario de Defensa de Estados Unidos de 2015 a 2017. Carter jugó un papel importante en el acercamiento de Silicon Valley al ejército, al convencer a las compañías tecnológicas de que la seguridad nacional y la política exterior dependían de la dominación estadounidense de la IA.¹⁹ Carter llamó a esto la tercera estrategia de compensación. En este contexto, una compensación se entiende, por lo general, como una manera de subsanar una desventaja militar subyacente al cambiar las condiciones o, como declaró el secretario de Defensa Harold Brown en 1981:

La tecnología puede ser un multiplicador de fuerza, un recurso que puede ser usado para ayudar a compensar las ventajas numéricas de un adversario. Tener tecnología superior es una de las maneras más efectivas de equilibrar las capacidades militares, más allá de emparejar al adversario tanque-por-tanque o soldado-por-soldado.²⁰

Por lo general, se entiende que la primera compensación fue el uso de armas nucleares en los años cincuenta.²¹ La segunda fue la expansión de las armas encubiertas, logísticas y convencionales en los años setenta y ochenta. La tercera, según Carter, tendría que ser una combinación de IA, guerra computacional y robots.²² Pero, a diferencia de la NSA, que ya contaba con sólidas capacidades de vigilancia, el ejército de Estados Unidos carecía de los recursos, la experiencia y la infraestructura de IA que sí tenían las principales empresas tecnológicas del país.²³ En 2014, el subsecretario de Defensa, Robert Work, describió la tercera compensación como un intento de “explotar todos los avances de la inteligencia artificial y la autonomía”.²⁴

Para construir máquinas de guerra de IA, el Departamento de Defensa necesitaría infraestructuras de extracción gigantes. Sin embargo, para acceder a mano de obra de ingeniería altamente remunerada y plataformas de desarrollo sofisticadas era necesario unir esfuerzos con la industria. La NSA había allanado el camino con sistemas como PRISM, tanto trabajando en conjunto como infiltrándose en compañías de telecomunicaciones y tecnología.²⁵ Pero estos métodos más encubiertos se encontraron con un rechazo político renovado después de las revelaciones de Snowden. El Congreso pasó el USA Freedom Act en 2015, que introdujo algunas limitaciones al acceso de la NSA a los datos en tiempo real de Silicon Valley. Aun así, la posibilidad de un complejo militar-industrial más grande que se ocupara de los datos y la IA siguió siendo una tentación al alcance de la mano. Silicon Valley ya había construido y monetizado la logística y las infraestructuras de IA que se necesitaban para impulsar una nueva compensación. Pero antes había que convencer al sector tecnológico, sin alienar a sus empleados ni agudizar la desconfianza del público, de que valdría la pena asociarse para crear una infraestructura de guerra.

ENTRA EN ESCENA EL PROYECTO MAVEN

En abril de 2017, el Departamento de Defensa publicó un memorándum que anunciaba al Equipo Multifuncional de Guerra Algorítmica, cuyo nombre en código era Proyecto Maven.²⁶ “El Departamento de Defensa debe integrar la inteligencia artificial y el aprendizaje automático de manera más efectiva a través de las operaciones para mantener ventajas sobre adversarios y competidores cada vez más capaces”, escribió el subsecretario de Defensa.²⁷ La meta del programa era llevar rápidamente al campo de batalla los mejores sistemas algorítmicos posibles, incluso cuando solo estuvieran listos en un 80%.²⁸ Esto era parte de un plan mucho más grande, el proyecto de nube Joint Enterprise Defense Infrastructure (JEDI), un enorme rediseño de toda la infraestructura de Tecnologías de la Información (IT, por su sigla en inglés) del Departamento de Defensa, desde el Pentágono hasta el soporte a nivel de campo. El Proyecto Maven era un pequeño pedazo de esta imagen más grande y su meta era crear un sistema de IA que permitiera a los analistas seleccionar un objetivo y ver todos los clips existentes de imágenes de drones que mostraran a esa persona o vehículo.²⁹ A fin de cuentas, el Departamento de Defensa quería un motor de búsqueda automatizado de videos de drones para detectar y rastrear a combatientes enemigos.

Las plataformas técnicas y las habilidades de aprendizaje automático que se necesitaban para el Proyecto Maven se encontraban en el sector tecnológico comercial. El Departamento de Defensa pagaría a las compañías tecnológicas para que analizaran datos militares recolectados de satélites y drones de batalla en lugares donde las leyes domésticas de privacidad de Estados Unidos no aplicaran. Esto alineaba los intereses financieros del ejército y del sector tecnológico estadounidense en torno a la IA sin detonar directamente trampas constitucionales sobre la privacidad, como había hecho la NSA. Comenzó una guerra de ofertas entre las compañías tecnológicas que querían el contrato con Maven, incluidas Amazon, Microsoft y Google.

Sello oficial del Equipo Multifuncional de Guerra Algorítmica. Nombre en código: Proyecto Maven. El lema en latín se traduce como “Nuestro trabajo es ayudar”. Producido por el Departamento de Defensa de Estados Unidos.

El primer contrato del Proyecto Maven se lo adjudicó Google. Bajo este acuerdo, el Pentágono usaría la infraestructura de IA TensorFlow de Google para hacer un barrido a través de las imágenes de drones y detectar objetos e individuos según se movían entre distintas ubicaciones.³⁰ Fei-Fei Li, por entonces científica en jefe de Artificial Intelligence y Machine Learning en Google, ya era una experta construyendo conjuntos de datos de reconocimiento de objetos debido a su experiencia creando ImageNet y usando datos satelitales para detectar y analizar automóviles.³¹ Pero insistía en que el proyecto debía mantenerse en secreto. “Eviten A TODA COSTA cualquier mención o implicación de la IA”, Li escribió en un correo a sus colegas de Google que fue más tarde filtrado. “La IA armificada es probablemente uno de los temas más sensibles de la IA, si no el que más. Para los medios esto es como echarle gasolina al fuego para poder dañar a Google”.³²

Pero en el año 2018 los empleados de Google descubrieron el alcance del papel de su compañía en el proyecto. Estaban furiosos de que su trabajo fuera usado con fines bélicos, sobre todo después de que se hiciera público que los objetivos de identificación de imágenes del Proyecto Maven incluían vehículos, edificios y seres humanos.³³ Más de tres mil cien empleados firmaron una carta de protesta declarando que Google no debería inmiscuirse en el negocio de la guerra y exigiendo que se cancelara el contrato.³⁴ Bajo una presión creciente, Google terminó oficialmente su trabajo en el Proyecto Maven y se retiró de la competencia por el contrato JEDI de 10.000 millones de dólares del Pentágono. En octubre de ese año, el presidente de Microsoft, Brad Smith, anunció en una publicación de blog: “Creemos en una fuerte defensa de Estados Unidos y queremos que la gente que los defiende tenga acceso a la mejor tecnología de la nación, incluida la de Microsoft”.³⁵ El contrato finalmente fue para Microsoft, que superó la oferta de Amazon.³⁶

Poco después de la sublevación interna, Google lanzó sus Principios de Inteligencia Artificial, que incluían una sección sobre “Aplicaciones de la IA a las que no nos dedicaremos”.³⁷ Estas incluían hacer “armas u otras tecnologías cuyo propósito o implementación principal es causar o directamente facilitar el daño a la gente”, así como “tecnologías que recopilan o usan información para la vigilancia, violando normas aceptadas internacionalmente”.³⁸ Mientras que este giro hacia la ética de la IA aplacó algunas preocupaciones internas y externas, la aplicabilidad, así como los parámetros de la moderación ética, no quedaron claros.³⁹

Como respuesta, el antiguo CEO de Google, Eric Schmidt, calificó el rechazo al Proyecto Maven como “una preocupación generalizada en la comunidad tecnológica de que, de alguna manera, el complejo militar-industrial va a usar nuestras cosas para matar personas incorrectamente, por así decirlo”.⁴⁰ Este desplazamiento, de debatir si había que utilizar la IA en los conflictos bélicos a discutir si la IA podía ayudar a “matar personas correctamente”, era bastante estratégico.⁴¹ Alejaba el foco en los fundamentos éticos de la IA como una tecnología militar y ponía la atención en cuestiones de precisión y exactitud técnica. Pero Lucy Suchman argumenta que los problemas con la guerra automatizada van mucho más allá de si las matanzas son precisas o “correctas”.⁴² Particularmente en el caso de la detección de objetos, se pregunta Suchman, ¿quién está construyendo los conjuntos de datos de entrenamiento, y con qué datos, y cómo se etiquetan cosas como una amenaza inminente? ¿Qué tipos de taxonomías clasificatorias se están usando para decir lo que constituye una actividad lo suficientemente anormal como para desencadenar un ataque legal con drones? ¿Y por qué tendríamos que tolerar que se atribuyan consecuencias de vida o muerte a estas clasificaciones inestables e inherentemente políticas?

El episodio Maven, así como los principios de la IA que surgen de él, apunta a los profundos cismas en la industria de la IA cuando se trata de la relación entre las esferas militares y civiles. La guerra de la IA, tan real como imaginaria, inculca una política del miedo y la inseguridad que crea un clima después utilizado para reprimir a la disidencia interna y promover un apoyo incondicional a la agenda nacionalista.⁴³ Una vez que el ruido mediático de Maven se apagó, el director legal de Google, Kent Walker, dijo que la compañía estaba buscando certificaciones de seguridad más elevadas para poder trabajar más de cerca con el Departamento de Defensa. “Quiero ser claro en esto —dijo—. Somos una compañía orgullosa de ser estadounidense”.⁴⁴ Al articular el patriotismo como política, las compañías tecnológicas se alinean cada vez más con los intereses del Estado-nación, incluso cuando sus plataformas y capacidades superan a las de un gobierno estatal tradicional.

EL ESTADO SUBCONTRATADO

La relación entre el Estado y la industria de la IA va mucho más allá de los ejércitos nacionales. Las tecnologías que alguna vez estuvieron reservadas a las zonas de guerra y el espionaje ahora son usadas a nivel local de gobierno, desde las agencias de asistencia social hasta las fuerzas del orden. Este desplazamiento ha sido impulsado por la subcontratación de funciones clave del Estado a contratistas de la tecnología. A primera vista, esto no parece diferir demasiado de la subcontratación típica de funciones del gobierno al sector privado a través de compañías como Lockheed Martin o Halliburton,⁴⁵ pero ahora las formas militarizadas de la detección de patrones y evaluación de amenazas están entrando en masa en servicios e instituciones que funcionan a nivel municipal.⁴⁶ Un ejemplo significativo de este fenómeno es la compañía que lleva el nombre de las piedras mágicas de El señor de los anillos: Palantir.

Palantir se estableció en 2004, cofundada por el multimillonario de PayPal Peter Thiel, quien también fue consejero y patrocinador del presidente Trump. Thiel argumentaría más tarde en un artículo de opinión que la IA es ante todo una tecnología militar:

Olvídense de la fantasía de la ciencia ficción; lo que resulta poderoso de la IA existente es su aplicación en tareas relativamente mundanas como la visión artificial y el análisis de datos. Aunque son menos misteriosas que el monstruo de Frankenstein, estas herramientas son, sin embargo, valiosas para cualquier ejército; para ganar una ventaja de inteligencia, por ejemplo. […] Sin duda las herramientas de aprendizaje automático tienen también usos civiles.⁴⁷

Si bien Thiel reconoce los usos no militares del aprendizaje automático, en particular cree en el espacio intermedio: aquel en el que las compañías comerciales producen herramientas de corte militar para cualquiera que quiera obtener una ventaja de inteligencia y esté dispuesto a pagar por ella. Tanto él como el CEO de Palantir, Alex Karp, describen Palantir como “patriótica”, y Karp acusa a las otras empresas de tecnología que rehúsan trabajar con las agencias militares de “bordear la cobardía”.⁴⁸ En un perspicaz ensayo, la escritora Moira Weigel estudió la tesis universitaria de Karp, que reveló sus tempranos intereses intelectuales en la agresión y una creencia en que “el deseo de cometer violencia es un hecho constante fundamental de la vida humana”.⁴⁹ La tesis se Karp se titulaba “Agresión en el mundo de la vida”.

Los primeros clientes de Palantir eran agencias federales militares y de inteligencia, incluidos el Departamento de Defensa, la NSA, el Federal Bureau of Investigation (FBI), y la Central Intelligence Agency (CIA).⁵⁰ Como fue revelado en una investigación de Mijente, después de que Trump asumiera la presidencia, los contratos de Palantir con agencias de Estados Unidos ascendían a más de mil millones de dólares.⁵¹ Pero Palantir no se presentaba como el típico contratista de defensa, siguiendo el molde de Lockheed Martin. Adoptó la personalidad de una startup de Silicon Valley, con sede en Palo Alto, que empleaba predominantemente ingenieros jóvenes, además de estar respaldada por In-Q-Tel, la firma de capitales de riesgo fundada por la CIA. Además de sus primeros clientes de las agencias de inteligencia, Palantir comenzó a trabajar con fondos de cobertura, bancos y empresas como Walmart.⁵² Pero su ADN había tomado forma trabajando para (y desde dentro de) la comunidad de defensa. Puso en práctica los mismos métodos que se ven en los documentos de Snowden, incluida la extracción de datos a través de dispositivos y la infiltración de redes para rastrear y evaluar personas y objetivos. Palantir se volvió muy pronto el proveedor subcontratado de vigilancia por excelencia, lo que lo llevó a diseñar las bases de datos y el software de gestión para impulsar la mecánica de deportación del Immigration and Customs Enforcement (ICE).⁵³

El modelo de negocio de Palantir se basa en una combinación de análisis de datos y detección de patrones usando el aprendizaje automático, combinado con consultorías más genéricas. Palantir envía ingenieros a una compañía, de donde extrae una amplia variedad de datos (correos electrónicos, registros de llamadas, redes sociales, la hora de entrada y salida de los empleados, las horas en que compran pasajes de vuelo, todo lo que la compañía esté preparada para compartir) y, luego, busca por patrones y aconseja sobre los siguientes pasos a dar. Uno de los métodos más comunes es el de buscar a los llamados malos actores, reales o potenciales: empleados descontentos que podrían filtrar información o estafar a la empresa. La cosmovisión subyacente a las herramientas de Palantir recuerda a la de la NSA: recolectarlo todo y, después, buscar anomalías en los datos. Sin embargo, mientras que las herramientas de la NSA están construidas para vigilar y atacar a los enemigos del Estado, ya sea en conflictos bélicos convencionales o encubiertos, el método de Palantir está dirigido a los civiles. Como fue descrito en una investigación a gran escala de Bloomberg, en 2018, Palantir es “una plataforma de inteligencia diseñada para la guerra contra el terrorismo global” que está siendo “armificada contra civiles comunes en suelo estadounidense”:

Palantir se abrió paso trabajando para el Pentágono y la CIA en Afganistán e Irak. […] El Departamento de Salud y de Servicios Humanos de Estados Unidos se sirve de Palantir para detectar fraudes al seguro de salud. El FBI lo usa en investigaciones criminales. El Departamento de Seguridad Nacional lo usa para controlar a los viajeros aéreos y estar pendiente de los inmigrantes.⁵⁴

En poco tiempo, la tarea de estar atento a los trabajadores indocumentados evolucionó hacia capturar personas en colegios y lugares de trabajo para deportarlas. Para promover este objetivo, Palantir produjo una aplicación para el teléfono llamada FALCON, que funciona como una gran red policial, recolectando datos de muchas bases de datos públicas y policiales que enumeran antecedentes de inmigración, relaciones familiares, información laboral y detalles de la educación de las personas. En 2018, agentes de ICE usaron FALCON para guiar sus redadas a más de cien supermercados 7-Eleven a lo largo de Estados Unidos, en lo que se llamó “la operación más grande contra un único empleador en la era Trump”.⁵⁵

A pesar de los esfuerzos de Palantir por mantener en secreto lo que construye y el funcionamiento de sus sistemas, sus solicitudes de patentes nos dan una idea de la relación de la compañía con la IA para fines de deportación. En una aplicación llamada inocuamente Sistemas de bases de datos e interfaces de usuario para el análisis e identificación de imágenes móviles dinámicas e interactivas, Palantir se jacta de la capacidad de la aplicación de fotografiar personas en encuentros breves e, independientemente de si están o no bajo sospecha, comparar su imagen con todas las bases de datos disponibles. En esencia, el sistema usa reconocimiento facial y un procesamiento de fondo para crear un marco en el cual sustentar cualquier arresto o deportación.

Una imagen de la patente US10339416B2 de Palantir. Cortesía de la Oficina de Patentes y Marcas Registradas de Estados Unidos.

Si bien los sistemas de Palantir tienen similitudes estructurales con los de la NSA, se han transferido al nivel de la comunidad local para venderse por igual en cadenas de supermercados y fuerzas del orden público. Esto representa un desplazamiento de la vigilancia policial tradicional hacia objetivos asociados por lo general con infraestructuras militares de inteligencia. Como explica el profesor de derecho Andrew Ferguson: “Estamos avanzando hacia un estado en el que los fiscales y la policía van a decir ‘el algoritmo me dijo que lo hiciera, así que lo hice; no sabía lo que estaba haciendo’. Y esto va a suceder en un nivel generalizado con muy poca fiscalización”.⁵⁶

La socióloga Sarah Brayne fue una de las primeras académicas en observar directamente el uso de las plataformas de datos de Palantir in situ, específicamente por el Departamento de Policía de Los Ángeles. Después de acompañar durante más de dos años a los policías en sus patrullajes, observarlos en sus escritorios y llevar a cabo múltiples entrevistas, Brayne concluyó que en algunos dominios estas herramientas simplemente amplifican prácticas policiales anteriores, pero de otras maneras están transformando por completo el proceso de vigilancia. En pocas palabras, los policías se están transformando en agentes de vigilancia:

El giro de la vigilancia tradicional a la del big data se asocia con la migración de operaciones policiales a las actividades de inteligencia. La distinción básica entre la policía y la inteligencia es la siguiente: la policía, por lo general, se involucra cuando un incidente criminal ha ocurrido. Legalmente, la policía no puede llevar a cabo una búsqueda y recolectar información personal hasta que haya una causa probable. La inteligencia, por el contrario, es fundamentalmente predictiva. Las actividades de inteligencia incluyen recopilar datos, identificar patrones, ubicaciones, actividades e individuos sospechosos, e intervenir de forma preventiva en función de la inteligencia adquirida.⁵⁷

Aunque todo el mundo está sujeto a este tipo de vigilancia, algunas personas son más proclives que otras: los inmigrantes, los indocumentados, los pobres y las comunidades de color. Como ha mostrado Brayne en su estudio, el uso del software de Palantir reproduce la desigualdad y somete a quienes pertenecen a los barrios predominantemente pobres, negros y latinos a una vigilancia todavía más grande. El sistema de puntos de Palantir le otorga un aura de objetividad: se trata “solo de matemáticas”, como dijo uno de los oficiales de policía. Pero crea un bucle de lógica que se perpetúa a sí mismo.⁵⁸ Brayne escribe:

A pesar de la intención declarada del sistema de puntos de evitar los sesgos legalmente imputables en las prácticas policiales, este esconde sesgos intencionales y no intencionales de la práctica policial, y crea un ciclo que se perpetúa a sí mismo: si los individuos tienen un alto puntaje, están bajo una vigilancia intensificada y, por lo tanto, tienen más probabilidades de ser detenidos, lo que a su vez aumenta su puntaje. Tales prácticas dificultan la capacidad de los individuos que ya están en el sistema de justicia penal de escapar de la red de vigilancia, a la vez que oscurecen el papel de estas acciones para configurar las puntuaciones de riesgo.⁵⁹

Los métodos de aprendizaje automático de Palantir y otros de su índole pueden llevar a un bucle de retroalimentación, donde resulta más probable que aquellos que ya han sido incluidos en una base de datos de justicia criminal sean vigilados y, por lo tanto, que se tenga más información sobre ellos, lo que termina justificando que estén sometidos a un mayor escrutinio policial.⁶⁰ La desigualdad no solo se profundiza, sino que además se la somete a un lavado tecnológico, justificado por los sistemas que parecen inmunes al error, pero que de hecho están intensificando el problema de la vigilancia excesiva y sesgada racialmente.⁶¹ Los modelos de inteligencia que comenzaron su andar en las agencias nacionales de gobierno se han vuelto ahora parte de la vigilancia de barrios locales. La “NSAficación” de los departamentos de policía exacerba la desigualdad histórica y transforma y expande radicalmente las prácticas de trabajo policial.

A pesar de la expansión masiva de los contratos gubernamentales para los sistemas de IA, se ha prestado poca atención a la pregunta de si los proveedores privados de estas tecnologías deberían ser responsables legales por los daños producidos cuando los gobiernos usan sus sistemas. Dada la frecuencia con que los gobiernos están recurriendo a subcontratistas para que les proporcionen las arquitecturas algorítmicas para la toma de decisiones del Estado, ya sea para sistemas de vigilancia o de beneficencia, se podría argumentar que se debería hacer responsables a los contratistas tecnológicos como Palantir por la discriminación y otras violaciones. Actualmente, la mayoría de los Estados niegan cualquier responsabilidad por problemas creados por los sistemas de IA que han adquirido, con el argumento de que “no podemos ser responsables por algo que no entendemos”. Esto quiere decir que los sistemas comerciales algorítmicos están contribuyendo al proceso de toma de decisiones del gobierno sin que haya mecanismos significativos que rindan cuentas. Junto con el académico legal Jason Schultz, he argüido que los programadores de sistemas de IA que influyen directamente las decisiones gubernamentales deberían considerarse actores estatales a efectos de su responsabilidad constitucional en ciertos contextos.⁶² Es decir, deberían poder considerarse legalmente responsables por daños, de la misma manera que lo pueden ser los Estados. Hasta que esto no ocurra, los proveedores y contratistas tendrán pocos incentivos para asegurarse de que sus sistemas no están reforzando daños históricos o creando otros completamente nuevos.⁶³

Otro ejemplo de este fenómeno es Vigilant Solutions, establecida en 2005. La compañía trabaja en función de una sola premisa: tomar herramientas de vigilancia que requerirían supervisión judicial si fueran operadas por gobiernos y convertirlas en una próspera empresa privada que opera fuera de los límites constitucionales de la privacidad. Vigilant comenzó a operar en múltiples ciudades a lo largo de Estados Unidos, instalando cámaras de reconocimiento automático de matrículas (ALPR, por su sigla en inglés), colocándolas por todas partes, en automóviles y postes de luz, en estacionamientos y edificios de departamentos. Este despliegue de cámaras conectadas a una red fotografía cada auto que pasa y guarda imágenes de matrículas en una base de datos masiva y perpetua. Vigilant vende después el acceso a esa base de datos a la policía, investigadores privados, bancos, aseguradoras y otros que quieran tener acceso a ella. Si los oficiales de policía quieren rastrear un automóvil por todo el estado y marcar cada lugar en el que ha estado, Vigilant les puede proporcionar eso. Del mismo modo, si un banco quisiera embargar un automóvil, por un precio Vigilant podría decirles dónde está.

Con sede en California, Vigilant se promociona a sí misma como “una de esas confiables herramientas para luchar contra el crimen que buscan ayudar a las fuerzas del orden a juntar pistas y resolver crímenes más rápido”, y se ha asociado con una serie de gobiernos de Texas, California y Georgia para proporcionarles a sus policías un paquete de sistemas ALPR para que lo utilicen cuando patrullen, junto con el acceso a la base de datos de Vigilant.⁶⁴ A cambio de esto, los gobiernos locales le dan a Vigilant los registros de las órdenes de arresto pendientes y de los aranceles judiciales vencidos. Cualquier matrícula marcada para que coincida con aquellas asociadas a multas pendientes en la base de datos se ingresa en los sistemas móviles de los oficiales de policía y los altera para que detengan a esos conductores. A estos se les dan dos opciones: pagar en ese momento la multa pendiente o ser arrestados. Además de quedarse con un recargo de un 25%, Vigilant se queda los registros de cada lectura de matrícula y extrae esos datos para añadirlos a sus bases de datos masivas.

Vigilant firmó un importante contrato con ICE que le dio acceso a la agencia a cinco mil millones de registros de matrículas reunidos por empresas privadas, además de mil quinientos millones de datos que aportaron 85 agencias policiales a lo largo de Estados Unidos (que incluía información sobre el lugar en el que trabajaban y vivían las personas). Estos datos pueden provenir de acuerdos informales entre la policía local e ICE, y es posible que infrinjan las leyes estatales de intercambio de datos. Las propias políticas privadas de ICE limitan la recolección de datos cerca de “ubicaciones sensibles”, como escuelas, iglesias y durante manifestaciones. Pero, en este caso, ICE no reúne los datos o mantiene la base de datos: la agencia simplemente compra acceso a los sistemas de Vigilant, que tienen mucho menos restricciones. Esto es una privatización de facto de la vigilancia pública, una difuminación de la línea que separa a los contratistas privados de las entidades estatales y crea formas opacas de recolección de datos que existen fuera de las pautas de protección tradicionales.⁶⁵

Desde entonces Vigilant ha expandido su caja de herramientas “para resolver crímenes” más allá de lectores de matrículas para incluir otros que aseguran reconocer rostros. Con ello, Vigilant busca representar rostros humanos como el equivalente a las matrículas y alimentar con ellos la ecología policial.⁶⁶ Como una red de detectives privados, Vigilant crea una visión cenital de las rutas y las carreteras entrecruzadas de Estados Unidos, junto con todos los que viajan a través de ellas, mientras permanece más allá de cualquier forma significativa de regulación o rendición de cuentas.⁶⁷

Si pasamos de la patrulla policial al porche delantero de una casa vemos todavía otra ubicación en la que las diferencias entre las prácticas de datos del sector público y privado están teniendo impacto. Una nueva generación de aplicaciones de redes sociales para reportar crímenes, como Neighbors, Citizen y Nextdoor, permite a los usuarios recibir alertas sobre incidentes locales reportados en tiempo real, luego discutirlos, así como transmitir, compartir y etiquetar imágenes de cámaras de seguridad. Neighbors, que fue creada por Amazon y depende de sus cámaras Ring colocadas en los timbres de las casas, se define a sí misma como la “nueva policía vecinal” y clasifica sus registros fílmicos en categorías como “crimen”, “sospechoso” o “extraño”. A menudo se comparten los videos con la policía.⁶⁸ En estos ecosistemas de vigilancia residencial se unen las lógicas detrás de TREASUREMAP y FOXACID, pero en estos casos conectadas al hogar, la calle y todos los espacios intermedios.

Para Amazon, cada nuevo dispositivo Ring vendido ayuda a construir todavía más conjuntos de datos de entrenamiento a gran escala, dentro y fuera del hogar, con la lógica clasificatoria del comportamiento normal y anómalo alineado con la lógica del campo de batalla de aliados y enemigos. Un ejemplo es una función en la que los usuarios pueden reportar paquetes de Amazon robados. De acuerdo con una investigación periodística, muchas de las publicaciones incluían comentarios racistas y los videos subidos mostraban desproporcionadamente a gente de color como los ladrones potenciales.⁶⁹ Más allá de reportar crímenes, Ring también se usa para reportar a los empleados de Amazon que se considera que están rindiendo mal en el trabajo, como por ejemplo los que no sean cuidadosos con los paquetes, lo que crea una nueva capa de vigilancia laboral y castigo.⁷⁰

Para completar su infraestructura público-privada de vigilancia, Amazon ha ofrecido perseverantemente su sistema Ring a los departamentos de policía, dándoles descuentos y ofreciéndoles un portal que les permite ver dónde están ubicadas las cámaras en un área local y contactar informal y directamente a los dueños de casa para pedirles filmaciones sin necesidad de una orden judicial.⁷¹ Amazon ha negociado asociaciones para compartir videos de Ring con más de seiscientos departamentos de policía.⁷²

En un caso, Amazon negoció un memorando de entendimiento con un departamento de policía en Florida que fue puesto al descubierto por medio de una solicitud de registros públicos presentada por la periodista Caroline Haskins, que demostró que la policía estaba incentivada para promover la aplicación Neighbors y que, por cada descarga comprobada, recibiría crédito para recibir cámaras Ring gratis.⁷³ El resultado fue una “red de vigilancia que se perpetúa a sí misma: entre más gente descarga Neighbors, más gente recibe Ring, proliferan las filmaciones de vigilancia y la policía puede solicitar todo lo que quiera”, escribe Haskins.⁷⁴ Las capacidades de vigilancia, que alguna vez fueron supervisadas por las cortes, ahora están en oferta en la tienda de Apple y son promovidas por la policía local. Como el académico de medios Tung-Hui Hu ha observado, al usar estas aplicaciones nos “hemos vuelto los trabajadores freelance del aparato de seguridad del Estado”.⁷⁵

Hu argumenta que la selección de objetivos, una idea militarista por excelencia en todas sus formas, debería considerarse en su conjunto un sistema de poder interconectado, desde la publicidad dirigida hasta la vigilancia de vecinos sospechosos y los drones. “No podemos simplemente considerar una de estas formas de focalización por sí sola, separada de las otras; unidas por la soberanía de los datos, nos llaman a entender de forma distinta el poder en la era de la nube”.⁷⁶ Las formas de ver que alguna vez fueron territorio exclusivo de las agencias de inteligencia se han ido granulando y dispersando a través de muchos sistemas sociales, encajadas en lugares de trabajo, hogares y automóviles y promovidas por compañías tecnológicas que viven en los espacios entrecruzados que se superponen a los sectores de IA comerciales y militares.

DEL PUNTAJE CREDITICIO DE LOS TERRORISTAS AL PUNTAJE CREDITICIO SOCIAL

Detrás de la lógica militar de la selección de objetos, se esconde la idea de la firma. Hacia el final del segundo mandato del presidente George W. Bush, la CIA argumentó que debería ser capaz de lanzar ataques con drones basándose tan solo en el “patrón de comportamiento” o “firma” observado en un individuo.⁷⁷ Mientras que un “ataque selectivo” involucra apuntar a un individuo específico, un “ataque por firma” es cuando una persona muere debido a su firma de metadatos; en otras palabras, su identidad no se conoce, pero los datos sugieren que podría ser terrorista.⁷⁸ Como mostraban los documentos de Snowden, durante la administración de Obama el programa global de vigilancia de metadatos de la NSA geolocalizaba una tarjeta SIM o el teléfono de un sospechoso y, entonces, el ejército de Estados Unidos llevaba a cabo ataques con drones para matar al individuo en posesión del dispositivo.⁷⁹ “Matamos gente basándonos en metadatos”, dijo el general Michael Hayden, antiguo director de la NSA y la CIA.⁸⁰ La división Geo Cell de la NSA aparentemente usaba un lenguaje más colorido: “Nosotros los rastreamos, ustedes les sueltan el trancazo”.⁸¹

Puede que los ataques por firma suenen precisos y autorizados, lo que implica una marca real de la identidad de alguien. Pero, en el año 2014, la organización legal Reprieve publicó un informe que demostraba que unos ataques con drones programados para matar a 41 individuos dieron como resultado la muerte de un estimado de 1.147 personas. “Se le ha vendido al público la idea de que los ataques con drones son ‘precisos’. Pero son tan precisos como la inteligencia con que se los alimenta”, dijo Jennifer Gibson, que dirigió el informe.⁸² Pero la forma de un ataque por firma no tiene que ver con la precisión: se trata de correlación. Una vez que se encuentra un patrón en los datos y este alcanza un umbral, la sospecha se vuelve suficiente para tomar medidas incluso en ausencia de pruebas definitivas. Esta manera de adjudicación por medio de reconocimiento de patrones se encuentra en muchos dominios… sobre todo en forma de puntajes.

Consideremos un ejemplo de la crisis de refugiados sirios de 2015. Millones de personas estaban escapando de una guerra civil generalizada y de la ocupación enemiga, con la esperanza de encontrar asilo en Europa. Los refugiados arriesgaban sus vidas en balsas y botes abarrotados. El 2 de septiembre un niño de tres años llamado Alan Kurdi se ahogó en el Mar Mediterráneo, junto con su hermano de cinco años, cuando su bote naufragó. Una fotografía que mostraba su cuerpo varado en las costas de Turquía fue titular en los medios internacionales y se volvió un poderoso símbolo de la extensión de la crisis humanitaria: una imagen que representaba el sufrimiento total. Pero algunos vieron esto como una amenaza creciente. Es por esta época que se contactó a IBM por un nuevo proyecto. ¿Podía la compañía usar su plataforma de aprendizaje automático para detectar la firma de datos de los refugiados que pudieran estar relacionados con el yihadismo? En otras palabras, ¿podía IBM distinguir automáticamente a un terrorista de un refugiado?

Andrew Borene, un ejecutivo de iniciativas estratégicas de IBM, describió la lógica detrás del programa de la publicación militar Defense One:

Nuestro equipo mundial, algunos jóvenes en Europa, recibían comentarios sobre cierta preocupación que estaba surgiendo debido a que, dentro de estos grupos hambrientos y abatidos que buscaban asilo, parecía haber algunos sujetos en edad de combatir, que salían de los botes y tenían aspectos muy saludables. ¿Era esta una razón para preocuparse, teniendo en cuenta a ISIS? Y si era ese el caso, ¿podía resultar útil este tipo de solución?⁸³

Desde la distancia segura de sus oficinas corporativas, los científicos de datos de IBM veían este problema como uno que se podía abordar mejor mediante la extracción de datos y el análisis de redes sociales. Dejando de lado las muchas variables que existían en las condiciones de los improvisados campamentos de refugiados y las docenas de suposiciones usadas para clasificar el comportamiento terrorista, IBM creó un “puntaje crediticio terrorista” para separar a los combatientes de ISIS de los refugiados. Los analistas recolectaron una miscelánea de datos no estructurados, desde Twitter hasta la lista oficial de los que se habían ahogado junto a los muchos barcos que habían naufragado en las costas de Grecia y Turquía. También crearon un conjunto de datos, modelados en los tipos de metadatos disponibles para custodiar fronteras. A partir de estas medidas dispares desarrollaron un puntaje hipotético de amenaza: no un indicador absoluto de inocencia o culpabilidad, según señalaron, sino un profundo “conocimiento” sobre el individuo, que incluía antiguas direcciones, lugares de trabajo y conexiones sociales.⁸⁴ Mientras tanto, los refugiados sirios ignoraban que sus datos personales eran recolectados para poner a prueba un sistema que podía señalarlos como terroristas potenciales.

Este es solo uno de los muchos casos en que nuevos sistemas técnicos de control estatal usan los cuerpos de los refugiados como casos de prueba. Estas lógicas militares y de vigilancia están ahora impregnadas con una forma de financiación: los modelos sociales de solvencia han entrado en muchos sistemas de IA, influyéndolo todo, desde la capacidad de conseguir un préstamo hasta el permiso para cruzar fronteras. Cientos de plataformas semejantes se usan ahora alrededor del mundo, de China a Venezuela y a Estados Unidos, premiando formas predeterminadas de comportamiento social y penalizando aquellas que se desvían.⁸⁵ Este “nuevo régimen de clasificación social moralizada”, en palabras de los sociólogos Marion Fourcade y Kieran Healy, beneficia a los “grandes triunfadores” de la economía tradicional a la vez que aumenta las desventajas de las poblaciones menos privilegiadas.⁸⁶ La calificación crediticia, en el sentido más amplio, se ha vuelto un sitio en el que convergen las firmas militares y comerciales.

Esta lógica de puntuación de la IA está profundamente entrelazada con la aplicación de la ley y el control de las fronteras, dominios tradicionales del Estado, pero también conforma otra función estatal: el acceso a los beneficios públicos. Como la politóloga Virginia Eubanks demuestra en su libro La automatización de la desigualdad, cuando se despliegan los sistemas de IA como parte del estado de bienestar, se utilizan principalmente como una forma de vigilar, evaluar y restringir el acceso de la gente a recursos públicos, más que para proporcionar mayor apoyo.⁸⁷

Un ejemplo clave de esta dinámica surgió cuando el antiguo gobernador republicano de Michigan, Rick Snyder, antiguamente presidente de la compañía de hardware Gateway, puso en función dos programas de austeridad impulsados por algoritmos, en un intento por socavar la seguridad económica de sus ciudadanos más pobres bajo el auspicio de recortes presupuestarios estatales. Primero ordenó que se usara un algoritmo de comparación para implementar la política estatal del “delincuente fugitivo”, que buscaba descalificar automáticamente de la asistencia alimentaria a los individuos que tuvieran órdenes judiciales pendientes. Entre los años 2012 y 2015, el nuevo sistema emparejó erróneamente a más de diecinueve mil residentes de Michigan y los descalificó automáticamente a todos de recibir asistencia alimentaria.⁸⁸

El segundo esquema se llamaba Michigan Integrated Data Automated System (MiDAS), un sistema construido para “roboadjudicar” y castigar a aquellos que determinara que estuvieran estafando al seguro de desempleo del Estado. MiDAS estaba diseñado para tratar cualquier discrepancia o inconsistencia en los datos de un individuo como potencial evidencia de conducta ilegal. El sistema identificó erróneamente a más de cuarenta mil residentes de Michigan como sospechosos de fraude. Las consecuencias fueron severas: incautación de la devolución de impuestos, embargo de salarios y la imposición de sanciones civiles que eran cuatro veces superiores a la deuda que las personas tenían. Al final, los dos sistemas fueron unos enormes fracasos financieros que le costaron a Michigan mucho más dinero del ahorrado. Los perjudicados consiguieron demandar con éxito al Estado por estos sistemas, pero no antes de que miles de personas se vieran afectadas, muchas de ellas declaradas en bancarrota.⁸⁹

Considerando el contexto más amplio de los sistemas de IA dirigidos por el Estado, uno puede ver la lógica consistente entre focalizarse en terroristas o trabajadores indocumentados y hacerlo en delincuentes fugitivos o sospechosos de fraude. A pesar de que la asistencia alimentaria y los beneficios de desempleo se crearon para ayudar a los pobres y promover la estabilidad social y económica, el uso de sistemas militares de comando y control con el propósito de castigar y excluir socavan las metas principales de los sistemas. En esencia, estos sistemas son punitivos, están diseñados siguiendo un modelo de focalización de las amenazas. Los motivos de la puntuación y el riesgo han permeado las estructuras de la burocracia estatal, y los sistemas de decisión automatizados que son imaginados en esas instituciones han transmitido profundamente esa lógica a las formas en que se imaginan, evalúan, puntúan y atienden las comunidades y los individuos.

EL PAJAR ENREDADO

Estoy casi al final de un día revisando el archivo Snowden cuando me encuentro con una diapositiva que describe al planeta como un “pajar de información” en el que la información deseada se pierde como aguja en un pajar. Incluye una alegre imagen de clip art de un pajar gigante en un campo con un cielo azul en lo alto. Este cliché de la recolección de información es táctico: el heno se corta por el bien de la granja, se recolecta para producir valor. Esto invoca una reconfortante imagen pastoril de la agricultura de datos, que cuida los campos para impulsar ciclos más ordenados de extracción y producción. Phil Agre señaló en una ocasión que “la tecnología actual es filosofía encubierta; el punto es volverla abiertamente filosófica”.⁹⁰ La filosofía aquí es que los datos deberían extraerse globalmente y estructurarse para mantener la hegemonía de Estados Unidos. Pero hemos visto cómo, bajo escrutinio, estas narrativas se derrumban.

Las redes superpuestas de la computación planetaria responden a complejas y cruzadas lógicas corporativas y estatales, que exceden con mucho los límites tradicionales de las fronteras estatales y los de gobernanza, y son bastante más desordenadas de lo que pudiera implicar la idea de que el ganador se lo lleva todo. Como ha argumentado Benjamin Bratton:

El armazón de la computación a escala planetaria tiene una lógica determinante que es autorreafirmante, si no autocumplida, y a través de la automatización de sus propias operaciones infraestructurales termina superando cualquier diseño nacional, incluso cuando se utiliza en su nombre.⁹¹

La idea ultranacionalista de la IA soberana contenida de forma segura dentro de las fronteras nacionales es un mito. La infraestructura de la IA ya es un híbrido y, como argumenta Hu, también lo es la fuerza laboral que la sustenta, desde los trabajadores de las fábricas de China que hacen componentes electrónicos hasta los programadores rusos que proveen mano de obra en la nube y los trabajadores freelance de Marruecos que filtran contenido y etiquetan imágenes.⁹²

En conjunto, la IA y los sistemas algorítmicos que utiliza el Estado, desde el ejército hasta los municipios, revelan una filosofía encubierta de comando y control infraestructural en masa, por medio de una combinación de técnicas de extracción de datos, lógica de focalización y vigilancia. Estas metas han sido centrales para las agencias de vigilancia durante décadas, pero ahora se han expandido a muchas otras funciones estatales, desde el orden público local hasta la distribución de beneficios.⁹³ Esto es apenas una parte de la profunda mezcla de lógicas estatales, municipales y corporativas en la computación planetaria extractiva. Pero se trata de un negocio incómodo: los Estados hacen tratos con las compañías tecnológicas que no pueden controlar ni entender del todo y las compañías tecnológicas asumen funciones estatales y extraestatales que no están capacitadas para llevar a cabo y por las que, en algún momento del futuro, podrían ser obligadas a rendir cuentas.

El archivo Snowden muestra hasta dónde se extienden estás lógicas de vigilancia superpuestas y contradictorias. Un documento señala los síntomas de lo que un empleado de la NSA describió como adicción al punto de vista cenital que los datos parecen ofrecer:

Los alpinistas le llaman a este fenómeno “fiebre de la cima”: cuando un “individuo se obsesiona tanto con llegar a la cumbre que todo lo demás desaparece de su conciencia”. Creo que los que trabajan con la inteligencia de señales, como los escaladores de clase mundial, no son inmunes a la fiebre de la cima. Es bastante fácil perder de vista el mal clima y seguir adelante sin descanso, especialmente después de haber invertido muchísimo dinero, tiempo y recursos en algo.⁹⁴

Todo el dinero y los recursos usados en esta vigilancia implacable son parte del sueño febril de un control centralizado que se ha hecho real a costa de otras visiones de organización social. Las revelaciones de Snowden fueron un punto de inflexión que reveló cuán lejos puede llegar una cultura de extracción cuando el Estado y el sector comercial colaboran, pero los diagramas de red y el clip art del PowerPoint resultan casi pintorescos cuando se los compara con todo lo que ha sucedido desde entonces.⁹⁵ Los métodos y las herramientas distintivos de la NSA se han filtrado a los salones de clase, las estaciones de policía, los lugares de trabajo y las oficinas de desempleo. Es el resultado de inversiones enormes, de formas de privatización de facto y de la titularización del riesgo y el miedo. El profundo enredo de hoy de diferentes formas de poder era precisamente lo que se esperaba de la tercera compensación. Se ha retorcido mucho más allá del objetivo de la ventaja estratégica en las operaciones del campo de batalla para abarcar también todas esas partes de la vida cotidiana que se pueden rastrear y puntuar, ancladas en definiciones normativas sobre la manera en que los buenos ciudadanos deberían comunicarse, comportarse y gastar su dinero. Este cambio trae consigo una visión distinta de la soberanía estatal, modulada por una gobernanza algorítmica corporativa, y fomenta el profundo desequilibrio de poder entre los agentes del Estado y las personas a las que están destinados a servir.

Este término no se suele traducir, aunque a veces se los llama “equipos físicamente aislados”. Hace referencia a sistemas que no están conectados a otras redes para protegerlos de intrusiones potenciales. [N. del T.]

1 NOFORN es una sigla que en inglés corresponde a “Not Releasable to Foreing Nationals” [“No liberable a nacionales extranjeros”]. “Use of the ‘Not Releasable to Foreign Nationals’ (NOFORN) Caveat on Department of Defense (DoD) Information”, US Department of Defense, 17 de mayo de 2005, disponible en línea: <fas.org>.

² Five Eyes es una alianza de inteligencia global que incluye a Australia, Canadá, Nueva Zelanda, el Reino Unido y Estados Unidos.

³ Peter Galison, “Removing Knowledge”, en Critical Inquiry, vol. 31, núm. 1, 2004, p. 229, disponible en línea: <doi.org>.

⁴ James Risen y Laura Poitras, “NSA Report Outlined Goals for More Power”, en The New York Times, 22 de noviembre de 2013, disponible en línea: <https://www.nytimes.com/2013/11/23/us/politics/nsa-report-outlined-goals-formore-power.html>, y Andy Müller-Maguhn et al., “The NSA Breach of Telekom and Other German Firms”, en Spiegel, 14 de septiembre de 2014, disponible en línea: <www.spiegel.de>.

⁵ FOXACID es un software desarrollado por la Tailored Access Operations (TAO), ahora Computer Network Operations (CNO), una unidad de la NSA para la recopilación de inteligencia para la guerra cibernética.

⁶ Bruce Schneier, “Attacking Tor: How the NSA Targets Users’ Online Anonymity”, en The Guardian, 4 de octubre de 2013, disponible en línea: <www.theguardian.com>. Documento disponible en “NSA Phishing Tactics and Man in the Middle Attacks”, en The Intercept (blog), 12 de marzo de 2014, disponible en línea: <theintercept.com>.

⁷ Dan Swinhoe, “What Is Spear Phishing? Why Targeted Email Attacks Are So Difficult to Stop”, en CSO Online, 21 de enero de 2019, disponible en línea: <www.csoonline.com>.

⁸ “A Strategy for Surveillance Powers”, en The New York Times, 23 de febrero de 2012, disponible en línea: <www.nytimes.com>.

⁹ Paul N. Edwards, The Closed World. Computers and the Politics of Discourse in Cold War America, Cambridge, MIT Press, 1996.

¹⁰ Ibid.

¹¹ Paul N. Edwards, op. cit., p. 198.

¹² Achille Mbembe, Necropolitics, Durham, Duke University Press, 2019, p. 82 [trad. esp.: Necropolítica, Santa Cruz de Tenerife, Melusina, 2011].

¹³ Benjamin H. Bratton, The Stack. On Software and Sovereignty, Cambridge, MIT Press, 2015, p. 151.

¹⁴ Para un excelente recuento de la historia del Internet en Estados Unidos, véase Janet Abbate, Inventing the Internet, Cambridge, MIT Press, 1999.

¹⁵ SHARE Foundation, “Serbian Government Is Implementing Unlawful Video Surveillance with Face Recognition in Belgrade”, informe de políticas, s. f., disponible en línea: <www.sharefoundation.info>.

¹⁶ Department of International Cooperation Ministry of Science and Technology, “Next Generation Artificial Intelligence Development Plan”, en China Science and Technology Newsletter, núm. 17, 15 de septiembre de 2017, disponible en línea: <http://fi.china-embassy.org/eng/kxjs/P02017102578910 8009001.pdf>.

¹⁷ Wendy Hui Kyong Chun, Control and Freedom. Power and Paranoia in the Age of Fiber Optics, Cambridge, MIT Press, 2005, y Tung-Hui Hu, A Prehistory of the Cloud, Cambridge, MIT Press, 2015, pp. 87 y 88.

¹⁸ Stephen Cave y Seán ÓhÉigeartaigh, “An AI Race for Strategic Advantage: Rhetoric and Risks”, en Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, pp. 36-40, disponible en línea: <dl.acm.org>.

¹⁹ John Markoff, “Pentagon Turns to Silicon Valley for Edge in Artificial Intelligence”, en The New York Times, 11 de mayo de 2016, disponible en línea: <www.nytimes.com>.

²⁰ Harold Brown, Department of Defense Annual Report: Fiscal Year 1982, informe 096066/6, Washington DC, 19 de enero de 1982, disponible en línea: <history.defense.gov>.

²¹ Robert Martinage, “Toward a New Offset Strategy: Exploiting US Long-Term Advantages to Restore US Global Power Projection Capability”, Washington DC, Center for Strategic and Budgetary Assessments, 2014, pp. 5-16, disponible en línea: <csbaonline.org>.

²² Ash Carter, “Remarks on ‘The Path to an Innovative Future for Defense’ (CSIS Third Offset Strategy Conference)”, Washington DC, US Department of Defense, 28 de octubre de 2016, disponible en línea: <www.defense.gov>, y Cheryl Pellerin, “Deputy Secretary: Third Offset Strategy Bolsters America’s Military Deterrence”, Washington DC, US Department of Defense, 31 de octubre de 2016, disponible en línea: <www.defense.gov>.

²³ Los orígenes de las compensaciones militares estadounidenses se remontan a diciembre de 1952, cuando la Unión Soviética tenía casi diez veces más divisiones militares convencionales que Estados Unidos. El presidente Dwight Eisenhower recurrió a la disuasión nuclear como una forma de “compensar” estos números. La estrategia implicaba no solo la amenaza del poder de represalia de las fuerzas nucleares de Estados Unidos, sino también la aceleración del crecimiento del arsenal de armas, así como el desarrollo de bombarderos a reacción de largo alcance, la bomba de hidrógeno y, finalmente, misiles balísticos intercontinentales. También incluía una mayor dependencia del espionaje, el sabotaje y las operaciones encubiertas. En las décadas del setenta y del ochenta, la estrategia militar de Estados Unidos se centró en los avances computacionales en análisis y logística, basándose en la influencia de arquitectos militares como Robert McNamara para alcanzar la supremacía militar. Este segundo desplazamiento se pudo ver en enfrentamientos militares como la Operación Tormenta del Desierto durante la Guerra del Golfo en 1991, donde las operaciones de reconocimiento, la supresión de las defensas enemigas y las municiones guiadas con precisión dominaron la forma en la que Estados Unidos no solo luchó en la guerra, sino que también pensó y habló sobre ella. Sin embargo, a medida que Rusia y China también comenzaron a adoptar estas capacidades y desplegar redes digitales para la guerra, creció la ansiedad por restablecer un nuevo tipo de ventaja estratégica. Véase Robert S. McNamara y James G. Blight, Wilson’s Ghost. Reducing the Risk of Conflict, Killing, and Catastrophe in the 21st Century, Nueva York, Public Affairs, 2001.

²⁴ Cheryl Pellerin, “Deputy Secretary”, op. cit.

²⁵ Barton Gellman y Laura Poitras, “US, British Intelligence Mining Data from Nine US Internet Companies in Broad Secret Program”, en The Washington Post, 7 de junio de 2013, disponible en línea: <www.washingtonpost.com>.

²⁶ Deputy Secretary of Defense, “Establishment of an Algorithmic Warfare Cross-Functional Team (Project Maven)”, memorándum, 26 de abril de 2017, disponible en línea: <www.govexec.com>.

²⁷ Ibid.

²⁸ Arthur Holland Michel, Eyes in the Sky. The Secret Rise of Gorgon Stare and How It Will Watch Us All, Boston, Houghton Mifflin Harcourt, 2019, p. 134.

²⁹ Arthur Holland Michel, Eyes in the Sky, op. cit., p. 135.

³⁰ Dell Cameron y Kate Conger, “Google Is Helping the Pentagon Build AI for Drones”, en Gizmodo, 6 de marzo de 2018, disponible en línea: <gizmodo.com>.

³¹ Por ejemplo, Timnit Gebru et al., “Fine-Grained Car Detection for Visual Census Estimation”, en Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI ’17, pp. 4502-4508.

³² Lee Fang, “Leaked Emails Show Google Expected Lucrative Military Drone AI Work to Grow Exponentially”, en The Intercept (blog), 31 de mayo de 2018, disponible en línea: <theintercept.com>.

³³ Mark Bergen, “Pentagon Drone Program Is Using Google AI” en Bloomberg, 6 de marzo de 2018, disponible en línea: <www.bloomberg.com>.

³⁴ Scott Shane y Daisuke Wakabayashi, “‘The Business of War’: Google Employees Protest Work for the Pentagon”, en The New York Times, 4 de abril de 2018, disponible en línea: <www.nytimes.com>.

³⁵ Brad Smith, “Technology and the US Military”, en Microsoft on the Issues (blog), 26 de octubre de 2018, disponible en línea: <blogs.microsoft.com>.

³⁶ Cuando el contrato de JEDI fue finalmente adjudicado a Microsoft, Brad Smith, su presidente, explicó que la razón por la que habían pujado por el contrato era que lo habían visto “no solo como una oportunidad de venta sino, en realidad, como un proyecto de ingeniería a una muy gran escala”. Ashley Stewart y Nicholas Carlson, “The President of Microsoft Says It Took Its Bid for the $10 Billion JEDI Cloud Deal as an Opportunity to Improve Its Tech, and That’s Why It Beat Amazon”, en Business Insider, 23 de enero de 2020, disponible en línea: <www.businessinsider.com>.

³⁷ Sundar Pichai, “AI at Google: Our Principles”, en Google, 7 de junio de 2018, disponible en línea: <blog.google>.

³⁸ Ibid. El Proyecto Maven fue posteriormente adquirido por Anduril Industries, una hermética empresa tecnológica fundada por Palmer Luckey de Oculus Rift. Lee Fang, “Defense Tech Startup Founded by Trump’s Most Prominent Silicon Valley Supporters Wins Secretive Military AI Contract”, en The Intercept (blog), 9 de marzo de 2019, disponible en línea: <theintercept.com>.

³⁹ Meredith Whittaker et al., AI Now Report 2018, en AI Now Institute, diciembre de 2018, disponible en línea: <ainowinstitute.org>.

⁴⁰ Eric Schmidt, cit. en Paul Scharre et al., “Eric Schmidt Keynote Address at the Center for a New American Security Artificial Intelligence and Global Security Summit”, en Center for a New American Security, 13 de noviembre de 2017, disponible en línea: <www.cnas.org>.

⁴¹ Como ha señalado Lucy Suchman, “‘matar gente correctamente’, bajo las leyes de la guerra, requiere el cumplimiento del principio de distinción y la identificación de una amenaza inminente”. Lucy Suchman, “Algorithmic Warfare and the Reinvention of Accuracy”, en Critical Studies on Security, vol. 8, núm. 2, 2020, disponible en línea: <doi.org>.

⁴² Ibid.

⁴³ Ibid.

⁴⁴ Thilo Hagendorff, “The Ethics of AI Ethics: An Evaluation of Guidelines”, en Minds and Machines, vol. 30, 2020, pp. 99-120, disponible en línea: <doi.org>.

⁴⁵ Joshua Brustein y Mark Bergen, “Google Wants to Do Business with the Military - Many of Its Employees Don’t”, en Bloomberg, 21 de noviembre de 2019, disponible en línea: <www.bloomberg.com>.

⁴⁶ Para una explicación más detallada de por qué las municipalidades deberían evaluar con mayor cuidado los riesgos de las plataformas algorítmicas, véase Ben Green, The Smart Enough City. Taking Off Our Tech Goggles and Reclaiming the Future of Cities, Cambridge, MIT Press, 2019.

⁴⁷ Peter Thiel, “Good for Google, Bad for America”, en The New York Times, 1° de agosto de 2019, disponible en línea: <www.nytimes.com>.

⁴⁸ Michael Steinberger, “Does Palantir See Too Much?”, en The New York Times Magazine, 21 de octubre de 2020, disponible en línea: <www.nytimes.com>.

⁴⁹ Moira Weigel, “Palantir goes to the Frankfurt School”, en Boundary 2 (blog), 10 de julio de 2020, disponible en línea: <www.boundary2.org>.

⁵⁰ Ken Dilanian, “US Special Operations Forces Are Clamoring to Use Software from Silicon Valley Company Palantir”, en Business Insider, 26 de marzo de 2015, disponible en línea: <www.businessinsider.com>.

⁵¹ “The War against Immigrants: Trump’s Tech Tools Powered by Palantir”, en Mijente, agosto de 2019, disponible en línea: <mijente.net>.

⁵² William Alden, “Inside Palantir, Silicon Valley’s Most Secretive Company”, en Buzzfeed News, 6 de mayo de 2016, disponible en línea: <www.buzzfeednews.com>.

⁵³ William Alden, “Inside Palantir…”, op. cit.

⁵⁴ Peter Waldman, Lizette Chapman y Jordan Robertson, “Palantir Knows Everything about You”, en Bloomberg, 19 de abril de 2018, disponible en línea: <www.bloomberg.com>.

⁵⁵ George Joseph, “Data Company Directly Powers Immigration Raids in Workplace”, en WNYC, 16 de julio de 2019, disponible en línea: <www.wnyc.org>, y Eillie Anzilotti, “Emails Show That ICE Uses Palantir Technology to Detain Undocumented Immigrants”, en Fast Company (blog), 16 de julio de 2019, disponible en línea: <https://www.fastcompany.com/90377603/ICE-uses-palantir-tech-to-detain-immigrants-wnyc-report>.

⁵⁶ Andrew Ferguson, conversación con la autora, 21 de junio de 2019.

⁵⁷ Sarah Brayne, “Big Data Surveillance: The Case of Policing”, en American Sociological Review, vol. 82, núm. 5, 2017, pp. 977-1008, disponible en línea: <doi.org>. Brayne también señala que la migración de las fuerzas del orden a la inteligencia se estaba produciendo incluso antes del giro a la analítica predictiva, debido a decisiones judiciales como Terry contra Ohio y Whren contra Estados Unidos, lo que facilitó a las fuerzas del orden eludir la causa probable y produjo una proliferación de detenciones con esa excusa.

⁵⁸ Rashida Richardson, Jason M. Schultz y Kate Crawford, “Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice”, en NYU Law Review Online, vol. 94, núm. 15, 2019, pp. 15-55, disponible en línea: <www.nyulawreview.org>.

⁵⁹ Sarah Brayne, “Big Data Surveillance”, op. cit., p. 997.

⁶⁰ Ibid.

⁶¹ Véase, por ejemplo, Martin A. French y Simone A. Browne, “Surveillance as Social Regulation: Profiles and Profiling Technology”, en Deborah R. Brock, Amanda Glasbeek y Carmela Murdocca (eds.), Criminalization, Representation, Regulation. Thinking Differently about Crime, North York, University of Toronto Press, 2014, pp. 251-284.

⁶² Kate Crawford y Jason Schultz, “AI Systems as State Actors”, en Columbia Law Review, vol. 119, núm. 7, 2019, disponible en línea: <columbialawreview.org>.

⁶³ Julie E. Cohen, Between Truth and Power. The Legal Constructions of Informational Capitalism, Nueva York, Oxford University Press, 2019, y Ryan Calo y Danielle Citron, “The Automated Administrative State: A Crisis of Legitimacy”, en Emory Law Journal, 9 de marzo de 2020, disponible en línea: <ssrn.com>.

⁶⁴ “Vigilant Solutions”, en NCPA, disponible en línea: <http://www.ncpa.us/Vendors/Vigilant%20Solutions>, y Peter Maass y Beryl Lipton, “What We Learned”, en MuckRock, 15 de noviembre de 2018, disponible en línea: <www.muckrock.com>.

⁶⁵ Lily Hay Newman, “Internal Docs Show How ICE Gets Surveillance Help From Local Cops”, en Wired, 13 de marzo de 2019, disponible en línea: <www.wired.com>.

⁶⁶ Rachel England, “UK Police’s Facial Recognition System Has an 81 Percent Error Rate”, en Engadget, 4 de julio de 2019, disponible en línea: <www.engadget.com>.

⁶⁷ James C. Scott, Seeing Like a State. How Certain Schemes to Improve the Human Condition Have Failed, New Haven, Yale University Press, 1998 [trad. esp.: Lo que ve el Estado. Cómo ciertos esquemas para mejorar la condición humana han fracasado, México, Fondo de Cultura Económica, 2021].

⁶⁸ Caroline Haskins, “How Ring Transmits Fear to American Suburbs” en Vice (blog), 12 de julio de 2019, disponible en línea: <www.vice.com>.

⁶⁹ Caroline Haskins, “Amazon’s Home Security Company Is Turning Everyone into Cops”, en Vice (blog), 7 de febrero de 2019, disponible en línea: <www.vice.com>.

⁷⁰ Ibid.

⁷¹ Caroline Haskins, “Amazon Requires Police to Shill Surveillance Cameras in Secret Agreement”, en Vice (blog), 25 de julio de 2019, disponible en línea: <www.vice.com>.

⁷² Caroline Haskins, “Amazon Is Coaching Cops on How to Obtain Surveillance Footage without a Warrant”, en Vice (blog), 5 de agosto de 2019, disponible en línea: <www.vice.com>.

⁷³ Ibid.

⁷⁴ Ibid.

⁷⁵ Tung-Hui Hu, A Prehistory of the Cloud, op. cit., p. 11.

⁷⁶ Ibid., p. 115.

⁷⁷ Kristina Benson, “‘Kill ’Em and Sort It Out Later’: Signature Drone Strikes and International Humanitarian Law”, en Pacific McGeorge Global Business and Development Law Journal, vol. 27, núm. 1, 2014, p. 17.

⁷⁸ Lisa Hajjar, “Lawfare and Armed Conflicts: A Comparative Analysis of Israeli and US Targeted Killing Policies”, en Lisa Parks y Caren Kaplan (eds.), Life in the Age of Drone Warfare, Durham, Duke University Press, 2017, p. 70.

⁷⁹ Jeremy Scahill y Glenn Greenwald, “The NSA’s Secret Role in the US Assassination Program”, en The Intercept (blog), 10 de febrero de 2014, disponible en línea: <theintercept.com>.

⁸⁰ David Cole, “‘We Kill People Based on Metadata’”, en The New York Review of Books, 10 de mayo de 2014, disponible en línea: <www.nybooks.com>.

⁸¹ Dana Priest, “NSA Growth Fueled by Need to Target Terrorists”, en The Washington Post, 21 de julio de 2013, disponible en línea: <www.washingtonpost.com>.

⁸² Jennifer Gibson, cit. en Spencer Ackerman, “41 Men Targeted but 1.147 People Killed: US Drone Strikes - the Facts on the Ground”, en The Guardian, 24 de noviembre de 2014, disponible en línea: <www.theguardian.com>.

⁸³ Patrick Tucker, “Refugee or Terrorist? IBM Thinks Its Software Has the Answer”, en Defense One, 27 de enero de 2016, disponible en línea: <www.defenseone.com>.

⁸⁴ Ibid.

⁸⁵ Cathy O’Neil, Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy, Nueva York, Crown, 2016, pp. 288-326 [trad. esp.: Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia, Madrid, Capitán Swing, 2018].

⁸⁶ Marion Fourcade y Kieran Healy, “Seeing Like a Market”, en Socio-Economic Review, vol. 15, núm. 1, 2016, p. 13, disponible en línea: <doi.org>.

⁸⁷ Virginia Eubanks, Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor, Nueva York, St. Martin’s, 2017 [trad. esp.: La automatización de la desigualdad. Herramientas de tecnología avanzada para supervisor y castigar a los pobres, Madrid, Capitán Swing, 2021].

⁸⁸ Rashida Richardson, Jason M. Schultz y Vincent M. Southerland, “Litigating Algorithms: 2019 US Report”, en AI Now Institute, septiembre de 2019, p. 19, disponible en línea: <ainowinstitute.org>.

⁸⁹ Ibid., p. 23.

⁹⁰ Philip E. Agre, Computation and Human Experience, Cambridge, Cambridge University Press, 1997, p. 240.

⁹¹ Benjamin H. Bratton, The Stack, op. cit., p. 140.

⁹² Tung-Hui Hu, A Prehistory of the Cloud, op. cit., p. 89.

⁹³ Ellen Nakashima y Joby Warrick, “For NSA Chief, Terrorist Threat Drives Passion to ‘Collect It All’”, en The Washington Post, 14 de julio de 2013, disponible en línea: <www.washingtonpost.com>.

⁹⁴ Documento disponible en Peter Maass, “Summit Fever”, en The Intercept (blog), 25 de junio de 2012, disponible en línea: <www.documentcloud.org>.

⁹⁵ El futuro del archivo Snowden en sí es incierto. En marzo de 2019, se anunció que Intercept (la publicación que Glenn Greenwald estableció con Laura Poitras y Jeremy Scahill después de que compartieran el Premio Pulitzer por sus informes sobre los materiales de Snowden) ya no lo financiaría.

Conclusión. El poder

LA INTELIGENCIA ARTIFICIAL (IA) no es una técnica computacional neutral que tome determinaciones sin una dirección humana. Sus sistemas están integrados en mundos sociales, políticos, culturales y económicos, delineados por humanos, instituciones e imperativos que determinan lo que hacen y cómo lo hacen. Están diseñados para discriminar, amplificar jerarquías y codificar clasificaciones estrechas. Cuando son aplicadas en contextos sociales como la vigilancia policial, el sistema judicial, la salud y la educación, pueden reproducir, optimizar y amplificar las desigualdades estructurales existentes. Esto no es casual. Los sistemas de IA están construidos para ver e intervenir en el mundo de maneras que benefician principalmente a los Estados, las instituciones y las corporaciones a los que sirven. En ese sentido, los sistemas de IA son expresiones de poder que surgen de fuerzas económicas y políticas más amplias, creadas para aumentar las ganancias y centralizar los poderes de quienes las esgrimen. Pero la historia de la IA no se suele contar de esta manera.

Las descripciones estándar de la IA a menudo se centran en una especie de excepcionalismo algorítmico: la idea de que, debido a que los sistemas de IA pueden realizar asombrosas hazañas de cálculo, deben ser más inteligentes y objetivos que sus imperfectos creadores humanos. Consideremos el diagrama de AlphaGo Zero, un programa de IA diseñado por DeepMind de Google para jugar juegos de estrategia.¹ La imagen muestra cómo “aprendió” a jugar el juego de estrategia chino Go después de evaluar más de mil opciones por jugada. En el artículo que anuncia este desarrollo los autores escriben: “Empezando de cero, nuestro nuevo programa AlphaGo Zero logró un rendimiento sobrehumano”.² El cofundador de DeepMind, Demis Hassabis, ha descrito estos motores de juego como similares a una inteligencia extraterrestre: “No juega como un ser humano, pero tampoco juega como los motores de computadora. Juega como una tercera manera, casi extraterrestre. […] Es como el ajedrez de otra dimensión”.³ Cuando la siguiente versión dominó Go en tres días, Hassabis lo describió como “redescubrir tres mil años de conocimiento humano ¡en setenta y dos horas!”.⁴

El diagrama de Go no muestra máquinas, ni trabajadores humanos, ni inversión de capital, ni huella de carbono; solo un sistema abstracto basado en reglas y dotado de habilidades sobrenaturales. Los relatos de magia y mistificación se repiten a lo largo de la historia de la IA, dibujando círculos brillantes alrededor de demostraciones espectaculares de velocidad, eficiencia y razonamiento computacional.⁵ No es ninguna coincidencia que uno de los ejemplos icónicos de la IA sea un juego.

Conocimiento de Go aprendido por AlphaGo Zero. Cortesía de DeepMind.

JUEGOS SIN FRONTERAS

Desde los años cincuenta, los juegos han sido el campo de pruebas preferido para los programas de IA.⁶ A diferencia de la vida diaria, los juegos ofrecen un mundo cerrado con parámetros definidos y condiciones claras para ganar o perder. Las raíces históricas de la IA en la Segunda Guerra Mundial derivaron de la investigación financiada por el ejército para el procesamiento y la optimización de señales, lo que buscaba simplificar el mundo, representándolo más como un juego de estrategia. Surgió un fuerte énfasis en la racionalización y la predicción, junto con la fe en que los formalismos matemáticos nos ayudarían a entender a los seres humanos y a la sociedad.⁷ La creencia de que las predicciones precisas consisten fundamentalmente en reducir la complejidad del mundo dio pie a una teoría implícita de lo social: encuentra la señal en el ruido y ordena el desorden.

El achatamiento epistemológico de la complejidad en señales limpias con el propósito de hacer predicciones es ahora una de las lógicas centrales del aprendizaje automático. Con el historiador de tecnología Alex Campolo, hemos llamado a esto determinismo encantado: los sistemas de IA se ven como algo encantado, que está más allá del mundo conocido y, sin embargo, determinista en el sentido de que descubren patrones que se pueden aplicar con una certeza predictiva a la vida diaria.⁸ En las discusiones sobre sistemas de aprendizaje profundo, en los que se extienden las técnicas de aprendizaje automático superponiendo representaciones abstractas de capas de datos, el determinismo encantado adquiere una cualidad prácticamente teológica. El hecho de que los métodos de aprendizaje profundo a menudo no puedan ser interpretados, incluso por los propios ingenieros que los crearon, les da a estos sistemas el aura de ser demasiado complejos para ser regulados y demasiado poderosos para no utilizarlos. Como ha observado el antropólogo social Frederick G. Bailey, la técnica de “oscurecer mistificando” se usa a menudo en escenarios públicos para argumentar a favor de la inevitabilidad del fenómeno.⁹ Se nos dice que nos concentremos en la naturaleza innovadora del método más que en algo que resulta primordial: el propósito de la cosa misma. Más que nada, el determinismo encantado oscurece el poder y clausura las discusiones informadas, el escrutinio crítico o el rechazo absoluto del público.

El determinismo encantado tiene dos ramas dominantes, espejo la una de la otra. La primera es un tipo de utopismo tecnológico que ofrece intervenciones computacionales como si fueran soluciones universales que se pueden aplicar a cualquier problema. La segunda es una perspectiva distópica que culpa a los algoritmos de los resultados negativos, como si estos fueran agentes independientes que no lidian con los contextos que les dan forma y en los que operan. En un extremo, el relato de una distopía tecnológica encuentra su fin en la singularidad o superinteligencia: la teoría de que podría surgir una máquina inteligente que finalmente dominará o destruirá a los humanos.¹⁰ Esta noción rara vez toma en cuenta la realidad de que muchas personas alrededor del mundo ya están dominadas por sistemas extractivos de computación planetaria.

Estos discursos distópicos y utópicos son gemelos metafísicos: uno pone su fe en la IA como si fuera la solución a todos los problemas y el otro teme a la IA como el mayor peligro. Cada uno ofrece una visión profundamente ahistórica que ubica el poder exclusivamente dentro de la tecnología misma. Ya sea que la IA se entienda en abstracto como una herramienta multiusos o un jefe supremo todopoderoso, el resultado es un determinismo tecnológico. La IA ocupa una posición central en la redención o la ruina de la sociedad, lo que nos permite ignorar las fuerzas sistémicas de un neoliberalismo desatado, políticas de austeridad, desigualdad racial y explotación sostenida de la mano de obra. Tanto los utópicos como los distópicos de la tecnología centralizan su lugar al hablar de ella y la expanden a cada rincón de la vida, desconectada de las formas de poder a las que magnifica y sirve.

Cuando AlphaGo derrota a un gran maestro humano, es tentador imaginar que ha llegado una inteligencia de otro mundo. Pero hay una explicación mucho más simple y precisa. Los motores de juego de la IA están diseñados para jugar millones de juegos, ejecutar análisis estadísticos para optimizar los resultados y, luego, jugar millones de juegos más. Estos programas producen movimientos sorprendentes que no son comunes en los juegos humanos por una sencilla razón: pueden jugar y analizar muchos más juegos a una velocidad mucho mayor que cualquier ser humano. Esto no es magia; es un análisis estadístico a escala. Y, sin embargo, persisten los cuentos de máquinas inteligentes sobrenaturales.¹¹ Una y otra vez, vemos presente la ideología del dualismo cartesiano en la IA: la fantasía de que los sistemas de IA son cerebros incorpóreos que absorben y producen conocimiento independientemente de sus creadores, infraestructuras y del mundo en general. Estas ilusiones distraen de las preguntas mucho más relevantes: ¿a quiénes sirven estos sistemas?, ¿cuáles son las economías políticas responsables de su construcción?, y ¿cuáles son las consecuencias planetarias más amplias?

LOS CANALES DE LA INTELIGENCIA ARTIFICIAL

Consideremos una ilustración distinta de la IA: los planos para el primer centro de datos propio operado por Google, en The Dalles, Oregon. Representa tres edificios de 6.400 metros cuadrados, una instalación enorme que, en el año 2008, se estimó que usaba energía suficiente para abastecer a 82.000 casas o a una ciudad del tamaño de Tacoma, Washington.¹² El centro de datos ahora se extiende a lo largo de la ribera del río Columbia, desde donde saca la electricidad más barata del norte de Estados Unidos. Los grupos de presión de Google negociaron durante seis meses con los funcionarios locales para conseguir un trato que incluyera exenciones de impuestos, garantías de electricidad barata y acceso al anillo de fibra óptica construido por la ciudad. A diferencia de la visión abstracta de un juego de Go, este plan de ingeniería revela lo mucho que la visión técnica de Google depende de los servicios públicos, incluida la red de gas, el alcantarillado y las líneas de alto voltaje por las que fluye una electricidad que se obtiene con descuento. En palabras de la escritora Ginger Strand: “A través de la infraestructura de la ciudad, las devoluciones del Estado y el poder subsidiado federalmente, nosotros financiamos YouTube”.¹³

Estos planos nos recuerdan cuánto de la expansión de la industria de la inteligencia artificial ha sido subsidiada por el público: desde el financiamiento del Departamento de Defensa y de las agencias federales de investigación hasta los servicios públicos y las exenciones fiscales, a los datos y la mano de obra no remunerada que se extraen del uso de motores de búsqueda o de la publicación de imágenes en línea. La IA empezó como uno de los grandes proyectos públicos del siglo XX y se fue privatizando implacablemente para producir enormes ganancias financieras para la minúscula minoría que está en la parte más alta de la pirámide de la extracción.

Planos del centro de datos de Google. Cortesía de Harper’s.

Estos diagramas presentan dos maneras distintas de entender cómo funciona la IA. He argumentado que hay mucho en juego a la hora de definir la IA, sus límites y quiénes los determinan: hacerlo le dará forma a lo que puede verse y enjuiciarse. El diagrama Go nos habla de los relatos que hace la industria acerca de una nube computacional abstracta, alejada de los recursos terrenales que se necesitan para producirla, un paradigma en el que se idolatra la innovación técnica, se rechaza la regulación y los costos verdaderos nunca se revelan. Los planos dirigen nuestra atención a la infraestructura física, pero dejan fuera las implicaciones ambientales y los tratos políticos que la hicieron posible. Estos relatos parciales de la IA representan lo que los filósofos Michael Hardt y Antonio Negri llaman “la operación dual de abstracción y extracción” en el capitalismo de la información: abstraer las condiciones materiales de la producción mientras se extrae más información y recursos.¹⁴ La descripción de la IA como algo en esencia abstracto la aleja de la energía, la mano de obra y el capital que se necesitan para producirla, así como de los muchos tipos de minería que la hacen posible.

Este libro ha explorado la infraestructura planetaria de la IA como una industria de extracción: desde su génesis material, pasando por la economía política de sus operaciones, hasta los discursos que alimentan el aura de su inmaterialidad e inevitabilidad. Hemos visto las políticas inherentes en las maneras en que los sistemas de IA están entrenados para reconocer el mundo. Y hemos observado las formas sistemáticas de desigualdad que hacen de la IA lo que es hoy en día. El tema central es el profundo entrelazamiento de la tecnología, el capital y el poder, del cual la IA es la última manifestación. En lugar de ser inescrutables y marcianos, estos sistemas son el producto de estructuras sociales y económicas que conllevan profundas consecuencias materiales.

EL MAPA NO ES EL TERRITORIO

¿Cómo podemos ver el ciclo completo de la vida de la inteligencia artificial y las dinámicas de poder que lo impulsan? Tenemos que ir más allá de los mapas convencionales de la IA para localizarlo en un paisaje más amplio. Los atlas pueden provocar un cambio de escala, para ver cómo se unen los espacios entre sí. Este libro propone que lo que en realidad está en juego al hablar de IA son los sistemas interconectados de extracción y poder, no los imaginarios tecnocráticos de la artificialidad, la abstracción y la automatización. Para entender la IA por lo que es, necesitamos ver las estructuras de poder a las que sirve.

La IA nace de las lagunas saladas de Bolivia y las minas en el Congo, construida a partir de conjuntos de datos etiquetados por crowdsourcing que buscan clasificar acciones, emociones e identidades humanas. Se usa para maniobrar drones sobre Yemen, dirigir a la policía de inmigraciones en Estados Unidos y modular puntajes crediticios sobre los valores y los riesgos de la vida humana a lo largo del mundo. Se necesita una perspectiva gran angular y multiescalar para hacer frente a estos regímenes solapados.

Este libro empezó bajo tierra, donde la política extractiva de la inteligencia artificial se vuelve literal. Minerales de tierras raras, agua, carbón y petróleo: el sector tecnológico excava en la tierra para alimentar sus infraestructuras de alto consumo energético. El sector tecnológico, que está expandiendo las redes de sus centros de datos y ayudando a la industria del petróleo y el gas a localizar y vaciar las reservas restantes de combustibles fósiles, nunca admite o considera la huella de carbono de la IA. Esta opacidad de la cadena de suministros más grande para la computación en general, y para la IA en particular, es parte de un modelo de negocio establecido hace mucho tiempo que consiste en extraer el valor de los bienes comunes y evitar la compensación por los daños duraderos.

La mano de obra representa otra forma de extracción. En el capítulo II, nos aventuramos más allá de los muy bien pagados ingenieros del aprendizaje automático para considerar otras formas de trabajo que resultan necesarias para que los sistemas IA funcionen. Desde los mineros que extraen estaño en Indonesia a los trabajadores de crowdsourcing en la India que completan tareas en el Mechanical Turk de Amazon, a los trabajadores de las fábricas de iPhone de Foxconn en China, la fuerza laboral de la IA es mucho mayor de lo que solemos imaginar. Incluso dentro de las compañías tecnológicas existe una gran fuerza laboral paralela de trabajadores parciales que supera significativamente en número a los trabajadores de tiempo completo, pero tienen menos beneficios y ninguna seguridad laboral.¹⁵

En los nodos logísticos del sector de la tecnología encontramos humanos completando tareas cuando las máquinas no pueden hacerlo. Se necesitan miles de personas para mantener la ilusión de la automatización: etiquetando, corrigiendo, evaluando y editando sistemas de IA para que parezca que no tienen fisuras. Otros cargan paquetes, conducen para aplicaciones de transporte y entregan comida. Los sistemas de IA los vigilan a todos mientras exprimen al máximo la funcionalidad de los cuerpos humanos: las complejas articulaciones de los dedos, los ojos y las rodillas son más baratas y fáciles de adquirir que los robots. En esos espacios, el futuro del trabajo se parece más a las fábricas tayloristas del pasado, pero con pulseras que vibran cuando los trabajadores se equivocan y multas impuestas por tomarse demasiados descansos para ir al baño.

Los usos de la IA en el lugar de trabajo distorsionan las desigualdades de poder todavía más, al darle más control a los empleadores. Se usan aplicaciones para rastrear trabajadores, empujarlos a trabajar más horas y calificarlos en tiempo real. Amazon ofrece el ejemplo canónico de cómo una microfísica del poder (la disciplina de los cuerpos y sus movimientos a través del espacio) se conecta a una macrofísica del poder, una logística del tiempo y la información planetaria. Los sistemas de IA explotan las diferencias de tiempo y salarios en los mercados para acelerar el circuito del capital. De repente, todo el mundo en los centros urbanos puede tener (y espera tener) entregas el mismo día. Y el sistema se acelera de nuevo, con las consecuencias materiales escondidas detrás de las cajas de cartón, los camiones de reparto y los botones de “compre ahora”.

En la capa de los datos podemos ver una geografía de extracción diferente. “Estamos construyendo un espejo del mundo real —dijo un ingeniero del Street View de Google en 2012–. Todo lo que puedas ver en el mundo real tiene que estar en nuestras bases de datos”.¹⁶ Desde entonces, la extracción del mundo real no ha hecho más que intensificarse hasta alcanzar espacios que antes eran difíciles de capturar. Como vimos en el capítulo III, ha habido un saqueo generalizado de los espacios públicos; se han capturado los rostros de las personas en las calles para entrenar sistemas de reconocimiento facial; se han engullido los feeds de las redes sociales para construir modelos de lenguaje predictivos; se han horadado los sitios donde la gente guarda fotos personales o debate en línea para entrenar algoritmos de visión artificial y lenguaje natural. Esta práctica se ha vuelto tan común que pocos en el campo de la IA se la cuestionan siquiera. Esto se debe, en parte, a que muchas carreras y valoraciones de mercado dependen de ella. La mentalidad de recolectarlo todo, alguna vez área exclusiva de las agencias de inteligencia, no solo se ha normalizado, sino también moralizado: se considera un desperdicio no recopilar datos donde sea posible.¹⁷

Una vez que se han extraído los datos y ordenado en conjuntos de datos de entrenamiento, se convierten en la base epistémica sobre la cual los sistemas de IA clasifican el mundo. Desde los conjuntos de datos de entrenamiento de referencia, como las colecciones de ImageNet, MS-Celeb o National Institute of Standards and Technology (NIST), las imágenes se usan para representar ideas que son mucho más relacionales y controvertidas de lo que sugieren sus etiquetas. En el capítulo IV, vimos que las taxonomías de etiquetado asignan a las personas un binarismo de género forzado, las hacen pertenecer a grupos raciales ofensivos y simplistas, y las someten a análisis de personalidad, mérito y estado emocional muy normativos y estereotipados. Estas clasificaciones, inevitablemente cargadas de valores, fuerzan una manera de ver el mundo mientras alardean de neutralidad científica.

Los conjuntos de datos en la IA nunca son materias primas para alimentar algoritmos: son, constitutivamente, intervenciones políticas. Toda la práctica de recolectar datos, categorizar y etiquetarlos, para luego usarlos para entrenar sistemas, es una forma de política que ha traído un cambio a lo que se denominan imágenes operacionales, representaciones del mundo hechas solo para las máquinas.¹⁸ Los sesgos son un síntoma de una aflicción más profunda: una lógica normativa centralizadora y de largo alcance que se usa para determinar la manera en que se tendría que mirar y evaluar el mundo.

Un ejemplo central de lo anterior lo constituye la detección de emociones que se describió en el capítulo V, que se basa en ideas controversiales respecto a la relación de los rostros con las emociones y se las aplica con la lógica reduccionista de un detector de mentiras. La ciencia sigue siendo muy disputada.¹⁹ Las instituciones siempre han clasificado a las personas en categorías identitarias, limitando la personalidad y reduciéndola para que quepa en cajas medidas con precisión. El aprendizaje automático permite que eso suceda a escala. De los pueblos montañosos de Papúa Nueva Guinea a los laboratorios militares en Maryland, se desarrollan técnicas para reducir el desorden de sentimientos, estados interiores, preferencias e identificaciones y limitarlo a algo cuantitativo, detectable y rastreable.

¿Qué tipo de violencia epistemológica se necesita para que el mundo se vuelva legible por un sistema de aprendizaje automático? La IA busca sistematizar lo que no puede ser sistematizado, formalizar lo social y convertir un universo infinitamente complejo y cambiante en un orden linneano de tablas legibles por computadora. Muchos de los logros de la IA han dependido de reducir las cosas a un conjunto sucinto de formalismos basados en proxys: identificar y nombrar algunas características mientras se ignoran u oscurecen muchas otras. Para adaptar una frase de la filósofa Babette Babich, el aprendizaje automático explota lo que sabe para predecir lo que no sabe: un juego de aproximaciones repetidas. Los conjuntos de datos también son proxys: remplazantes de aquello que afirman poder medir. En pocas palabras, esto es transmutar la diferencia en una uniformidad computable. Este tipo de esquema del conocimiento recuerda lo que Friedrich Nietzsche describió como “la falsificación de lo múltiple e incalculable en lo idéntico, similar y calculable”.²⁰ Los sistemas de IA se vuelven deterministas cuando estos proxys se toman como verdades fundamentales, cuando a una complejidad fluida se le aplican etiquetas fijas. Vimos esto en los casos en que se usa la IA para predecir género, raza o sexualidad a partir de la fotografía de un rostro.²¹ Estos métodos se asemejan a la frenología y la fisonomía en su afán por esencializar e imponer identidades basadas en identidades externas.

El problema de la verdad fundamental para los sistemas de IA se acentúa en el contexto del poder estatal, como vimos en el capítulo VI. Las agencias de inteligencia abrieron el camino para la recolección en masa de datos en la que las firmas de metadatos son suficientes para desatar ataques letales de drones y en la que la ubicación de un celular se vuelve un proxy para un objetivo desconocido. Incluso aquí el lenguaje incruento de los metadatos y los ataques quirúrgicos se contradice directamente con las muertes involuntarias por los misiles de aviones no tripulados.²² Como Lucy Suchman ha preguntado, ¿de qué manera se identifican los “objetivos” como amenazas inminentes? Sabemos que “camioneta ISIS” es una categoría basada en datos etiquetados a mano, pero ¿quién eligió las categorías e identificó los vehículos?²³ Vimos las confusiones epistemológicas y los errores en los conjuntos de datos de entrenamiento para el reconocimiento de objetos de sistemas como ImageNet; los sistemas militares de IA y los ataques con drones están construidos sobre el mismo terreno inestable.

Las profundas interconexiones entre el sector tecnológico y el militar están ahora enmarcadas dentro de una agenda fuertemente nacionalista. La retórica acerca de la guerra de IA entre Estados Unidos y China impulsa los intereses de las compañías de tecnología más grandes por operar con mayor apoyo estatal y menores restricciones. Mientras tanto, el arsenal de vigilancia utilizado por agencias como la National Security Agency (NSA) y la Central Intelligence Agency (CIA) ahora se despliega en el ámbito doméstico, a nivel municipal, en el espacio intermedio de contratación comercial-militar por parte de compañías como Palantir. Se persigue a los inmigrantes indocumentados con sistemas logísticos de información y captura que antes eran exclusivos del espionaje extralegal. Se emplean los sistemas de toma de decisiones respecto a los beneficios sociales para rastrear patrones de datos anómalos con el fin de interrumpir el acceso de las personas a estos beneficios y acusarlas de fraude. La misma tecnología de reconocimiento de matrículas se está utilizando en sistemas de vigilancia para el hogar, una extendida integración de redes de vigilancia que antes se mantenían separadas.²⁴

El resultado es la expansión rápida y profunda de la vigilancia y una confusión entre contratistas privados, cuerpos policiales y el sector tecnológico, alimentada por sobornos y acuerdos secretos. La vida cívica se ha rediseñado y los centros de poder se han fortalecido gracias a herramientas que ven con la lógica del capital, la vigilancia y la militarización.

HACIA MOVIMIENTOS CONECTADOS EN POS DE LA JUSTICIA

Si actualmente la IA sirve a las estructuras existentes de poder, una pregunta obvia podría ser: ¿no tendríamos que intentar democratizarla? ¿No podría existir una IA para la gente, reorientada hacia la justicia y la igualdad en vez de hacia la extracción individual y la discriminación? Esto puede sonar atractivo, pero, como hemos visto a lo largo de este libro, las infraestructuras y las formas de poder que habilitan y son habilitadas por la IA se inclinan fuertemente hacia la centralización del control. Sugerir que democraticemos la IA para reducir las asimetrías de poder es un poco como querer democratizar la fabricación de armas en aras de la paz. Como nos recuerda Audre Lorde, las herramientas del maestro nunca desmantelarán la casa del maestro.²⁵ Es necesario llevar a cabo un ajuste de cuentas en el sector tecnológico. Hasta la fecha, una de las respuestas típicas de la industria ha sido firmar principios éticos de IA. Como la parlamentaria de la Unión Europea Marietje Schaake señaló, en 2019 solo en Europa había 128 borradores de éticas para IA.²⁶ A menudo se presentan estos documentos como productos de un “amplio consenso” sobre la ética de la IA, pero son abrumadoramente producidos por países económicamente desarrollados, con poca representación de África, América del Sur y Central o Asia Central. Las voces de las personas más dañadas por los sistemas de IA están en gran parte ausentes de los procesos que los producen.²⁷ Además, los principios y las declaraciones éticas no discuten cómo tienen que implementarse y rara vez se aplican o disponen para rendir cuentas al público general. Como ha observado Shannon Mattern, la atención suele ponerse en los fines éticos de la IA, sin evaluar los medios éticos para aplicarlos.²⁸ A diferencia de la medicina o el derecho, la IA no tiene una estructura o normas profesionales gubernamentales; no hay definiciones acordadas ni metas para el campo, o protocolos estándares para hacer cumplir las prácticas éticas.²⁹

Los marcos éticos autorregulados permiten a las compañías elegir cómo poner en práctica las tecnologías y, por extensión, decidir qué significa una IA ética para el resto del mundo.³⁰ Las empresas tecnológicas rara vez reciben grandes sanciones económicas cuando sus sistemas de IA violan la ley, y hay aún menos consecuencias cuando se violan sus principios éticos. Además, los accionistas presionan a las compañías públicas para maximizar el retorno de la inversión por encima de las preocupaciones éticas, por lo general haciendo que la ética misma sea secundaria a las ganancias. Como resultado, la ética es necesaria pero no suficiente para abordar las preocupaciones principales que plantea este libro.

Para entender lo que está en juego tenemos que enfocarnos menos en la ética y aún más en el poder. La IA está diseñada invariablemente para amplificar y reproducir las formas de poder para cuya optimización ha sido implementada. Contrarrestar eso requiere centralizar los intereses de las comunidades más afectadas.³¹ En lugar de glorificar a los fundadores de empresas, a los inversionistas de riesgo y a los visionarios técnicos deberíamos empezar con las experiencias que han vivido los desamparados que han sido discriminados y afectados por los sistemas de IA. Cuando alguien dice “ética de la IA” deberíamos evaluar las condiciones de trabajo de los mineros, los contratistas y los trabajadores de crowdsourcing. Cuando escuchamos “optimización”, deberíamos preguntar si se trata de herramientas usadas en el trato inhumano de los inmigrantes. Cuando se aplaude la “automatización a gran escala”, deberíamos recordar la huella de carbono resultante, en un momento en que el planeta ya está bajo una gran presión. ¿Qué significaría trabajar en pos de la justicia en todos estos sistemas?

En 1986, el teórico político Langdon Winner describió una sociedad “comprometida con crear realidades artificiales” sin preocuparse por los daños que esto pudiera traerles a las condiciones de vida:

Vastas transformaciones a la estructura de nuestro mundo común se han llevado a cabo prestándole poca atención a lo que significan esas alteraciones. […] En el ámbito técnico entramos repetidamente en una serie de contratos sociales cuyos términos se nos revelan solo después de haberlos firmado.³²

En las cuatro décadas que han pasado desde entonces, esas transformaciones han ocurrido a una escala que ha alterado la composición química de la atmósfera, la temperatura de la superficie de la Tierra y los contenidos de la corteza del planeta. La brecha entre la manera en que se juzga la tecnología cuando se lanza y sus duraderas consecuencias solo se ha ensanchado. El contrato social, en la medida en que alguna vez hubo uno, ha traído consigo una crisis climática, una desigualdad desorbitada de la riqueza, discriminación racial y una vigilancia y explotación laboral generalizadas. Pero parte del problema es esta idea de que las transformaciones ocurrieron sin que se supieran sus posibles resultados. El filósofo Achille Mbembe critica con dureza la idea de que éramos incapaces de predecir lo que pasaría con los sistemas de conocimiento del siglo XXI, ya que siempre fueron “operaciones de abstracción que pretenden racionalizar el mundo sobre la base de la lógica corporativa”.³³ Escribe:

Se trata de extracción, captura, el culto a los datos, la mercantilización de la capacidad humana de pensamiento y el rechazo al razonamiento crítico en favor de la programación. […] Lo que necesitamos, ahora más que nunca, es una nueva crítica de la tecnología, de la experiencia de la vida técnica.³⁴

La nueva era de la crítica también necesitará encontrar espacios que vayan más allá de la vida técnica y derroquen el dogma de la inevitabilidad. Cuando la rápida expansión de la IA se ve como imparable, solo es posible improvisar restricciones legales y técnicas a los sistemas después del hecho: limpiar conjuntos de datos, fortalecer leyes de privacidad o crear comités de ética. Pero estas siempre serán respuestas parciales e incompletas en las que se asume la tecnología y todo lo demás tiene que adaptarse a ella. Pero ¿qué ocurre si revertimos esta polaridad y comenzamos con el compromiso por un mundo más justo y sustentable? ¿Cómo podemos intervenir para abordar los problemas interdependientes de las injusticias sociales, económicas y climáticas? ¿Dónde sirve la tecnología a esa visión? ¿Existen lugares en los que no se deba usar la IA, donde esta socava la justicia?

Esta es la base para una política renovada del rechazo: oponerse a los relatos de la inevitabilidad tecnológica que dicen “si se puede hacer, se hará”. En lugar de preguntarse dónde se aplicará la IA, simplemente porque puede aplicarse, el énfasis debería estar puesto en por qué tendría que aplicarse. Al preguntar “¿por qué usar inteligencia artificial?”, podemos cuestionar la idea de que todo tendría que estar sujeto a la lógica de la predicción estadística y la acumulación de ganancias, lo que Donna Haraway ha denominado la “informática de la dominación”.³⁵ Vemos destellos de este rechazo cuando la población elige desmantelar la vigilancia predictiva, prohibir el reconocimiento facial o protestar contra la puntuación algorítmica. Hasta ahora, estas pequeñas victorias han sido fragmentadas y localizadas, por lo general centradas en ciudades con mayores recursos para organizarse, como Londres, San Francisco, Hong Kong y Portland, Oregon. Pero apuntan a la necesidad de movimientos nacionales e internacionales más amplios que rechacen los métodos que anteponen a la tecnología y prefieran centrarse en abordar las desigualdades e injusticias subyacentes. El rechazo requiere refutar la idea de que las mismas herramientas que sirven al capital, a los ejércitos y la policía también están calificadas para transformar escuelas, hospitales, ciudades y ecosistemas, como si fueran calculadoras de valor neutral que pueden aplicarse en todas partes.

Los llamamientos por una justicia laboral, climática y de datos son más efectivos cuando se hacen unidos. Sobre todo, veo una mayor esperanza en los crecientes movimientos de justicia que abordan la interrelación entre el capitalismo, la computación y el control: uniendo los problemas de la justicia climática, los derechos laborales, la justicia racial, la protección de datos y la extralimitación del poder policial y militar. Al rechazar los sistemas que alimentan la desigualdad y la violencia, desafiamos las estructuras de poder que actualmente la IA refuerza y creamos las bases para una sociedad diferente.³⁶ Como observa Ruha Benjamin: “Derrick Bell lo dijo de esta manera: ‘Para ver las cosas como realmente son tienes que imaginarte lo que podrían ser’. Creamos patrones y tenemos que cambiar el contenido de los que tenemos ahora”.³⁷ Para conseguir esto, vamos a necesitar sacudirnos de encima el encantamiento del solucionismo tecnológico y abrazar, en cambio, solidaridades alternativas, lo que Mbembe llama “una política diferente de habitar la Tierra, de reparar y compartir el planeta”.³⁸ Hay políticas colectivas sostenibles que van más allá de la extracción de valores, hay bienes comunes que vale la pena conservar, mundos que van más allá del mercado y maneras de vivir que van más allá de la discriminación y de los modos brutales de optimización. Nuestra tarea es trazar un curso que nos lleve allí.

¹ David Silver et al., “Mastering the Game of Go without Human Knowledge”, en Nature, vol. 550, 2017, pp. 354-359, disponible en línea: <doi.org>.

² Ibid., p. 357.

³ Charla completa en The Artificial Intelligence Channel, “Demis Hassabis, DeepMind - Learning from First Principles - Artificial Intelligence NIPS 2017”. Véase también Will Knight, “Alpha Zero’s ‘Alien’ Chess Shows the Power and the Peculiarity, of AI”, en MIT Technology Review, 8 de diciembre de 2017, disponible en línea: <www.technologyreview.com>.

⁴ “Demis Hassabis, DeepMind - Learning from First Principles - Artificial Intelligence NIPS2017”, video, 9 de diciembre de 2017, disponible en línea: <youtu.be>.

⁵ Para ver más sobre los mitos de la “magia” en la IA, Madeline Clare Elish y danah boyd, “Situating Methods in the Magic of Big Data and AI”, en Communication Monographs, vol. 85, núm. 1, 2018, pp. 57-80, disponible en línea: <doi.org>.

⁶ Meredith Broussard señala que se ha equiparado peligrosamente el jugar juegos con la inteligencia. Cita al programador George V. Neville-Neil, que sostiene: “Hemos tenido casi cincuenta años de competencias entre humanos y computadoras, pero ¿significa eso que alguna de esas computadoras es inteligente? No, por dos razones. La primera es que el ajedrez no es una prueba de inteligencia; es la prueba de una habilidad en particular: la habilidad de jugar ajedrez. Si yo pudiera derrotar a un Gran Maestro jugando al ajedrez y, al mismo tiempo, fuera incapaz de pasarte la sal en la mesa, ¿sería alguien inteligente? La segunda razón es que pensar que el ajedrez era una prueba de inteligencia se basaba en una falsa premisa cultural: que los jugadores de ajedrez tenían mentes brillantes, estaban más dotados que los demás. Sí, mucha gente inteligente destaca al jugar ajedrez, pero el ajedrez, o cualquier otra habilidad en sí misma, no denota inteligencia”. Meredith Broussard, Artificial Unintelligence: How Computers Misunderstand the World, Cambridge, MIT Press, 2018, p. 206.

⁷ Peter Galison, “The Ontology of the Enemy: Norbert Wiener and the Cybernetic Vision”, en Critical Inquiry, vol. 21, núm. 1, 1994, pp. 228-266.

⁸ Alexander Campolo y Kate Crawford, “Enchanted Determinism: Power without Responsibility in Artificial Intelligence”, en Engaging Science, Technology, and Society, vol. 6, 2020, pp. 1-19, disponible en línea: <doi.org>.

⁹ Frederick G. Bailey, “Dimensions of Rhetoric in Conditions of Uncertainty”, en Robert Paine (ed.), Politically Speaking: Cross-Cultural Studies of Rhetoric, Philadelphia, ISHI Press, 1981, p. 30.

¹⁰ Nick Bostrom, Superintelligence. Paths, Dangers, Strategies, Oxford, Oxford University Press, 2014.

¹¹ Ibid.

¹² Ginger Gail Strand, “Keyword: Evil”, en Harper’s Magazine, marzo de 2008, pp. 64 y 65, disponible en línea: <harpers.org>.

¹³ Ginger Gail Strand, “Keyword: Evil”, op. cit.

¹⁴ Michael Hardt y Antonio Negri, Assembly, Nueva York, Oxford University Press, 2017, p. 116 (el énfasis me pertenece).

¹⁵ Daisuke Wakabayashi, “Google’s Shadow Work Force: Temps Who Outnumber Full-Time Employees”, en The New York Times, 28 de mayo de 2019, disponible en línea: <www.nytimes.com>.

¹⁶ Cit. en Joanne McNeil, “Two Eyes See More Than Nine”, en Kate Steinmann (ed.), Jon Rafman: Nine Eyes, Los Ángeles, New Documents, 2016, p. 23.

¹⁷ Respecto a la idea de los datos como capital, véase Jathan Sadowski, “When Data Is Capital: Datafication, Accumulation, and Extraction”, en Big Data and Society, vol. 6, núm. 1, 2019, disponible en línea: <doi.org>.

¹⁸ Harun Farocki, analizado en Trevor Paglen, “Operational Images”, en e-flux, noviembre de 2014, disponible en línea: <www.e-flux.com>.

¹⁹ Para un resumen de esto, véase Douglas Heaven, “Why Faces Don’t Always Tell the Truth about Feelings”, en Nature, 26 de febrero de 2020, disponible en línea: <www.nature.com>.

²⁰ Friedrich Nietzsche, Sämtliche Werke, vol. 11, Berlín, de Gruyter, 1980, p. 506.

²¹ Yilun Wang y Michal Kosinski, “Deep Neural Networks Are More Accurate than Humans at Detecting Sexual Orientation from Facial Images”, en Journal of Personality and Social Psychology, vol. 114, núm. 2, 2018, pp. 246-257, disponible en línea: <doi.org>; Jon Kleinberg et al., “Human Decisions and Machine Predictions”, en Quarterly Journal of Economics, vol. 133, núm. 1, 2018, pp. 237-293, disponible en línea: <doi.org>; Penny Crosman, “Is AI a Threat to Fair Lending?”, en American Banker, 7 de septiembre de 2017, disponible en línea: <www.americanbanker.com>, y Sungyong Seo et al., “Partially Generative Neural Networks for Gang Crime Classification with Partial Information”, en Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, diciembre de 2018, pp. 257-263, disponible en línea: <doi.org>.

²² Joseph Pugliese, “Death by Metadata: The Bioinformationalisation of Life and the Transliteration of Algorithms to Flesh”, en Holly Randell-Moon y Ryan Tippet (eds.), Security, Race, Bio-power: Essays on Technology and Corporeality, Londres, Palgrave Macmillan, 2016, pp. 3-20.

²³ Lucy Suchman, “Algorithmic Warfare and the Reinvention of Accuracy”, en Critical Studies on Security, vol. 8, núm. 2, 2020, disponible en línea: <doi.org>.

²⁴ Brandon Simmons, “Rekor Software Adds License Plate Reader Technology to Home Surveillance, Causing Privacy Concerns”, en WKYC, 31 de enero de 2020, disponible en línea: <www.wkyc.com>.

²⁵ Audre Lorde, The Master’s Tools Will Never Dismantle the Master’s House, Londres, Penguin Classics, 2018.

²⁶ Marietje Schaake, “What Principles Not to Disrupt: On AI and Regulation”, en Medium (blog), 5 de noviembre de 2019, disponible en línea: <medium.com>.

²⁷ Anna Jobin, Marcelo Ienca y Effy Vayena, “The Global Landscape of AI Ethics Guidelines”, en Nature Machine Intelligence, vol. 1, 2019, pp. 389-399, disponible en línea: <doi.org>.

²⁸ Shannon Mattern, “Calculative Composition: The Ethics of Automating Design”, en Markus D. Dubber, Frank Pasquale y Sunit Das (eds.), The Oxford Handbook of Ethics of AI, Oxford, Oxford University Press, 2020, p. 572-592.

²⁹ Para obtener más información sobre la eficacia limitada de los marcos de ética en la IA, véase Kate Crawford et al., AI Now 2019 Report, en AI Now Institute, diciembre de 2019, disponible en línea: <ainowinstitute.org>.

³⁰ Brent Mittelstadt, “Principles Alone Cannot Guarantee Ethical AI”, en Nature Machine Intelligence, vol. 1, núm. 11, 2019, pp. 501-507, disponible en línea: <doi.org>. Véase también Jacob Metcalf, Emanuel Moss y danah boyd, “Owning Ethics: Corporate Logics, Silicon Valley, and the Institutionalization of Ethics”, en International Quarterly, vol. 82, núm. 2, 2019, pp. 449-476.

³¹ Una investigación reciente que aborda importantes pasos prácticos para hacer esto sin replicar formas extractivas dañinas puede verse en Sasha Costanza-Chock, Design Justice. Community-Led Practices to Build the Worlds We Need, Cambridge, MIT Press, 2020.

³² Langdon Winner, The Whale and the Reactor. A Search for Limits in an Age of High Technology, Chicago, University of Chicago Press, 2001, p. 9 [trad. esp.: La ballena y el reactor. Una búsqueda de los límites en la era de la alta tecnología, Barcelona, Gedisa, 2018].

³³ Achille Mbembe, Critique of Black Reason, Durham, Duke University Press, 2017, p. 3 [trad. esp.: Crítica de la razón Negra. Ensayo sobre el racismo contemporáneo, Barcelona, Futuro Anterior y Nuevos Emprendimientos Editoriales, 2016].

³⁴ Sindre Bangstad et al., “Thoughts on the Planetary: An Interview with Achille Mbembe”, en New Frame, 5 de septiembre de 2019, disponible en línea: <www.newframe.com>.

³⁵ Donna J. Haraway, Simians, Cyborgs, and Women. The Reinvention of Nature, Nueva York, Routledge, 1990, p. 161 [trad. esp.: Ciencia, cyborgs y mujeres. La reinvención de la naturaleza, Madrid, Cátedra, 1995].

³⁶ Shakir Mohamed, Marie-Therese Png y William Isaac, “Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence”, en Philosophy and Technology, 2020, p. 405, disponible en línea: <doi.org>.

³⁷ “Race after Technology, Ruha Benjamin”, en Meeting Minutes, Old Guard of Princeton (NJ), 14 de noviembre de 2018, disponible en línea: <www.theoldguardofprinceton.org>.

³⁸ Sindre Bangstad et al., op. cit.

Coda. El espacio

EMPIEZA la cuenta regresiva. Las cámaras empiezan a grabar. Los motores en la base del imponente Saturno V se encienden y el cohete empieza a elevarse. Escuchamos la voz de Jeff Bezos: “Desde que tenía cinco años (eso fue cuando Neil Armstrong pisó la superficie lunar), he sido un apasionado del espacio, los cohetes, sus motores, los viajes espaciales”. Se sucede un desfile de imágenes inspiracionales: escaladores en la cumbre de montañas, exploradores adentrándose en cañones, un buzo nadando a través de un banco de peces.

Corte a Bezos en una sala de control durante un lanzamiento, ajustando sus auriculares. Su voz en off continúa:

Este es el trabajo más importante que he hecho. El argumento es sencillo: este es el mejor planeta. Y, por lo tanto, nos enfrentamos a una decisión. A medida que avanzamos hacia adelante, tendremos que decidir si queremos una civilización en estado de estasis (tendremos que limitar la población, tendremos que limitar el uso de energía per cápita) o podemos arreglar el problema mudándonos al espacio.¹

La banda sonora ruge e imágenes del espacio profundo se contraponen con tomas de las concurridas carreteras de Los Ángeles y los congestionados cruces trébol. “Después del alunizaje, Von Braun dijo: ‘He aprendido a tener cuidado antes de usar la palabra imposible’. Y espero que ustedes tengan la misma actitud con sus vidas”.²

Esta escena proviene de un video promocional para la empresa privada aeroespacial de Bezos, Blue Origin. El lema de la empresa es Gradatim ferociter, que en latín significa “Paso a paso, ferozmente”. A corto plazo, Blue Origin está construyendo cohetes reutilizables y módulos lunares de aterrizaje, poniéndolos a prueba principalmente en sus instalaciones y base suborbital en West Texas. Para 2024 la empresa quiere estar transportando astronautas y cargamento a la Luna.³ Pero, a largo plazo, la misión de la empresa es mucho más ambiciosa: ayudar a hacer real un futuro en el que millones de personas vivan y trabajen en el espacio. Específicamente, Bezos ha delineado sus esperanzas de construir colonias espaciales gigantes en las que la gente pueda vivir en entornos flotantes manufacturados.⁴ La industria pesada abandonaría por completo el planeta hacia una nueva frontera de extracción. Mientras tanto, la Tierra se dividiría en áreas residenciales y de industria ligera; se la dejaría como un “lugar hermoso para vivir, un lugar hermoso para visitar”, presumiblemente por aquellos que puedan pagar por estar en ella en lugar de trabajar en las colonias extraterrestres.⁵

Bezos posee un poder industrial extraordinario y creciente. Amazon continúa capturando más tajadas del comercio en línea de Estados Unidos, Amazon Web Services representa casi la mitad de la industria de la computación en la nube, y, según algunos estimados, el sitio de Amazon tiene más búsquedas de productos que Google.⁶ A pesar de todo esto, Bezos está preocupado. Su temor es que la creciente demanda de energía del planeta pronto superará la limitada oferta. Para él, la principal preocupación “no es necesariamente la extinción” sino la estasis: “Tendremos que dejar de crecer, lo que me parece un futuro muy poco auspicioso”.⁷

Bezos no está solo. Es tan solo uno de los muchos multimillonarios de la tecnología enfocados en el espacio. Planetary Resources, dirigida por el fundador de X Prize, Peter Diamandis, y respaldada por la inversión de Larry Page y Eric Schmidt de Google, está destinada a crear la primera mina comercial en el espacio mediante la perforación de asteroides. Elon Musk, director ejecutivo de Tesla y SpaceX, anunció su intención de colonizar Marte en los siguientes cien años; admitiendo que, para conseguirlo, los primeros astronautas deben “estar preparados para morir”.⁸ Musk también ha abogado por la terraformación de la superficie de Marte para el asentamiento humano mediante la explosión de armas nucleares en ambos polos.⁹ SpaceX hizo una camiseta con el lema “Atomicemos Marte”. Musk también llevó a cabo lo que podría decirse que es el ejercicio de relaciones públicas más caro de la historia, cuando en un cohete Falcon Heavy de SpaceX lanzó un automóvil Tesla a una órbita heliocéntrica. Los expertos estiman que el automóvil permanecerá en el espacio millones de años, hasta que finalmente se estrellará contra la Tierra.¹⁰

La ideología de estos espectáculos espaciales está profundamente interconectada con la de la industria de la inteligencia artificial (IA). La riqueza y el poder extremos generados por las compañías tecnológicas permiten ahora que un pequeño grupo de hombres persiga su propia carrera espacial privada. Dependen de la explotación del conocimiento y las infraestructuras de los programas espaciales públicos del siglo XX y, a menudo, también confían en financiamientos e incentivos fiscales del gobierno.¹¹ Su objetivo no es limitar la extracción y el crecimiento, sino extenderlo a todo el sistema solar. En realidad, estos esfuerzos tienen que ver tanto con un imaginario del espacio, un crecimiento ilimitado y con la inmortalidad como con las inciertas y desagradables posibilidades de una verdadera colonización espacial.

La inspiración de Bezos para conquistar el espacio viene, en parte, del físico y novelista de ciencia ficción Gerard K. O’Neill, quien escribió Ciudades del espacio, una fantasía sobre la colonización espacial publicada en 1976, que incluía exuberantes ilustraciones de minería lunar con una abundancia rockwelliana.¹² El plan de Bezos para Blue Origin está inspirado por esta visión bucólica de un asentamiento humano permanente, para el que no existe la tecnología necesaria. A O’Neill lo movieron la “consternación y la conmoción” que sintió cuando leyó el histórico informe del Club de Roma, titulado Los límites del crecimiento.¹³ El informe publicaba una gran cantidad de datos y modelos predictivos acerca del fin de los recursos no renovables y su impacto sobre el crecimiento de la población, la sostenibilidad y el futuro de la humanidad en la Tierra.¹⁴ El experto en arquitectura y planificación Fred Scharmen lo resume del siguiente modo:

Los modelos del Club de Roma calculan resultados a partir de distintos conjuntos de conjeturas iniciales. Los escenarios de referencia, extrapolados de lo que entonces eran las tendencias actuales, muestran el colapso de los recursos y la población antes del año 2100. Cuando los modelos asumen el doble de las reservas conocidas de recursos, también colapsan, a un nivel ligeramente más alto pero todavía antes de 2100. Cuando asumen que la tecnología conseguirá que haya recursos “ilimitados”, la población colapsa aún más drásticamente que antes debido a los picos de contaminación. Al agregar controles de contaminación al modelo, la población colapsa cuando se acaba la comida. En modelos que aumentan la capacidad agrícola, la contaminación sobrepasa los controles anteriores y colapsan tanto la comida como la población.¹⁵

Los límites del crecimiento sugerían que la respuesta para conseguir una estabilidad de la sociedad global a largo plazo era pasar a una gestión sostenible y reusar los recursos, y que la clave para la sobrevivencia estaba en reducir la brecha entre las naciones ricas y las pobres. Donde se quedó corto fue en que no previó el gran conjunto de sistemas interconectados que conforman ahora la economía global y que formas de la minería que antes eran poco rentables serían incentivadas, lo que generaría mayores daños ambientales, la degradación de la tierra y del agua y un agotamiento acelerado de los recursos.

Al escribir Ciudades del espacio, O’Neill quería imaginar una posibilidad distinta para escapar del modelo de crecimiento cero que no pasara por limitar la producción y el consumo.¹⁶ Al plantear que el espacio era una solución, O’Neill redireccionó la ansiedad global de los años setenta por la escasez de gasolina y las crisis del petróleo con visiones de estructuras espaciales estables que, a la vez que mantenían el statu quo, ofrecían nuevas oportunidades. “Si la Tierra no tiene suficiente superficie —instaba O’Neill—, entonces los humanos simplemente deberían construir más”.¹⁷ La ciencia para hacerlo funcionar y la economía para costearlo eran detalles en los que ya se podría pensar en otra ocasión; lo único que importaba era el sueño.¹⁸

Que la colonización espacial y la minería de los confines se hayan convertido en las fantasías corporativas cotidianas de los multimillonarios de la tecnología subraya una relación fundamentalmente problemática con la Tierra. Su visión del futuro no incluye minimizar la exploración buscando petróleo y gas o contener el consumo de recursos, o incluso reducir las prácticas laborales explotadoras que los han enriquecido. En cambio, el lenguaje de la élite tecnológica a menudo se hace eco del colonialismo de asentamiento y busca desplazar a la población de la Tierra y capturar territorios para la extracción mineral. La carrera espacial de los multimillonarios de Silicon Valley asume de igual forma que los últimos bienes públicos (el espacio exterior) pueden ser reclamados por el imperio que llegue allí primero. Esto a pesar de la principal convención que rige la minería espacial, el Tratado del Espacio Ultraterrestre de 1967, que reconoce que el espacio es de “interés común de toda la humanidad” y que cualquier exploración o uso suyo “debe realizarse en beneficio de todos los pueblos”.¹⁹

En 2015, Blue Origin de Bezos y SpaceX de Musk presionaron al Congreso y a la administración de Obama para que promulgaran la ley de Competitividad Comercial de los Lanzamientos Espaciales,²⁰ que extiende una exención de las regulaciones federales a las empresas comerciales espaciales hasta el año 2023 y les permite poseer cualquier recurso minero extraído de los asteroides y quedarse con las ganancias.²¹ Esta legislación socava directamente la idea del espacio como un bien público y crea el incentivo comercial de “vayan y conquisten”.²²

El espacio se ha vuelto la principal ambición imperial, simbolizando un escape de los límites de la Tierra, los cuerpos y la regulación. Quizá no resulte sorprendente que muchos miembros de la élite tecnológica de Silicon Valley estén tan comprometidos con la idea de abandonar el planeta. La colonización del espacio encaja bien con otras fantasías, como las dietas para alargar la vida, las transfusiones de sangre adolescente, los cerebros subidos a la nube y las vitaminas para la inmortalidad.²³ La ostentosa publicidad de Blue Origin es parte de este oscuro utopismo. Es una convocatoria susurrada para volverse el Übermensch, para superar todos los límites: biológicos, sociales, éticos y ecológicos. Pero, en el fondo, estas visiones de hermosos mundos nuevos parecen impulsadas sobre todo por el miedo: miedo a la muerte (individual y colectiva) y miedo a que el tiempo realmente se nos esté acabando.

Estoy de vuelta en la camioneta para el último tramo de mi viaje. Manejo hacia el sur desde Alburquerque, Nuevo México, en dirección a la frontera con México. En el camino tomo un desvío al pasar la pared rocosa de la sierra de San Agustín y sigo el empinado camino hacia el campo de misiles White Sands, donde en 1946 Estados Unidos lanzó al espacio el primer cohete con una cámara fotográfica. Dirigió esta misión Wernher von Braun, que había sido el director técnico del programa de misiles balísticos de Alemania. Después de la guerra, desertó a Estados Unidos, donde empezó a experimentar con cohetes V-2 confiscados… los mismos misiles que había ayudado a diseñar y habían sido disparados contra los Aliados a lo largo de Europa. Pero esta vez los lanzó hacia el espacio. El cohete ascendió a una altitud de 100 kilómetros, capturando imágenes cada 1,5 segundos antes de estrellarse contra el desierto de Nuevo México. La película sobrevivió dentro de un estuche de acero y reveló una curvatura granulada pero perceptiblemente parecida a la Tierra.²⁴

Resulta notable que Bezos eligiera citar a Von Braun en su comercial para Blue Origin. Von Braun fue el ingeniero en jefe de los misiles del Tercer Reich y admitió usar mano de obra esclava de los campos de concentración para construir sus cohetes V-2; hay quienes lo consideran un criminal de guerra.²⁵ Murieron más personas construyendo los cohetes en los campos de concentración de las que ellos mataron en la guerra.²⁶ Pero el trabajo de Von Braun más conocido es como director del Centro de Vuelo Espacial Marshall, donde fue clave en el diseño del cohete Saturno V.²⁷ Bañado por el resplandor del Apolo 11, que limpió su historia, Bezos ha encontrado a su héroe: un hombre que se negó a creer en que algo era imposible.

Después de manejar a través de El Paso, Texas, tomo la ruta 62 hacia las dunas Salt Basin. Es la última hora de la tarde y los colores comienzan a brillar en los cúmulos. Hay una bifurcación y, al doblar a la derecha, la carretera sigue a lo largo de Sierra Diablos. Este es el territorio de Bezos. El primer indicio es una gran casa de campo apartada de la carreta, con un letrero con letras rojas que dice “Figura 2” sobre una verja blanca. Es el rancho que Bezos compró en 2004, una parte de las 120.000 hectáreas que posee en la zona.²⁸ El terreno tiene una historia colonial violenta: una de las últimas batallas entre los Rangers de Texas y los Apaches tuvo lugar justo al oeste de este sitio, en 1881, y nueve años después, el rancho fue creado por el otrora jinete y ganadero confederado James Monroe Daugherty.²⁹

Vista de la Tierra tomada por una cámara en el V-2 núm. 13, lanzado el 24 de octubre de 1946. Cortesía del Laboratorio de física aplicada y del Campo de misiles White Sands.

Muy cerca está la desviación hacia la instalación de lanzamientos suborbitales Blue Origin. La carretera privada está bloqueada por una puerta azul brillante con letreros de seguridad advirtiendo que hay videovigilancia y una estación de monitoreo repleta de cámaras. Me quedo en la carretera y unos minutos más tarde estaciono la van a un lado del camino. Desde aquí, la vista se extiende a lo largo del valle hasta el lugar de aterrizaje de Blue Origin, donde se están probando cohetes para lo que se espera sea la primera misión al espacio de la empresa. A medida que los empleados van terminando sus jornadas de trabajo, los autos cruzan las barreras.

Mirando hacia atrás, a los grupos de hangares que delimitan la base del cohete, se siente todo provisional e improvisado en esta extensión seca de la Cuenca Pérmica. Rompe la vasta extensión del valle un círculo hueco, la pista de aterrizaje en la que los cohetes reutilizables de Blue Origin descienden a tierra sobre el logo de una pluma pintado en el centro. Eso es todo lo que se puede ver. Es una infraestructura privada en progreso, vigilada y cerrada, un imaginario tecnocientífico de poder, extracción y escape impulsado por el hombre más rico del planeta. Es una salvaguardia contra la Tierra.

Instalación de lanzamientos suborbitales Blue Origin, West Texas. Fotografía de Kate Crawford.

La luz se está disipando y unas nubes grises del color del acero cruzan el cielo. El desierto aparece plateado, salpicado de arbustos de salvia blanca y racimos de toba volcánica marcando lo que alguna vez fue un fondo marino. Después de sacar una fotografía, regreso a la camioneta para manejar el último tramo del día hacia la ciudad de Marfa. No es hasta que empiezo a alejarme que me doy cuenta de que me están siguiendo. Dos camionetas Chevrolet negras idénticas conducen, agresivas, muy pegadas a mí. Me detengo para esperar a que me pasen. También se detienen. Nadie se mueve. Después de esperar unos minutos, comienzo a manejar muy lentamente. La siniestra escolta me acompaña todo el camino hasta llegar al borde del valle ya oscurecido.

El mundo sin agua (Den Aardkloot van water ontbloot), mapa confeccionado por Thomas Burnet, en 1694, del mundo cuyos océanos han sido drenados.

¹ “Blue Origin’s Mission”, video, 1° de febrero de 2019, disponible en línea: <www.youtube.com>.

² “Blue Origin’s Mission”, op. cit.

³ Corey S. Powell, “Jeff Bezos Foresees a Trillion People Living in Millions of Space Colonies”, en NBC News, 15 de mayo de 2019, disponible en línea: <www.nbcnews.com>.

⁴ Jeff Bezos, “Going to Space to Benefit Earth”, video, 9 de mayo de 2019, disponible en línea: <https://www.youtube.com/watch?v=GQ98hGUe6FM&>.

⁵ Ibid.

⁶ Franklin Foer, “Jeff Bezos’s Master Plan”, en The Atlantic, noviembre de 2019, disponible en línea: <www.theatlantic.com>.

⁷ Ibid.

⁸ Chris Welch, “Elon Musk: First Humans Who Journey to Mars Must ‘Be Prepared to Die’”, en The Verge, 27 de septiembre de 2016, disponible en línea: <www.theverge.com>.

⁹ Anthony Cuthbertson, “Elon Musk Really Wants to ‘Nuke Mars’”, en The Independent, 19 de agosto de 2019, disponible en línea: <www.independent.co.uk>.

¹⁰ Hanno Rein, Daniel Tamayo y David Vokrouhlicky, “The Random Walk of Cars and Their Collision Probabilities with Planets”, en Aerospace, vol. 5, núm. 2, 2018, p. 57, disponible en línea: <doi.org>.

¹¹ Dominic Gates, “Bezos’s Blue Origin Seeks Tax Incentives to Build Rocket Engines Here”, en The Seattle Times, 14 de enero de 2016, disponible en línea: <www.seattletimes.com>.

¹² Paris Marx, “Instead of Throwing Money at the Moon, Jeff Bezos Should Try Helping Earth”, en NBC News, 15 de mayo de 2019, disponible en línea: <www.nbcnews.com>.

¹³ Monte Davis, “Gerard K. O’Neill on Space Colonies”, en Omni Magazine, 12 de octubre de 2017, disponible en línea: <omnimagazine.com>.

¹⁴ Donella H. Meadows, et al., The Limits to Growth, Nueva York, Signet, 1972.

¹⁵ Fred Scharmen, Space Settlements, Nueva York, Columbia University Press, 2019. En los últimos años, muchos estudiosos han sugerido que los modelos del Club de Roma eran demasiado optimistas y subestimaban la rápida tasa de extracción y consumo de recursos en todo el mundo, así como las implicaciones climáticas de los gases de efecto invernadero y el calor residual industrial. Véase Graham Turner, “Is Global Collapse Imminent? An Updated Comparison of The Limits to Growth with Historical Data”, trabajo de investigación núm. 4, Melbourne Sustainable Society Institute, University of Melbourne, agosto de 2014.

¹⁶ El caso de un modelo de crecimiento cero que implique quedarse en el planeta ha sido planteado por muchos académicos del movimiento de los límites del crecimiento. Véase, por ejemplo, Ted Trainer, Renewable Energy Cannot Sustain a Consumer Society, Dordrecht, Springer, 2007.

¹⁷ Fred Scharmen, Space Settlements, op. cit., 2019, p. 91.

¹⁸ Uno se pregunta cuán distinta habría resultado ser la misión de Bezos si hubiera sido inspirado por el autor de ciencia ficción Philip K. Dick, quien escribió en 1955 el cuento “Autofac”. En él, los humanos que sobrevivieron a una guerra apocalíptica permanecen en la Tierra junto a los “autofacs”, máquinas de fábrica autónomas que se autorreplican. Los autofacs tenían la tarea de producir bienes de consumo en la sociedad de preguerra, pero como no son capaces de detenerse, consumieron los recursos del planeta y empiezan a amenazar incluso la supervivencia de las últimas personas que quedan. La única forma de sobrevivir es engañando a las máquinas de inteligencia artificial para que luchen entre sí por un elemento crítico que necesitan para sus procesos de manufactura: el tungsteno, un elemento de tierras raras. El plan parece tener éxito y las vides silvestres comienzan a crecer en todas las fábricas, y los agricultores pueden regresar a sus cultivos. Solo más tarde se dan cuenta de que los autofacs habían buscado más recursos en las profundidades del núcleo de la Tierra y pronto lanzarían miles de “semillas” autorreplicantes para la extracción a lo largo de la galaxia. Philip K. Dick, “Autofac”, en Galaxy Magazine, noviembre de 1955, disponible en línea: <archive.org>.

¹⁹ NASA, “Outer Space Treaty of 1967”, en NASA History, 1967, disponible en línea: <history.nasa.gov>.

²⁰ US Commercial Space Launch Competitiveness, acta núm. 114-190 (2015), disponible en línea: <www.congress.gov>.

²¹ Megan R. Wilson, “Top Lobbying Victories of 2015”, en The Hill, 16 de diciembre de 2015, disponible en línea: <thehill.com>.

²² Matthew Shaer, “The Asteroid Miner’s Guide to the Galaxy”, en Foreign Policy (blog), 28 de abril de 2016, disponible en línea: <foreignpolicy.com>.

²³ Como escribe Mark Andrejevic, “la promesa de la inmortalidad tecnológica es inseparable de la automatización, que ofrece suplantar las limitaciones humanas en todo momento”. Mark Andrejevic, Automated Media, Nueva York, Routledge, 2020, p. 1.

²⁴ Tony Reichhardt, “First Photo from Space”, en Air and Space Magazine, 24 de octubre de 2006, disponible en línea: <www.airspacemag.com>.

²⁵ Véase, por ejemplo, el recuento del periodista Wayne Biddle, por el que ganó el premio Pulitzer, sobre Von Braun como un criminal de guerra que participó en el tratamiento brutal de los trabajadores esclavos bajo el régimen nazi. Wayne Biddle, Dark Side of the Moon. Wernher von Braun, the Third Reich, and the Space Race, Nueva York, W. W. Norton, 2012.

²⁶ Paul Grigorieff, “The Mittelwerk/Mittelbau/Camp Dora”, en V2rocket.com, disponible en línea: <www.v2rocket.com>.

²⁷ Bob Ward, Dr. Space. The Life of Wernher von Braun, Annapolis, Naval Institute Press, 2009.

²⁸ Nancy Keates, “The Many Places Amazon CEO Jeff Bezos Calls Home”, en The Wall Street Journal, 9 de enero de 2019, disponible en línea: <www.wsj.com>.

²⁹ Center for Land Use Interpretation, “Figure 2 Ranch, Texas”, disponible en línea: <www.clui.org>.

Bibliografía

AAVV, “An Open Letter”, disponible en línea: <ethuin.files.wordpress.com>.

ABBATE, Janet, Inventing the Internet, Cambridge, MIT Press, 1999.

ABRAHAM, David S., The Elements of Power: Gadgets, Guns, and the Struggle for a Sustainable Future in the Rare Metal Age, New Haven, Yale University Press, 2017.

ACHTENBERG, Emily, “Bolivia Bets on State-Run Lithium Industry”, en NACLA, 15 de noviembre de 2010, disponible en línea: <nacla.org>.

ACKERMAN, Spencer, “41 Men Targeted but 1.147 People Killed: US Drone Strikes - the Facts on the Ground”, en The Guardian, 24 de noviembre de 2014, disponible en línea: <www.theguardian.com>.

ADAMS, Guy, “Lost at Sea: On the Trail of Moby-Duck”, en The Independent, 27 de febrero de 2011.

“Advertising on Twitter”, en Twitter for Business, disponible en línea: <https://business.twitter.com/en/Twitter-ads-signup.html>.

“Affectiva Human Perception AI Analyzes Complex Human States”, en Affectiva, disponible en línea: <www.affectiva.co>.

AGRE, Philip E., Computation and Human Experience, Cambridge, Cambridge University Press, 1997.

AGÜERA Y ARCAS, Blaise, Margaret Mitchell y Alexander Todorov, “Physiognomy’s New Clothes”, en Medium: Artificial Intelligence (blog), 7 de mayo de 2017, disponible en línea: <medium.com>.

“AI and Compute”, en OpenAI, 16 de mayo de 2018, disponible en línea: <openai.com>.

AJUNWA, Ifeoma, Kate Crawford y Jason Schultz, “Limitless Worker Surveillance”, en California Law Review, vol. 105, núm. 3, 2017, pp. 735-776, disponible en línea: <doi.org>.

AJUNWA, Ifeoma y Daniel Greene, “Platforms at Work: Automated Hiring Platforms and other new Intermediaries in the Organization of Work”, en Steven P. Vallas y Anne Kovalainen (eds.), Work and Labor in the Digital Age, Bingley, Emerald, 2019, pp. 66-91.

“Albemarle (NYSE:ALB) Could Be Targeting These Nevada Lithium Juniors”, en SmallCapPower, 9 de septiembre de 2016, disponible en línea: <https://smallcappower.com/top-stories/albemarle-nysealb-targeting-nevada-lithium-juniors/>.

ALDEN, William, “Inside Palantir, Silicon Valley’s Most Secretive Company”, en Buzzfeed News, 6 de mayo de 2016, disponible en línea: <www.buzzfeednews.com>.

ALEKSANDER, Igor (ed.), Artificial Vision for Robots, Boston, Springer US, 1983.

“Amazon.com Market Cap | AMZN”, en YCharts, disponible en línea: <ycharts.com>.

“Amazon Rekognition Improves Face Analysis”, en Amazon Web Services, 12 de agosto de 2019, disponible en línea: <aws.amazon.com>.

“Amazon Rekognition - Video and Image - AWS”, en Amazon Web Services, disponible en línea: <aws.amazon.com>.

ANANNY, Mike y Kate Crawford, “Seeing without Knowing: Limitations of the Transparency Ideal and Its Application to Algorithmic Accountability”, en New Media and Society, vol. 20, núm. 3, 2018, pp. 973-989.

ANDERSON, Warwick, The Collectors of Lost Souls. Turning Kuru Scientists into Whitemen, ed. actualizada, Baltimore, Johns Hopkins University Press, 2019.

ANDRAE, Anders A. E. y Tomas Edler, “On Global Electricity Usage of Communication Technology: Trends to 2030”, en Challenges, vol. 6, núm. 1, 2015, pp. 117-157, disponible en línea: <www.doi.org>.

ANDREJEVIC, Mark, Automated Media, Nueva York, Routledge, 2020.

ANGWIN, Julia et al., “Machine Bias”, en ProPublica, 23 de mayo de 2016, disponible en línea: <www.propublica.org>.

—, “Dozens of Companies Are Using Facebook to Exclude Older Workers from Job Ads”, en ProPublica, 20 de diciembre de 2017, disponible en línea: <www.propublica.org>.

ANZILOTTI, Eillie, “Emails Show That ICE Uses Palantir Technology to Detain Undocumented Immigrants”, en FastCompany (blog), 16 de julio de 2019, disponible en línea: <https://www.fastcompany.com/90377603/ICE-uses-palantir-tech-to-detain-immigrants-wnyc-report>.

APELBAUM, Yaacov, “One Thousand and One Nights and Ilhan Omar’s Biographical Engineering”, en The Illustrated Primer (blog), 13 de agosto de 2019, disponible en línea: <apelbaum.wordpress.com>.

APPLE, “Apple Commits to Be 100 Percent Carbon Neutral for Its Supply Chain and Products by 2030”, 21 de julio de 2020, disponible en línea: <www.apple.com>.

—, Supplier Responsibility: 2018 Progress Report, Cupertino, Apple, s. d., disponible en línea: <www.apple.com>.

ARBOLEDA, Martin, Planetary Mine. Territories of Extraction under Late Capitalism, Londres, Verso, 2020.

ARISTÓTELES, The Categories. On Interpretation, trad. de Harold Percy Cooke y Hugh Tredennick, Cambridge, Harvard University Press, 1938 [trad. esp.: Categorías, Buenos Aires, Colihue, 2009].

ASLAM, Salman, “Facebook by the Numbers (2019): Stats, Demographics & Fun Facts”, en Omnicore, 6 de enero de 2020, disponible en línea: <www.omnicoreagency.com>.

AYOGU, Melvin y Zenia Lewis, “Conflict Minerals: An Assessment of the Dodd-Frank Act”, en Brookings Institution, 3 de octubre de 2011, disponible en línea: <www.brookings.edu>.

AYTES, Ayhan, “Return of the Crowds: Mechanical Turk and Neoliberal States of Exception”, en Trebor Scholz (ed.), Digital Labor: The Internet as Playground and Factory, Nueva York, Routledge, 2013.

BABBAGE, Charles, On the Economy of Machinery and Manufactures [1832], Cambridge, Cambridge University Press, 2010.

BABICH, Babette E., Nietzsche’s Philosophy of Science: Reflecting Science on the Ground of Art and Life, Albany, State University of New York Press, 1994.

BAILEY, Frederick G., “Dimensions of Rhetoric in Conditions of Uncertainty”, en Robert Paine (ed.), Politically Speaking: Cross-Cultural Studies of Rhetoric, Filadelfia, ISHI Press, 1981, pp. 25-38.

BAKER, Janet M. et al., “Research Developments and Directions in Speech Recognition and Understanding, Part 1”, en IEEE Signal Processing Magazine, abril de 2009, disponible en línea: <dspace.mit.edu>.

BANGSTAD, Sindre et al., “Thoughts on the Planetary: An Interview with Achille Mbembe”, en New Frame, 5 de septiembre de 2019, disponible en línea: <www.newframe.com>.

“Bayan Obo Deposit. Inner Mongolia, China”, en Mindat.org, disponible en línea: <www.mindat.org>.

BAYER, Ronald, Homosexuality and American Psychiatry: The Politics of Diagnosis, Princeton, Princeton University Press, 1987.

BECHMANN, Anja y Geoffrey C. Bowker, “Unsupervised by Any Other Name: Hidden Layers of Knowledge Production in Artificial Intelligence on Social Media”, en Big Data and Society, vol. 6, núm. 1, 2019, disponible en línea: <doi.org>.

BECK, Julie, “Hard Feelings: Science’s Struggle to Define Emotions”, en The Atlantic, 24 de febrero de 2015, disponible en línea: <www.theatlantic.com>.

BEHRMANN, Elisabeth, Jack Farchy y Sam Dodge, “Hype Meets Reality as Electric Car Dreams Run into Metal Crunch”, en Bloomberg, 11 de enero de 2018, disponible en línea: <www.bloomberg.com>.

BELKHIR, Lotfi y Ahmed Elmeligi, “Assessing ICT Global Emissions Footprint: Trends to 2040 and Recommendations”, en Journal of Cleaner Production, vol. 177, 2018, pp. 448-463.

BENJAMIN, Ruha, Race after Technology. Abolitionist Tools for the New Jim Code, Cambridge, Polity, 2019.

BENSON, Kristina, “‘Kill ’Em and Sort It Out Later’: Signature Drone Strikes and International Humanitarian Law”, en Pacific McGeorge Global Business and Development Law Journal, vol. 27, núm. 1, 2014, pp. 17-51.

BENTHALL, Sebastian y Bruce D. Haynes, “Racial Categories in Machine Learning”, en FAT* ’19: Proceedings of the Conference on Fairness, Accountability, and Transparency, Nueva York, ACM Press, 2019, pp. 289-298, disponible en línea: <dl.acm.org>.

BERG, Janine et al., Digital Labour Platforms and the Future of Work: Towards Decent Work in the Online World, Ginebra, International Labor Organization, 2018, disponible en línea: <www.ilo.org>.

BERGEN, Mark, “Pentagon Drone Program Is Using Google AI”, en Bloomberg, 6 de marzo de 2018, disponible en línea: <www.bloomberg.com>.

BERMAN, Sanford, Prejudices and Antipathies: A Tract on the LC Subject Heads concerning People, Metuchen, Scarecrow Press, 1971.

BEZOS, Jeff, “Going to Space to Benefit Earth”, video, 9 de mayo de 2019, disponible en línea: <https://www.youtube.com/watch?v=GQ98hGUe6FM&>.

BIDDLE, Wayne, Dark Side of the Moon. Wernher von Braun, the Third Reich, and the Space Race, Nueva York, W. W. Norton, 2012.

BLACK, Edwin, IBM and the Holocaust: The Strategic Alliance between Nazi Germany and America’s Most Powerful Corporation, Washington DC, Dialog Press, 2012.

BLEDSOE, Woodrow Wilson, “The Model Method in Facial Recognition”, reporte técnico, PRI 15, Palo Alto, Panoramic Research, 1964.

BLOOMFIELD, Anne B., “A History of the California Historical Society’s New Mission Street Neighborhood”, en California History, vol. 74, núm. 4, 1995-1996, pp. 372-393.

BLUE, Violet, “Facebook Patents Tech to Determine Social Class”, en Engadget, 9 de febrero de 2018, disponible en línea: <www.engadget.com>.

BLUE ORIGIN, “Blue Origin’s Mission”, video, 1° de febrero de 2019, disponible en línea: <www.youtube.com>.

BOND, Charles F., Jr., “Commentary: A Few Can Catch a Liar, Sometimes: Comments on Ekman and O’Sullivan (1991), as Well as Ekman, O’Sullivan, and Frank (1999)”, en Applied Cognitive Psychology, vol. 22, núm. 9, 2008, pp. 1298-1300, disponible en línea: <doi.org>.

BORGES, Jorge Luis, Collected Fictions, trad. de Andrew Hurley, Nueva York, Penguin, 1998 [ed. orig.: Obras Completas, 4 ts., Buenos Aires, Sudamericana, 2011].

—, “John Wilkins’ Analytical Language”, en Borges. Selected Non-Fictions, ed. de Eliot Weinberger, Nueva York, Penguin, 2000 [ed. orig.: “El idioma analítico de John Wilkins”, en Otras inquisiciones, Madrid, Alianza, 2008].

—, The Library of Babel, trad. de Andrew Hurley, Boston, David R. Godine, 2000 [ed. orig.: “La biblioteca de Babel”, en El jardín de los senderos que se bifurcan, en Ficciones, Buenos Aires, Emecé, 1944].

BOSTROM, Nick, Superintelligence. Paths, Dangers, Strategies, Oxford, Oxford University Press, 2014.

BOUCHE, Teryn y Laura Rivard, “America’s Hidden History: The Eugenics Movement”, en Scitable, 18 de septiembre de 2014, disponible en línea: <www.nature.com>.

BOWKER, Geoffrey C., Memory Practices in the Sciences, Cambridge, MIT Press, 2005.

BOWKER, Geoffrey C. y Susan Leigh Star, Sorting Things Out. Classification and Its Consequences, Cambridge, MIT Press, 1999.

BRATTON, Benjamin H., The Stack. On Software and Sovereignty, Cambridge, MIT Press, 2015.

BRAVERMAN, Harry, Labor and Monopoly Capital. The Degradation of Work in the Twentieth Century, Nueva York, Monthly Review Press, 1998 [trad. esp.: Trabajo y capital monopolista. La degradación del trabajo en el siglo XX, México, Nuevo Tiempo, 1984].

BRAYNE, Sarah, “Big Data Surveillance: The Case of Policing”, en American Sociological Review, vol. 82, núm. 5, 2017, pp. 977-1008, disponible en línea: <https://doi.org/10.1177/000312 2417725865>.

BRECHIN, Gray, Imperial San Francisco. Urban Power, Earthly Ruin, Berkeley, University of California Press, 2007.

BREWER, Eric, “Spanner, TrueTime and the CAP Theorem”, en Infrastructure: Google, 14 de febrero de 2017, disponible en línea: <storage.googleapis.com>.

BRIDLE, James, “Something Is Wrong on the Internet”, en Medium (blog), 6 de noviembre de 2017, disponible en línea: <medium.com>.

BROUSSARD, Meredith, Artificial Unintelligence. How Computers Misunderstand the World, Cambridge, MIT Press, 2018.

BROWN, Harold, Department of Defense Annual Report: Fiscal Year 1982, informe AD-A-096066/6, Washington DC, 19 de enero de 1982, disponible en línea: <history.defense.gov>.

BROWN, Peter y Robert Mercer, “Oh, Yes, Everything’s Right on Schedule, Fred”, ponencia en Twenty Years of Bitext Workshop, en Empirical Methods in Natural Language Processing Conference, Seattle, octubre de 2013, disponible en línea: <cs.jhu.edu>.

BROWNE, Simone, “Digital Epidermalization: Race, Identity and Biometrics”, en Critical Sociology, vol. 36, núm. 1, enero de 2010, pp. 131-150.

—, Dark Matters: On the Surveillance of Blackness, Durham, Duke University Press, 2015.

BRUSTEIN, Joshua y Mark Bergen, “Google Wants to Do Business with the Military - Many of Its Employees Don’t”, en Bloomberg, 21 de noviembre de 2019, disponible en línea: <www.bloomberg.com>.

BULLIS, Kevin, “Lithium-Ion Battery”, en MIT Technology Review, 19 de junio de 2012, disponible en línea: <www.technologyreview.com>.

BUOLAMWINI, Joy y Timnit Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, en Proceedings of the First Conference on Fairness, Accountability and Transparency, PLMR, vol. 81, 2018, pp. 77-91, disponible en línea: <proceedings.mlr.press>.

BURKE, Jason, “Congo Violence Fuels Fears of Return to 90s Bloodbath”, en The Guardian, 30 de junio de 2017, disponible en línea: <www.theguardian.com>.

BUSH, Vannevar, “As We May Think”, en The Atlantic, julio de 1945, disponible en línea: <www.theatlantic.com>.

BUSINESS COUNCIL FOR SUSTAINABLE ENERGY, 2019 Sustainable Energy in America. Factbook, 11 de febrero de 2019, disponible en línea: <https://www.bcse.org/wp-content/uploads/2019-Sustainable-Energy-in-America-Factbook.pdf>.

BYFORD, Sam, “Apple Buys Emotient, a Company That Uses AI to Read Emotions”, en The Verge, 7 de enero de 2016, disponible en línea: <www.theverge.com>.

CALIFORNIA STATE AUDITOR, “The CalGang Criminal Intelligence System”, informe 2015-130, Sacramento, agosto de 2016, disponible en línea: <www.auditor.ca.gov>.

CALO, Ryan y Danielle Citron, “The Automated Administrative State: A Crisis of Legitimacy”, en Emory Law Journal, 9 de marzo de 2020, disponible en línea: <ssrn.com>.

CAMERON, Dell y Kate Conger, “Google Is Helping the Pentagon Build AI for Drones”, en Gizmodo, 6 de marzo de 2018, disponible en línea: <gizmodo.com>.

CAMPOLO, Alexander y Kate Crawford, “Enchanted Determinism: Power without Responsibility in Artificial Intelligence”, en Engaging Science, Technology, and Society, vol. 6, 2020, pp. 1-19, disponible en línea: <https://doi.org/10.17351/ests 2020.277>.

CANALES, Jimena, A Tenth of a Second. A History, Chicago, University of Chicago Press, 2010.

CAREY, James W., “Technology and Ideology: The Case of the Telegraph”, en Prospects, vol. 8, 1983, pp. 303-325.

CARLISLE, Nate, “Shutting Off NSA’s Water Gains Support in Utah Legislature”, en Salt Lake Tribune, 20 de noviembre de 2014, disponible en línea: <archive.sltrib.com>.

—, “NSA Utah Data Center Using More Water”, en Salt Lake Tribune, 2 de febrero de 2015, disponible en línea: <archive.sltrib.com>.

CARTER, Ash, “Remarks on ‘The Path to an Innovative Future for Defense’ (CSIS Third Offset Strategy Conference)”, Washington DC, US Department of Defense, 28 de octubre de 2016, disponible en línea: <www.defense.gov>.

CAVE, Stephen y Seán S. ÓhÉigeartaigh, “An AI Race for Strategic Advantage: Rhetoric and Risks”, en Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, pp. 36-40, disponible en línea: <https://dl.acm.org/doi/10.1145/3278 721.3278780>.

CENTER FOR LAND USE INTERPRETATION, “Figure 2 Ranch, Texas”, disponible en línea: <www.clui.org>.

CHAMPS, Emmanuelle de, “The Place of Jeremy Bentham’s Theory of Fictions in Eighteenth-Century Linguistic Thought”, en Journal of Bentham Studies, vol. 2, 1999, disponible en línea: <doi.org>.

“Chinese Lithium Giant Agrees to Three-Year Pact to Supply Tesla”, en Bloomberg, 21 de septiembre de 2018, disponible en línea: <www.industryweek.com>.

CHINOY, Sahil, “Opinion: The Racist History behind Facial Recognition”, en The New York Times, 10 de julio de 2019, disponible en línea: <www.nytimes.com>.

CHUN, Wendy Hui Kyong, Control and Freedom. Power and Paranoia in the Age of Fiber Optics, Cambridge, MIT Press, 2005.

CITTON, Yves, The Ecology of Attention, Cambridge, Polity, 2017.

CLARAC, François, Jean Massion y Allan M. Smith, “Duchenne, Charcot and Babinski, Three Neurologists of La Salpetrière Hospital, and Their Contribution to Concepts of the Central Organization of Motor Synergy”, en Journal of Physiology–Paris, vol. 103, núm. 6, 2009, pp. 361-376, disponible en línea: <doi.org>.

CLARK, Nicola y Simon Wallis, “Flamingos, Salt Lakes and Volcanoes: Hunting for Evidence of Past Climate Change on the High Altiplano of Bolivia”, en Geology Today, vol. 33, núm. 3, 2017, pp. 101-107, disponible en línea: <doi.org>.

CLAUSS, Sidonie, “John Wilkins’ Essay toward a Real Character: Its Place in the Seventeenth-Century Episteme”, en Journal of the History of Ideas, vol. 43, núm. 4, 1982, pp. 531-553, disponible en línea: <doi.org>.

“‘Clever Hans’ Again: Expert Commission Decides that the Horse Actually Reasons”, en The New York Times, 2 de octubre de 1904, disponible en línea: <timesmachine.nytimes.com>.

COCHRAN, Susan D. et al., “Proposed Declassification of Disease Categories Related to Sexual Orientation in the International Statistical Classification of Diseases and Related Health Problems (ICD-11)”, en Bulletin of the World Health Organization, vol. 92, núm. 9, 2014, pp. 672-679, disponible en línea: <doi.org>.

COHEN, Julie E., Between Truth and Power: The Legal Constructions of Informational Capitalism, Nueva York, Oxford University Press, 2019.

COLE, David, “‘We Kill People Based on Metadata’”, en The New York Review of Books, 10 de mayo de 2014, disponible en línea: <www.nybooks.com>.

COLLIGAN, Colette y Margaret Linley (eds.), Media, Technology, and Literature in the Nineteenth Century. Image, Sound, Touch, Burlington, Ashgate, 2011.

CONNOLLY, William E., Climate Machines, Fascist Drives, and Truth, Durham, Duke University Press, 2019.

CONNOR, Neil, “Chinese School Uses Facial Recognition to Monitor Student Attention in Class”, en Telegraph, 17 de mayo de 2018, disponible en línea: <www.telegraph.co.uk>.

“Containers Lost at Sea - 2017 Update”, World Shipping Council, 10 de julio de 2017.

COOK, Gary et al., Clicking Clean: Who Is Winning the Race to Build a Green Internet?, Washington DC, Greenpeace, 2017, disponible en línea: <www.clickclean.org>.

COOK, James, “Amazon Patents New Alexa Feature That Knows When You’re Ill and Offers You Medicine”, en Telegraph, 9 de octubre de 2018, disponible en línea: <www.telegraph.co.uk>.

COOLE, Diana y Samantha Frost (eds.), New Materialisms: Ontology, Agency, and Politics, Durham, Duke University Press, 2012.

COOPER, Carolyn C., “The Portsmouth System of Manufacture”, en Technology and Culture, vol. 25, núm. 2, 1984, pp. 182-225, disponible en línea: <doi.org>.

CORBETT, James C. et al., “Spanner: Google’s Globally-Distributed Database”, en Proceedings of OSDI 2012, 2012.

COSTANZA-CHOCK, Sasha, Design Justice. Community-Led Practices to Build the Worlds We Need, Cambridge, MIT Press, 2020.

COULDRY, Nick y Ulises A. Mejías, The Costs of Connection. How Data Is Colonizing Human Life and Appropriating It for Capitalism, Stanford, Stanford University Press, 2019.

—, “Colonized by Data: The Costs of Connection with Nick Couldry and Ulises Mejías”, charla, Berkman Klein Center for Internet and Society, Harvard University, 19 de septiembre de 2019, disponible en línea: <cyber.harvard.edu>.

—, “Data Colonialism: Rethinking Big Data’s Relation to the Contemporary Subject”, en Television and New Media, vol. 20, núm. 4, 2019, pp. 336-349.

“Counterpoints: An Atlas of Displacement and Resistance”, en Anti-Eviction Mapping Project (blog), 3 de septiembre de 2020.

COURTINE, Jean-Jacques y Claudine Haroche, Histoire du visage. Exprimer et taire ses émotions (du XVIe siècle au début du XIXe siècle), París, Payot & Rivages, 2007.

COWEN, Alan et al., “Mapping the Passions: Toward a High-Dimensional Taxonomy of Emotional Experience and Expression”, en Psychological Science in the Public Interest, vol. 20, núm. 1, 2019, pp. 61-90, disponible en línea: <doi.org>.

CRAWFORD, Kate, “Halt the Use of Facial-Recognition Technology until It Is Regulated”, en Nature, vol. 572, 2019, disponible en línea: <doi.org>.

CRAWFORD, Kate y Vladan Joler, “Anatomy of an AI System”, en Anatomy of an AI System, 2018, disponible en línea: <www.anatomyof.ai>.

CRAWFORD, Kate y Trevor Paglen, “Excavating AI: The Politics of Images in Machine Learning Training Sets”, en AI and Society, s. d., 2020.

CRAWFORD, Kate y Jason Schultz, “Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms”, en Boston College Law Review, vol. 55, núm. 1, 2014, disponible en línea: <lawdigitalcommons.bc.edu>.

—, “AI Systems as State Actors”, en Columbia Law Review, vol. 119, núm. 7, 2019, disponible en línea: <columbialawreview.org>.

CRAWFORD, Kate et al., AI Now 2019 Report, en AI Now Institute, diciembre de 2019, disponible en línea: <ainowinstitute.org>.

CREVIER, Daniel, AI. The Tumultuous History of the Search for Artificial Intelligence, Nueva York, Basic Books, 1993.

CROSMAN, Penny, “Is AI a Threat to Fair Lending?”, en American Banker, 7 de septiembre de 2017, disponible en línea: <www.americanbanker.com>.

CURRIER, Cora, Glenn Greenwald y Andrew Fishman, “US Government Designated Prominent Al Jazeera Journalist as ‘Member of Al Qaeda’”, en The Intercept (blog), 8 de mayo de 2015, disponible en línea: <theintercept.com>.

CURRY, Steven et al., “NIST Special Database 32: Multiple Encounter Dataset I (MEDS-I)”, National Institute of Standards and Technology, NISTIR 7679, diciembre de 2009, disponible en línea: <https://nvlpubs.nist.gov/nistpubs/Legacy/IR/nistir7679.pdf>.

CUTHBERTSON, Anthony, “Elon Musk Really Wants to ‘Nuke Mars’”, en The Independent, 19 de agosto de 2019, disponible en línea: <www.independent.co.uk>.

D’IGNAZIO, Catherine y Lauren F. Klein, Data Feminism, Cambridge, MIT Press, 2020.

DANOWSKI, Déborah y Eduardo Batalha Viveiros de Castro, The Ends of the World, trad. de Rodrigo Guimaraes Nunes, Malden, Polity, 2017 [trad. esp.: ¿Hay mundo por venir? Ensayo sobre los miedos y los fines, trad. de Rodrigo Álvarez, Buenos Aires, Caja Negra, 2019].

DANZIGER, Shai, Jonathan Levav y Liora Avnaim-Pesso, “Extraneous Factors in Judicial Decisions”, en Proceedings of the National Academy of Sciences, vol. 108, núm. 17, 2011, pp. 6889-6892, disponible en línea: <doi.org>.

DARWIN, Charles, The Expression of the Emotions in Man and Animals, ed. de Joe Cain y Sharon Messenger, Londres, Penguin, 2009 [trad. esp.: La expresión de las emociones en el hombre y los animales, Valencia, Sempere, s. f.].

DASTIN, Jeffrey, “Amazon Scraps Secret AI Recruiting Tool That Showed Bias against Women”, en Reuters, 10 de octubre de 2018, disponible en línea: <www.reuters.com>.

DASTON, Lorraine, “Cloud Physiognomy”, en Representations, vol. 135, núm. 1, 2016, pp. 45-71, disponible en línea: <doi.org>.

DASTON, Lorraine y Peter Galison, Objectivity, Nueva York, Zone Books, 2010.

DAVIES, Kate y Liam Young, Tales from the Dark Side of the City. The Breastmilk of the Volcano, Bolivia and the Atacama Desert Expedition, Londres, Unknown Fields, 2016.

DAVIS, F. James, Who Is Black? One Nation’s Definition, University Park, Pennsylvania State University Press, 2001.

DAVIS, Monte, “Gerard K. O’Neill on Space Colonies”, en Omni Magazine, 12 de octubre de 2017, disponible en línea: <omnimagazine.com>.

DELAPORTE, François, Anatomy of the Passions, trad. de Susan Emanuel, Stanford, Stanford University Press, 2008 [trad. esp.: Anatomía de las pasiones, Barranquilla, Uninorte, 2007].

“Demis Hassabis, DeepMind - Learning from First Principles - Artificial Intelligence NIPS 2017”, video, 9 de diciembre de 2017, disponible en línea: <www.youtube.com>.

DENG, Jia et al., “ImageNet: A Large-Scale Hierarchical Image Database”, en 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255, disponible en línea: <doi.org>.

DEPARTMENT OF INTERNATIONAL COOPERATION, MINISTRY OF SCIENCE AND TECHNOLOGY, “Next Generation Artificial Intelligence Development Plan”, en China Science and Technology Newsletter, núm. 17, 15 de septiembre de 2017, disponible en línea: <http://fi.china-embassy.org/eng/kxjs/P02017102 5789108009001.pdf>.

DEPUTY SECRETARY OF DEFENSE, “Establishment of an Algorithmic Warfare Cross-Functional Team (Project Maven)”, memorándum, 26 de abril de 2017, disponible en línea: <www.govexec.com>.

DERRIDA, Jacques y Eric Prenowitz, “Archive Fever: A Freudian Impression”, en Diacritics, vol. 25, núm. 2, 1995, p. 9, disponible en línea: <doi.org>.

DICK, Philip K., “Autofac”, en Galaxy Magazine, noviembre de 1955, disponible en línea: <archive.org>.

DIDI-HUBERMAN, Georges, Atlas, or the Anxious Gay Science. How to Carry the World on One’s Back?, Chicago, University of Chicago Press, 2018 [trad. esp.: Atlas. ¿Cómo llevar el mundo a cuestas?, Madrid, TF, 2010].

DIETTERICH, Thomas y Eun Bae Kong, “Machine Learning Bias, Statistical Bias, and Statistical Variance of Decision Tree Algorithms”, artículo inédito, Oregon State University, 1995, disponible en línea: <http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.38.2702>.

DILANIAN, Ken, “US Special Operations Forces Are Clamoring to Use Software from Silicon Valley Company Palantir”, en Business Insider, 26 de marzo de 2015, disponible en línea: <www.businessinsider.com>.

DOBBE, Roel y Meredith Whittaker, “AI and Climate Change: How They’re Connected, and What We Can Do about It”, en Medium (blog), 17 de octubre de 2019, disponible en línea: <medium.com>.

DOMINGOS, Pedro, “A Few Useful Things to Know about Machine Learning”, en Communications of the ACM, vol. 55, núm. 10, 2012, p. 78, disponible en línea: <doi.org>.

DOOLEY, Ben, Eimi Yamamitsu y Makiko Inoue, “Fukushima Nuclear Disaster Trial Ends with Acquittals of 3 Executives”, en The New York Times, 19 de septiembre de 2019, disponible en línea: <www.nytimes.com>.

DOUGHERTY, Conor, “Google Photos Mistakenly Labels Black People ‘Gorillas’”, en Bits Blog (blog), 1° de julio de 2015, disponible en línea: <bits.blogs.nytimes.com>.

DOUGLASS, Frederick, “West India Emancipation”, discurso en Canandaigua, Nueva York, 4 de agosto de 1857, disponible en línea: <rbscp.lib.rochester.edu>.

DRESCHER, Jack, “Out of DSM: Depathologizing Homosexuality”, en Behavioral Sciences, vol. 5, núm. 4, 2015, pp. 565-575, disponible en línea: <doi.org>.

DREYFUS, Hubert L., Alchemy and Artificial Intelligence, Santa Mónica, RAND, 1965.

—, What Computers Can’t Do. A Critique of Artificial Reason, Nueva York, Harper and Row, 1972.

DRYER, Theodora, “Designing Certainty: The Rise of Algorithmic Computing in an Age of Anxiety 1920-1970”, tesis doctoral, University of California San Diego, 2019.

DU, Lisa y Ayaka Maki, “AI Cameras That Can Spot Shoplifters Even before They Steal”, en Bloomberg, 4 de marzo de 2019, disponible en línea: <www.bloomberg.com>.

DUCHENNE DE BOULOGNE, Guillaume Benjamin Amand, Mécanisme de la physionomie humaine ou Analyse électro-physiologique de l’expression des passions applicable à la pratique des arts plastiques, París, Librairie J.-B. Baillière et Fils, 1876.

ECO, Umberto, The Infinity of Lists. An Illustrated Essay, trad. de Alastair McEwen, Nueva York, Rizzoli, 2009 [trad. esp.: El vértigo de las listas, Barcelona, Lumen, 2009].

EDWARDS, Paul N., The Closed World. Computers and the Politics of Discourse in Cold War America, Cambridge, MIT Press, 1996.

EDWARDS, Paul N. y Gabrielle Hecht, “History and the Technopolitics of Identity: The Case of Apartheid South Africa”, en Journal of Southern African Studies, vol. 36, núm. 3, 2010, pp. 619-639, disponible en línea: <doi.org>.

EGLASH, Ron, “Broken Metaphor: The Master-Slave Analogy in Technical Literature”, en Technology and Culture, vol. 48, núm. 2, 2007, pp. 360-369, disponible en línea: <doi.org>.

EKMAN, Paul, “Universal Facial Expressions of Emotion”, en California Mental Health Research Digest, vol. 8, núm. 4, 1970, pp. 151-158.

—, “A Life’s Pursuit”, en Thomas A. Sebeok y Jean Umiker-Sebeok (eds.), The Semiotic Web ’86: An International Yearbook, Berlín, Mouton de Gruyter, 1987, pp. 4-46.

—, “Duchenne and Facial Expression of Emotion”, en Guillaume Benjamin Amand Duchenne de Boulogne, The Mechanism of Human Facial Expression, ed. y trad. de R. A. Cuthbertson, Cambridge, Cambridge University Press, 1990, pp. 270-284.

—, “An Argument for Basic Emotions”, en Cognition and Emotion, vol. 6, núm. 3-4, 1992, pp. 169-200.

—, Emotions Revealed. Recognizing Faces and Feelings to Improve Communication and Emotional Life, Nueva York, Times Books, 2003.

—, Telling Lies: Clues to Deceit in the Marketplace, Politics, and Marriage, 4ª ed., Nueva York, W. W. Norton, 2009.

—, Nonverbal Messages: Cracking the Code: My Life’s Pursuit, San Francisco, PEG, 2016.

—, “What Scientists Who Study Emotion Agree About”, en Perspectives on Psychological Science, vol. 11, núm. 1, 2016, pp. 81-88, disponible en línea: <https://doi.org/10.1177/174569 1615596992>.

EKMAN, Paul y Wallace V. Friesen, “Nonverbal Leakage and Clues to Deception”, en Psychiatry, vol. 31, núm. 1, 1969, pp. 88-106.

—, “Constants across Cultures in the Face and Emotion”, en Journal of Personality and Social Psychology, vol. 17, núm. 2, 1971, pp. 124-129, disponible en línea: <doi.org>.

—, Facial Action Coding System (FACS). A Technique for the Measurement of Facial Action, Palo Alto, Consulting Psychologists Press, 1978.

—, Unmasking the Face, Cambridge, Malor, 2003.

EKMAN, Paul y Harriet Oster, “Facial Expressions of Emotion”, en Annual Review of Psychology, vol. 30, 1979, pp. 527-554.

EKMAN, Paul y Maureen O’Sullivan, “Who Can Catch a Liar?”, en American Psychologist, vol. 46, núm. 9, 1991, pp. 913-920, disponible en línea: <doi.org>.

EKMAN, Paul, Maureen O’Sullivan y Mark G. Frank, “A Few Can Catch a Liar”, en Psychological Science, vol. 10, núm. 3, 1999, pp. 263-266, disponible en línea: <doi.org>.

EKMAN, Paul y Erika L. Rosenberg (eds.), What the Face Reveals. Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS), Nueva York, Oxford University Press, 1997.

EKMAN, Paul, E. Richard Sorenson y Wallace V. Friesen, “Pan-Cultural Elements in Facial Displays of Emotion”, en Science, vol. 164, 1969, pp. 86-88, disponible en línea: <doi.org>.

EKMAN, Paul et al., “Universals and Cultural Differences in the Judgments of Facial Expressions of Emotion”, en Journal of Personality and Social Psychology, vol. 53, núm. 4, 1987, pp. 712-717.

EKMAN, Paul, Wallace V. Friesen y Silvan Tomkins, “Facial Affect Scoring Technique: A First Validity Study”, en Semiotica, vol. 3, 1971, p. 40.

ELFENBEIN, Hillary Anger y Nalini Ambady, “On the Universality and Cultural Specificity of Emotion Recognition: A Meta-Analysis”, en Psychological Bulletin, vol. 128, núm. 2, 2002, pp. 203-235, disponible en línea: <doi.org>.

ELISH, Madeline Clare y danah boyd, “Situating Methods in the Magic of Big Data and AI”, en Communication Monographs, vol. 85, núm. 1, 2018, pp. 57-80, disponible en línea: <doi.org>.

ELY, Chris, “The Life Expectancy of Electronics”, en Consumer Technology Association, 16 de septiembre de 2014.

“Emotion Detection and Recognition (EDR) Market Size to Surpass 18%+ CAGR 2020 to 2027”, en MarketWatch, 5 de octubre de 2020.

ENGLAND, Rachel, “UK Police’s Facial Recognition System Has an 81 Percent Error Rate”, en Engadget, 4 de julio de 2019, disponible en línea: <www.engadget.com>.

ENSMENGER, Nathan, “Computation, Materiality, and the Global Environment”, en IEEE Annals of the History of Computing, vol. 35, núm. 3, 2013, p. 80, disponible en línea: <www.doi.org>.

—, The Computer Boys Take Over: Computers, Programmers, and the Politics of Technical Expertise, Cambridge, MIT Press, 2010.

ESCHNER, Kat, “Lie Detectors Don’t Work as Advertised and They Never Did”, en Smithsonian, 2 de febrero de 2017, disponible en línea: <https://www.smithsonianmag.com/smart-news/lie-detectors-dont-work-advertised-and-they-never-did180961956/>.

ESTREICHER, Sam y Christopher Owens, “Labor Board Wrongly Rejects Employee Access to Company Email for Organizational Purposes”, en Verdict, 19 de febrero de 2020, disponible en línea: <verdict.justia.com>.

EUBANKS, Virginia, Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor, Nueva York, St. Martin’s, 2017 [trad. esp.: La automatización de la desigualdad. Herramientas de tecnología avanzada para supervisor y castigar a los pobres, Madrid, Capitán Swing, 2021].

EVER AI, “Ever AI Leads All US Companies on NIST’s Prestigious Facial Recognition Vendor Test”, en GlobeNewswire, 27 de noviembre de 2018, disponible en línea: <www.globenewswire.com>.

FABIAN, Ann, The Skull Collectors: Race, Science, and America’s Unburied Dead, Chicago, University of Chicago Press, 2010.

“Face: An AI Service That Analyzes Faces in Images”, en Microsoft Azure, disponible en línea: <azure.microsoft.com>.

FADELL, Anthony M. et al., “Smart-home automation system that suggests or automatically implements selected household policies based on sensed observations”, patente US1011 4351B2, enviada el 5 de marzo de 2015 y aprobada el 30 de octubre de 2018.

FANG, Lee, “Leaked Emails Show Google Expected Lucrative Military Drone AI Work to Grow Exponentially”, en The Intercept (blog), 31 de mayo de 2018, disponible en línea: <theintercept.com>.

—, “Defense Tech Startup Founded by Trump’s Most Prominent Silicon Valley Supporters Wins Secretive Military AI Contract”, en The Intercept (blog), 9 de marzo de 2019, disponible en línea: <theintercept.com>.

“Federal Policy for the Protection of Human Subjects”, en Federal Register, 8 de septiembre de 2015, disponible en línea: <www.federalregister.gov>.

FEDERICI, Silvia, Wages against Housework, Londres, Power of Women Collective and Falling Walls Press, 1975.

FELDMAN BARRETT, Lisa, “Are Emotions Natural Kinds?”, en Perspectives on Psychological Science, vol. 1, núm. 1, 2006, pp. 28-58, disponible en línea: <https://doi.org/10.1111/j.17456916.2006.00003.x>.

FELDMAN BARRETT, Lisa et al., “Emotional Expressions Reconsidered: Challenges to Inferring Emotion from Human Facial Movements”, en Psychological Science in the Public Interest, vol. 20, núm. 1, 2019, pp. 1-68, disponible en línea: <https://doi.org/10.1177/1529100619832930>.

FELLBAUM, Christiane (ed.), WordNet: An Electronic Lexical Database, Cambridge, MIT Press, 1998.

FERNÁNDEZ-DOLS, José Miguel y James A. Russell (eds.), The Science of Facial Expression, Nueva York, Oxford University Press, 2017.

FEUER, William, “Palantir CEO Alex Karp Defends His Company’s Relationship with Government Agencies”, en CNBC, 3 de enero de 2020, disponible en línea: <www.cnbc.com>.

FOER, Franklin, “Jeff Bezos’s Master Plan”, en The Atlantic, noviembre de 2019, disponible en línea: <www.theatlantic.com>.

FOREMAN, Judy, “A Conversation with: Paul Ekman; The 43 Facial Muscles That Reveal Even the Most Fleeting Emotions”, en The New York Times, 5 de agosto de 2003, disponible en línea: <www.nytimes.com>.

FORSYTHE, Diana E., “Engineering Knowledge: The Construction of Knowledge in Artificial Intelligence”, en Social Studies of Science, vol. 23, núm. 3, 1993, pp. 445-477, disponible en línea: <doi.org>.

FORTUNATI, Leopoldina, “Robotization and the Domestic Sphere”, en New Media and Society, vol. 20, núm. 8, 2018, pp. 2673-2690, disponible en línea: <https://doi.org/10.1177/146144 4817729366>.

FOUCAULT, Michel, Discipline and Punish. The Birth of the Prison, Nueva York, Vintage, 1995 [trad. esp.: Vigilar y castigar. Nacimiento de la prisión, México, Siglo XXI, 2009].

FOUNDS, Andrew P. et al., “NIST Special Database 32: Multiple Encounter Dataset II (MEDS-II)”, en National Institute of Standards and Technology, NISTIR 7807, febrero de 2011, disponible en línea: <https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=908383>.

FOURCADE, Marion y Kieran Healy, “Seeing Like a Market”, en Socio-Economic Review, vol. 15, núm. 1, 2016, pp. 9-29, disponible en línea: <doi.org>.

FRANCESCHI-BICCHIERAI, Lorenzo, “Redditor Cracks Anonymous Data Trove to Pinpoint Muslim Cab Drivers”, en Mashable, 28 de enero de 2015, disponible en línea: <mashable.com>.

FRANKLIN, Ursula M., The Real World of Technology, ed. rev., Toronto, House of Anansi Press, 2004.

FRANKLIN, Ursula M. y Michelle Swenarchuk, The Ursula Franklin Reader. Pacifism as a Map, Toronto, Between the Lines, 2006.

FRENCH, Martin A. y Simone A. Browne, “Surveillance as Social Regulation: Profiles and Profiling Technology”, en Deborah R. Brock, Amanda Glasbeek y Carmela Murdocca (eds.), Criminalization, Representation, Regulation: Thinking Differently about Crime, North York, University of Toronto Press, 2014, pp. 251-284.

FRIDLUND, Alan, “A Behavioral Ecology View of Facial Displays, 25 Years Later”, en Emotion Researcher, agosto de 2015, disponible en línea: <emotionresearcher.com>.

FUSSELL, Sidney, “The Next Data Mine Is Your Bedroom”, en The Atlantic, 17 de noviembre de 2018, disponible en línea: <www.theatlantic.com>.

GALISON, Peter, “The Ontology of the Enemy: Norbert Wiener and the Cybernetic Vision”, en Critical Inquiry, vol. 21, núm. 1, 1994, pp. 228-266.

—, Einstein’s Clocks, Poincaré’s Maps. Empires of Time, Nueva York, W. W. Norton, 2003 [trad. esp.: Relojes de Einstein, mapas de Poincaré. Los imperios del tiempo, Barcelona, Crítica, 2005].

—, “Removing Knowledge”, en Critical Inquiry, vol. 31, núm. 1, 2004, pp. 229-243, disponible en línea: <doi.org>.

GARRIS, Michael D. y Charles L. Wilson, “NIST Biometrics Evaluations and Developments”, en National Institute of Standards and Technology, NISTIR 7204, febrero de 2005, disponible en línea: <www.govinfo.gov>.

GATES, Dominic, “Bezos’s Blue Origin Seeks Tax Incentives to Build Rocket Engines Here”, en The Seattle Times, 14 de enero de 2016, disponible en línea: <www.seattletimes.com>.

GEBRU, Timnit et al., “Fine-Grained Car Detection for Visual Census Estimation”, en Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI ’17, San Francisco, AAAI, 2017, pp. 4502-4508.

—, “Datasheets for Datasets”, en arXiv, 23 de marzo de 2018, disponible en línea: <arxiv.org>.

GEE, Alastair, “San Francisco or Mumbai? UN Envoy Encounters Homeless Life in California”, en The Guardian, 22 de enero de 2018, disponible en línea: <www.theguardian.com>.

GELLMAN, Barton y Laura Poitras, “US, British Intelligence Mining Data from Nine US Internet Companies in Broad Secret Program”, en The Washington Post, 7 de junio de 2013, disponible en línea: <www.washingtonpost.com>.

GENDRON, Maria y Lisa Feldman Barrett, “Facing the Past”, en José Miguel Fernández-Dols y James A. Russell (eds.), The Science of Facial Expression, Nueva York, Oxford University Press, 2017, vol. 1.

GEORGE, Rose, Ninety Percent of Everything. Inside Shipping, the Invisible Industry That Puts Clothes on Your Back, Gas in Your Car, and Food on Your Plate, Nueva York, Metropolitan, 2013 [trad. esp.: Noventa por ciento de todo. La industria invisible que te viste, te llena el depósito de gasolina y pone comida en tu plato, Madrid, Capitán Swing, 2014].

GERSHGORN, Dave, “The Data That Transformed AI Research, and Possibly the World”, en Quartz, 26 de julio de 2017, disponible en línea: <qz.com>.

GHAFFARY, Shirin, “More Than 1,000 Google Employees Signed a Letter Demanding the Company Reduce Its Carbon Emissions”, en Recode, 4 de noviembre de 2019, disponible en línea: <www.vox.com>.

GILL, Karamjit S., Artificial Intelligence for Society, Nueva York, John Wiley and Sons, 1986.

GILLESPIE, Tarleton, Custodians of the Internet: Platforms, Content Moderation, and the Hidden Decisions That Shape Social Media, New Haven, Yale University Press, 2018.

GILLESPIE, Tarleton, Pablo J. Boczkowski y Kirsten A. Foot (eds.), Media Technologies: Essays on Communication, Materiality, and Society, Cambridge, MIT Press, 2014.

GITELMAN, Lisa (ed.), “Raw Data” Is an Oxymoron, Cambridge, MIT Press, 2013.

GOELEVEN, Ellen et al., “The Karolinska Directed Emotional Faces: A Validation Study”, en Cognition and Emotion, vol. 22, núm. 6, 2008, pp. 1094-1018, disponible en línea: <doi.org>.

GOENKA, Aakash et al., “Database systems and user interfaces for dynamic and interactive mobile image analysis and identification”, patente US10339416B2, enviado el 5 de julio de 2018 y aprobado el 2 de julio de 2019.

“Google Outrage at ‘NSA Hacking’”, en BBC News, 31 de octubre de 2013, disponible en línea: <www.bbc.com>.

GORA, Walter, Ulrich Herzog y Satish Tripathi, “Clock Synchronization on the Factory Floor (FMS)”, en IEEE Transactions on Industrial Electronics, vol. 35, núm. 3, 1988, pp. 372-380, disponible en línea: <doi.org>.

GOULD, Stephen Jay, The Mismeasure of Man, edición revisada y ampliada, Nueva York, W. W. Norton, 1996 [trad. esp.: La falsa medida del hombre, Barcelona, Crítica, 2004].

GRAEBER, David, The Utopia of Rules. On Technology, Stupidity, and the Secret Joys of Bureaucracy, Brooklyn, Melville House, 2015 [trad. esp.: La utopía de las normas. De la tecnología, la estupidez y los secretos placeres de la burocracia, Barcelona, Ariel, 2015].

GRAHAM, John, “Lavater’s Physiognomy in England”, en Journal of the History of Ideas, vol. 22, núm. 4, 1961, disponible en línea: <doi.org>.

GRAHAM, Mark y Håvard Haarstad, “Transparency and Development: Ethical Consumption through Web 2.0 and the Internet of Things”, en Information Technologies and International Development, vol. 7, núm. 1, 2011, pp. 1-18.

GRAY, Mary L. y Siddharth Suri, “The Humans Working behind the AI Curtain”, en Harvard Business Review, 9 de enero de 2017, disponible en línea: <hbr.org>.

—, Ghost Work. How to Stop Silicon Valley from Building a New Global Underclass, Boston, Houghton Mifflin Harcourt, 2019.

GRAY, Richard T., About Face. German Physiognomic Thought from Lavater to Auschwitz, Detroit, Wayne State University Press, 2004.

GREEN, Ben, The Smart Enough City. Taking Off Our Tech Goggles and Reclaiming the Future of Cities, Cambridge, MIT Press, 2019.

GREENBERGER, Martin (ed.), Management and the Computer of the Future, Nueva York, John Wiley and Sons, 1962.

GREENE, Tristan, “Science May Have Cured Biased AI”, en The Next Web, 26 de octubre de 2017, disponible en línea: <thenextweb.com>.

GREENHOUSE, Steven, “McDonald’s Workers File Wage Suits in 3 States”, en The New York Times, 13 de marzo de 2014, disponible en línea: <www.nytimes.com>.

GREENWALD, Anthony G. y Linda Hamilton Krieger, “Implicit Bias: Scientific Foundations”, en California Law Review, vol. 94, núm. 4, 2006.

GREGG, Melissa, Counterproductive. Time Management in the Knowledge Economy, Durham, Duke University Press, 2018.

“A Grey Goldmine: Recent Developments in Lithium Extraction in Bolivia and Alternative Energy Projects”, en Council on Hemispheric Affairs, 17 de noviembre de 2009, disponible en línea: <http://www.coha.org/a-grey-goldmine-recentdevelopments-in-lithium-extraction-in-bolivia-and-alternative-energy-projects/>.

GRIGORIEFF, Paul, “The Mittelwerk/Mittelbau/Camp Dora”, en V2rocket.com, disponible en línea: <www.v2rocket.com>.

GROTHER, Patrick et al., “The 2017 IARPA Face Recognition Prize Challenge (FRPC)”, en National Institute of Standards and Technology, NISTIR 8197, noviembre de 2017, disponible en línea: <https://nvlpubs.nist.gov/nistpubs/ir/2017/nist.IR.8197.pdf>.

GROTHOFF, Christian y J. M. Porup, “The NSA’s SKYNET Program May Be Killing Thousands of Innocent People”, en Ars Technica, 16 de febrero de 2016, disponible en línea: <arstechnica.com>.

GUENDELSBERGER, Emily, On the Clock. What Low-Wage Work Did to Me and How It Drives America Insane, Nueva York, Little, Brown and Company, 2019.

GURLEY, Lauren Kaori, “60 Amazon Workers Walked Out over Warehouse Working Conditions”, en Vice (blog), 3 de octubre de 2019, disponible en línea: <www.vice.com>.

HACKING, Ian, “Making Up People”, en London Review of Books, 17 de agosto de 2006, pp. 23-26.

—, “Kinds of People: Moving Targets”, en Proceedings of the British Academy, vol. 151, 2007, pp. 285-318.

HAGENDORFF, Thilo, “The Ethics of AI Ethics: An Evaluation of Guidelines”, en Minds and Machines, vol. 30, 2020, pp. 99-120, disponible en línea: <doi.org>.

HAGGERTY, Kevin D. y Richard V. Ericson, “The Surveillant Assemblage”, en British Journal of Sociology, vol. 51, núm. 4, 2000, pp. 605-622, disponible en línea: <doi.org>.

HAJJAR, Lisa, “Lawfare and Armed Conflicts: A Comparative Analysis of Israeli and US Targeted Killing Policies”, en Lisa Parks y Caren Kaplan (eds.), Life in the Age of Drone Warfare, Durham, Duke University Press, 2017, pp. 59-88.

HALSEY III, Ashley, “House Member Questions $900 Million TSA ‘SPOT’ Screening Program”, en The Washington Post, 14 de noviembre de 2013, disponible en línea: <https://www.washingtonpost.com/local/trafficandcommuting/house-member-questions-900-million-tsa-spot-screening-program/2013/11/14/ad194cfe-4d5c-11e3-be6b-d3d28122 e6d4_story.html>.

HAO, Karen, “AI Is Sending People to Jail - and Getting It Wrong”, en MIT Technology Review, 21 de enero de 2019, disponible en línea: <www.technologyreview.com>.

—, “Three Charts Show How China’s AI Industry Is Propped Up by Three Companies”, en MIT Technology Review, 22 de enero de 2019, disponible en línea: <www.technologyreview.com>.

—, “The Technology behind OpenAI’s Fiction-Writing, Fake-News-Spewing AI, Explained”, en MIT Technology Review, 16 de febrero de 2019, disponible en línea: <https://www.technologyreview.com/s/612975/ai-natural-language-processingexplained/>.

HARAWAY, Donna J., Simians, Cyborgs, and Women. The Reinvention of Nature, Nueva York, Routledge, 1990 [trad. esp.: Ciencia, cyborgs y mujeres. La reinvención de la naturaleza, Madrid, Cátedra, 1995].

—, Modest_Witness@Second_Millennium.FemaleMan_ Meets_OncoMouse: Feminism and Technoscience, Nueva York, Routledge, 1997.

—, When Species Meet, Mineápolis, University of Minnesota Press, 2008.

HARDT, Michael y Antonio Negri, Assembly, Nueva York, Oxford University Press, 2017.

HARRABIN, Roger, “Google Says Its Carbon Footprint Is Now Zero”, en BBC News, 14 de septiembre de 2020, disponible en línea: <https://www.bbc.com/news/technology-5414 1899>.

HARVEY, Adam R., “MegaPixels”, en MegaPixels, disponible en línea: <megapixels.c>.

HARVEY, Adam R. y Jules LaPlace, “Brainwash Dataset”, en MegaPixels, disponible en línea: <megapixels.cc>.

HARWELL, Drew, “A Face-Scanning Algorithm Increasingly Decides Whether You Deserve the Job”, en The Washington Post, 7 de noviembre de 2019, disponible en línea: <www.washingtonpost.com>.

HASKINS, Caroline, “Amazon’s Home Security Company Is Turning Everyone into Cops”, en Vice (blog), 7 de febrero de 2019, disponible en línea: <www.vice.com>.

—, “How Ring Transmits Fear to American Suburbs”, en Vice (blog), 12 de julio de 2019, disponible en línea: <www.vice.com>.

—, “Amazon Requires Police to Shill Surveillance Cameras in Secret Agreement”, en Vice (blog), 25 de julio de 2019, disponible en línea: <www.vice.com>.

—, “Amazon Is Coaching Cops on How to Obtain Surveillance Footage without a Warrant”, en Vice (blog), 5 de agosto de 2019, disponible en línea: <www.vice.com>.

HEAVEN, Douglas, “Why Faces Don’t Always Tell the Truth about Feelings”, en Nature, 26 de febrero de 2020, disponible en línea: <https://www.nature.com/articles/d41586-020-005 07-5>.

HELLER, Nathan, “What the Enron Emails Say about Us”, en The New Yorker, 17 de julio de 2017, disponible en línea: <www.newyorker.com>.

HERNANDEZ, Elizabeth, “CU Colorado Springs Students Secretly Photographed for Government-Backed Facial-Recognition Research”, en The Denver Post, 27 de mayo de 2019, disponible en línea: <www.denverpost.com>.

HEYN, Edward T., “Berlin’s Wonderful Horse; He Can Do Almost Everything but Talk - How He Was Taught”, en The New York Times, 4 de septiembre de 1904, disponible en línea: <timesmachine.nytimes.com>.

HICKS, Mar, Programmed Inequality: How Britain Discarded Women Technologists and Lost Its Edge in Computing, Cambridge, MIT Press, 2017.

HIRD, Myra J., “Waste, Landfills, and an Environmental Ethics of Vulnerability”, en Ethics and the Environment, vol. 18, núm. 1, 2013, pp. 105-124, disponible en línea: <www.doi.org>.

HODAL, Kate, “Death Metal: Tin Mining in Indonesia”, en The Guardian, 23 de noviembre de 2012, disponible en línea: <www.theguardian.com>.

HOFFMANN, Anna Lauren, “Data Violence and How Bad Engineering Choices Can Damage Society”, en Medium (blog), 30 de abril de 2018, disponible en línea: <medium.com>.

HOFFOWER, Hillary, “We Did the Math to Calculate How Much Money Jeff Bezos Makes in a Year, Month, Week, Day, Hour, Minute, and Second”, en Business Insider, 9 de enero de 2019, disponible en línea: <https://www.businessinsider.com/whatamazon-ceo-jeff-bezos-makes-every-day-hour-minute2018-10>.

HOFT, Joe, “Facial, Speech and Virtual Polygraph Analysis Shows Ilhan Omar Exhibits Many Indications of a Compulsive Fibber!!!”, en The Gateway Pundit, 21 de julio de 2019, disponible en línea: <www.thegatewaypundit.com>.

HOGAN, Mél, “Data Flows and Water Woes: The Utah Data Center”, en Big Data and Society, diciembre de 2015, disponible en línea: <www.doi.org>.

HOLMQVIST, Caroline, Policing Wars. On Military Intervention in the Twenty-First Century, Londres, Palgrave Macmillan, 2014.

HORNE, Emily y Tim Maly, The Inspection House: An Impertinent Field Guide to Modern Surveillance, Toronto, Coach House Books, 2014.

HOROWITZ, Alexandra, “Why Brain Size Doesn’t Correlate with Intelligence”, en Smithsonian Magazine, diciembre de 2013, disponible en línea: <www.smithsonianmag.com>.

HOUSE, Brian, “Synchronizing Uncertainty: Google’s Spanner and Cartographic Time”, en Helen Pritchard, Eric Snodgrass y Magda Tyz˙lik-Carver (eds.), Executing Practices, Londres, Open Humanities Press, 2018, pp. 117-126.

“How Does a Lithium-Ion Battery Work?”, en Energy.gov, 14 de septiembre de 2017, disponible en línea: <www.energy.gov>.

HU, Tung-Hui, A Prehistory of the Cloud, Cambridge, MIT Press, 2015.

HUET, Ellen, “The Humans Hiding behind the Chatbots”, en Bloomberg, 18 de abril de 2016, disponible en línea: <www.bloomberg.com>.

HUTSON, Matthew, “Artificial Intelligence Could Identify Gang Crimes—and Ignite an Ethical Firestorm”, en Science, 28 de febrero de 2018, disponible en línea: <www.sciencemag.org>.

HWANG, Tim y Karen Levy, “‘The Cloud’ and Other Dangerous Metaphors”, en The Atlantic, 20 de enero de 2015, disponible en línea: <www.theatlantic.com>.

“ImageNet Large Scale Visual Recognition Competition (ILSVRC)”, disponible en línea: <image-net.org>.

“Intel’s Efforts to Achieve a Responsible Minerals Supply Chain”, en Intel, mayo de 2019, disponible en línea: <www.intel.com>.

IRANI, Lilly, “Difference and Dependence among Digital Workers: The Case of Amazon Mechanical Turk”, en South Atlantic Quarterly, vol. 114, núm. 1, 2015, pp. 225-234, disponible en línea: <doi.org>.

—, “The Hidden Faces of Automation”, en XRDS, vol. 23, núm. 2, 2016, pp. 34-37, disponible en línea: <doi.org>.

IZARD, Carroll E., “The Many Meanings/Aspects of Emotion: Definitions, Functions, Activation, and Regulation”, en Emotion Review, vol. 2, núm. 4, 2010, pp. 363-370, disponible en línea: <doi.org>.

JATON, Florian, “We Get the Algorithms of Our Ground Truths: Designing Referential Databases in Digital Image Processing”, en Social Studies of Science, vol. 47, núm. 6, 2017, pp. 811-840, disponible en línea: <https://doi.org/10.1177/03063 12717730428>.

JIN, Huafeng y Shuo Wang, “Voice-based determination of physical and emotional characteristics of users”, patente US 10096319B1, s. d.

JOBIN, Anna, Marcello Ienca y Effy Vayena, “The Global Landscape of AI Ethics Guidelines”, en Nature Machine Intelligence, vol. 1, 2019, pp. 389-399, disponible en línea: <doi.org>.

JONES, Nicola, “How to Stop Data Centres from Gobbling Up the World’s Electricity”, en Nature, 12 de septiembre de 2018, disponible en línea: <https://www.nature.com/articles/d41586018-06610-y>.

JOSEPH, George, “Data Company Directly Powers Immigration Raids in Workplace”, en WNYC, 16 de julio de 2019, disponible en línea: <www.wnyc.org>.

JUNE, Laura, “YouTube Has a Fake Peppa Pig Problem”, en The Outline, 16 de marzo de 2017, disponible en línea: <theoutline.com>.

KAFER, Alison, Feminist, Queer, Crip, Bloomington, Indiana University Press, 2013.

KAK, Amba (ed.), “Regulating Biometrics: Global Approaches and Urgent Questions”, en AI Now Institute, 1° de septiembre de 2020, disponible en línea: <ainowinstitute.org>.

KANADE, Takeo, Computer Recognition of Human Faces, Basel, Birkhäuser Boston, 2013.

KANADE, Takeo, Jeffrey F. Cohn y Yingli Tian, “Comprehensive Database for Facial Expression Analysis”, en Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition, 2000, pp. 46-53, disponible en línea: <doi.org>.

KAPPAS, Arvid, “Smile When You Read This, Whether You Like It or Not: Conceptual Challenges to Affect Detection”, en IEEE Transactions on Affective Computing, vol. 1, núm. 1, 2010, pp. 38-41, disponible en línea: <doi.org>.

KATZ, Lawrence F. y Alan B. Krueger, “The Rise and Nature of Alternative Work Arrangements in the United States, 1995-2015”, en ILR Review, vol. 72, núm. 2, 2019, pp. 382-416.

KEATES, Nancy, “The Many Places Amazon CEO Jeff Bezos Calls Home”, en The Wall Street Journal, 9 de enero de 2019, disponible en línea: <www.wsj.com>.

KEEL, Terence D., “Religion, Polygenism and the Early Science of Human Origins”, en History of the Human Sciences, vol. 26, núm. 2, 2013, pp. 3-32, disponible en línea: <doi.org>.

KELLY, Kevin, What Technology Wants, Nueva York, Penguin, 2011.

KEMENY, John y Thomas Kurtz, “Dartmouth Timesharing”, en Science, vol. 162, 1968, pp. 223-268.

KENDI, Ibram X., “A History of Race and Racism in America, in 24 Chapters”, en The New York Times, 22 de febrero de 2017, disponible en línea: <https://www.nytimes.com/2017/02/22/books/review/a-history-of-race-and-racism-in-americain-24-chapters.html>.

KERR, Dara, “Tech Workers Protest in SF to Keep Attention on Travel Ban”, en CNET, 13 de febrero de 2017, disponible en línea: <www.cnet.com>.

KEYES, Os, “The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition”, en Proceedings of the ACM on Human-Computer Interaction, vol. 2, núm. CSCW, art. 88, 2018, disponible en línea: <doi.org>.

KLEINBERG, Jon et al., “Human Decisions and Machine Predictions”, en Quarterly Journal of Economics, vol. 133, núm. 1, 2018, pp. 237-293, disponible en línea: <doi.org>.

KLIMT, Bryan y Yiming Yang, “The Enron Corpus: A New Dataset for Email Classification Research”, en Jean-François Boulicat et al. (eds.), Machine Learning. ECML 2004, Berlín, Springer, 2004, pp. 217-226.

KLOSE, Alexander, The Container Principle. How a Box Changes the Way We Think, trad. de Charles Marcrum, Cambridge, MIT Press, 2015.

KNIGHT, Will, “Alpha Zero’s ‘Alien’ Chess Shows the Power, and the Peculiarity, of AI”, en MIT Technology Review, 8 de diciembre de 2017, disponible en línea: <www.technologyreview.com>.

KNORR CETINA, Karin, Epistemic Cultures. How the Sciences Make Knowledge, Cambridge, Harvard University Press, 1999.

KOLBERT, Elizabeth, “There’s No Scientific Basis for Race - It’s a Made-Up Label”, en National Geographic, 12 de marzo de 2018, disponible en línea: <www.nationalgeographic.com>.

KRIZHEVSKY, Alex, Ilya Sutskever y Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, en Communications of the ACM, vol. 60, núm. 6, 2017, pp. 84-90, disponible en línea: <doi.org>.

LABBAN, Mazen, “Deterritorializing Extraction: Bioaccumulation and the Planetary Mine”, en Annals of the Association of American Geographers, vol. 104, núm. 3, 2014, pp. 560-576.

LAKOFF, George, Women, Fire, and Dangerous Things. What Categories Reveal about the Mind, Chicago, University of Chicago Press, 1987.

LAMBERT, Fred, “Breakdown of Raw Materials in Tesla’s Batteries and Possible Breaknecks”, en Electrek, 1° de noviembre de 2016, disponible en línea: <electrek.co>.

LAPUSCHKIN, Sebastian et al., “Unmasking Clever Hans Predictors and Assessing What Machines Really Learn”, en Nature Communications, vol. 10, núm. 1, 2019, pp. 1-8, disponible en línea: <doi.org>.

LATOUR, Bruno, “Tarde’s Idea of Quantification”, en Matei Candea (ed.), The Social after Gabriel Tarde: Debates and Assessments, Nueva York, Routledge, 2010, pp. 147-164.

LEM, Stainslaw, “The First Sally (A), or Trurl’s Electronic Bard”, en James Gunn (ed.), vol. 4: From Here to Forever, The Road to Science Fiction, Lanham, Scarecrow, 2003.

LEYS, Ruth, The Ascent of Affect. Genealogy and Critique, Chicago, University of Chicago Press, 2017.

LI, Xiaochang, “Divination Engines: A Media History of Text Prediction”, tesis doctoral, New York University, 2017.

LIBBY, Sara, “Scathing Audit Bolsters Critics’ Fears about Secretive State Gang Database”, en Voice of San Diego, 11 de agosto de 2016, disponible en línea: <www.voiceofsandiego.org>.

LIGHT, Jennifer S., “When Computers Were Women”, en Technology and Culture, vol. 40, núm. 3, 1999, pp. 455-483, disponible en línea: <www.jstor.org>.

LINGEL, Jessa y Kate Crawford, “Alexa, Tell Me about Your Mother: The History of the Secretary and the End of Secrecy”, en Catalyst. Feminism, Theory, Technoscience, vol. 6, núm. 1, 2020, disponible en línea: <catalystjournal.org>.

LIU, Zhiyi, “Chinese Mining Dump Could Hold Trillion-Dollar Rare Earth Deposit”, en China Dialogue, 14 de diciembre de 2012, disponible en línea: <www.chinadialogue.net>.

LLOYD, G. E. R., “The Development of Aristotle’s Theory of the Classification of Animals”, en Phronesis, vol. 6, núms. 1-2, 1961, pp. 59-81, disponible en línea: <doi.org>.

LO, Chris, “The False Monopoly: China and the Rare Earths Trade”, en Mining Technology, Mining News and Views Updated Daily (blog), 19 de agosto de 2015, disponible en línea: <www.mining-technology.com>.

LOCKER, Melissa, “Microsoft, Duke, and Stanford Quietly Delete Databases with Millions of Faces”, en Fast Company, 6 de junio de 2019, disponible en línea: <www.fastcompany.com>.

LORDE, Audre, The Master’s Tools Will Never Dismantle the Master’s House, Londres, Penguin Classics, 2018.

LUCEY, Patrick et al., “The Extended Cohn-Kanade Dataset (CK+): A Complete Dataset for Action Unit and Emotion-Specified Expression”, en 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops, pp. 94-101, disponible en línea: <https://doi.org/10.1109/ CVPRW.2010.5543262>.

LUXEMBURGO, Rosa, “Practical Economies: Volume 2 of Marx’s Capital”, en The Complete Works of Rosa Luxemburg, ed. de Peter Hudis, Londres, Verso, 2013, pp. 421-460.

LYONS, Michael et al., “Coding Facial Expressions with Gabor Wavelets”, en Proceedings Third IEEE International Conference on Automatic Face and Gesture Recognition, 1998, pp. 200-205, disponible en línea: <doi.org>.

LYOTARD, Jean François, “Presenting the Unpresentable: The Sublime”, en Artforum, abril de 1982.

MAASS, Peter, “Summit Fever”, en The Intercept (blog), 25 de junio de 2012, disponible en línea: <www.documentcloud.org>.

MAASS, Peter y Beryl Lipton, “What We Learned”, en MuckRock, 15 de noviembre de 2018, disponible en línea: <www.muckrock.com>.

MACKENZIE, Donald A., Inventing Accuracy. A Historical Sociology of Nuclear Missile Guidance, Cambridge, MIT Press, 2001.

“Magic from Invention”, en Brunel University London, disponible en línea: <https://www.brunel.ac.uk/research/Brunel-Innovations/Magic-from-invention>.

MAHDAWI, Arwa, “The Domino’s ‘Pizza Checker’ Is Just the Beginning - Workplace Surveillance Is Coming for You”, en The Guardian, 15 de octubre de 2019, disponible en línea: <www.theguardian.com>.

MARCUS, Mitchell P., Mary Ann Marcinkiewicz y Beatrice Santorini, “Building a Large Annotated Corpus of English: The Penn Treebank”, en Computational Linguistics, vol. 19, núm. 2, 1993, pp. 313-330, disponible en línea: <dl.acm.org>.

MARKOFF, John, “Skilled Work, without the Worker”, en The New York Times, 18 de agosto de 2012, disponible en línea: <www.nytimes.com>.

—, “Seeking a Better Way to Find Web Images”, en The New York Times, 19 de noviembre de 2012, disponible en línea: <www.nytimes.com>.

—, “Pentagon Turns to Silicon Valley for Edge in Artificial Intelligence”, en The New York Times, 11 de mayo de 2016, disponible en línea: <www.nytimes.com>.

MARTINAGE, Robert, “Toward a New Offset Strategy: Exploiting US Long-Term Advantages to Restore US Global Power Projection Capability”, Washington DC, Center for Strategic and Budgetary Assessments, 2014, disponible en línea: <csbaonline.org>.

MARX, Karl, The Poverty of Philosophy, Nueva York, Progress, 1955 [trad. esp.: Miseria de la filosofía, Barcelona, Aguilar, 1973].

—, Das Kapital. A Critique of Political Economy, Chicago, H. Regnery, 1959 [trad. esp.: El capital, México, Fondo de Cultura Económica, 2014].

MARX, Karl y Friedrich Engels, The Marx-Engels Reader, ed. de Robert C. Tucker, Nueva York, W. W. Norton, 1978.

MARX, Paris, “Instead of Throwing Money at the Moon, Jeff Bezos Should Try Helping Earth”, en NBC News, 15 de mayo de 2019, disponible en línea: <www.nbcnews.com>.

MASANET, Eric et al., “Recalibrating Global Data Center Energy-Use Estimates”, en Science, vol. 367, núm. 6481, 2020, pp. 984-986.

MATNEY, Lucas, “More than 100 Million Alexa Devices Have Been Sold”, en Tech-Crunch (blog), 4 de enero de 2019, disponible en línea: <techcrunch.com>.

MATTERN, Shannon, Code and Clay, Data and Dirt. Five Thousand Years of Urban Media, Mineápolis, University of Minnesota Press, 2017.

—, “Calculative Composition: The Ethics of Automating Design”, en Markus D. Dubber, Frank Pasquale y Sunit Das (eds.), The Oxford Handbook of Ethics of AI, Oxford, Oxford University Press, 2020, pp. 572-592.

MAUGHAN, Tim, “The Dystopian Lake Filled by the World’s Tech Lust”, en BBC Future, 2 de abril de 2015, disponible en línea: <www.bbc.com>.

MAYHEW, Claire y Michael Quinlan, “Fordism in the Fast Food Industry: Pervasive Management Control and Occupational Health and Safety Risks for Young Temporary Workers”, en Sociology of Health and Illness, vol. 24, núm. 3, 2002, pp. 261-284, disponible en línea: <doi.org>.

MAYR, Ernst, The Growth of Biological Thought: Diversity, Evolution, and Inheritance, Cambridge, Harvard University Press, 1982.

MBEMBE, Achille, Critique of Black Reason, Durham, Duke University Press, 2017 [trad. esp.: Crítica de la razón negra. Ensayo sobre el racismo contemporáneo, Barcelona, Futuro Anterior y Nuevos Emprendimientos Editoriales, 2016].

—, Necropolitics, Durham, Duke University Press, 2019 [trad. esp.: Necropolítica, Santa Cruz de Tenerife, Melusina, 2011].

MBEMBE, Achille y Libby Meintjes, “Necropolitics”, en Public Culture, vol. 15, núm. 1, 2003, pp. 11-40, disponible en línea: <www.muse.jhu.edu>.

MCCORDUCK, Pamela, Machines Who Think. A Personal Inquiry into the History and Prospects of Artificial Intelligence, Natick, A. K. Peters, 2004.

MCCURRY, Justin, “Fukushima Nuclear Disaster: Former Tepco Executives Go on Trial”, en The Guardian, 30 de junio de 2017, disponible en línea: <www.theguardian.com>.

—, “Fukushima Disaster: Japanese Power Company Chiefs Cleared of Negligence”, en The Guardian, 19 de septiembre de 2019, disponible en línea: <www.theguardian.com>.

MCDUFF, Daniel et al., “Affectiva-MIT Facial Expression Dataset (AM-FED): Naturalistic and Spontaneous Facial Expressions Collected ‘In-the-Wild’”, en 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 881-888, disponible en línea: <doi.org>.

MCILWAIN, Charlton, Black Software: The Internet and Racial Justice, from the AfroNet to Black Lives Matter, Nueva York, Oxford University Press, 2019.

MCLUHAN, Marshall, Understanding Media. The Extensions of Man, Cambridge, MIT Press, 1994.

MCMILLAN, Graeme, “It’s Not You, It’s It: Voice Recognition Doesn’t Recognize Women”, en Time, 1° de junio de 2011, disponible en línea: <techland.time.com>.

MCNAMARA, Robert S. y James G. Blight, Wilson’s Ghost. Reducing the Risk of Conflict, Killing, and Catastrophe in the 21st Century, Nueva York, Public Affairs, 2001.

MCNEIL, Joanne, “Two Eyes See More Than Nine”, en Kate Steinmann (ed.), Jon Rafman. Nine Eyes, Los Ángeles, New Documents, 2016.

MEAD, Margaret, “Review of Darwin and Facial Expression. A Century of Research in Review, edited by Paul Ekman”, en Journal of Communication, vol. 25, núm. 1, 1975, pp. 209-240, disponible en línea: <https://doi.org/10.1111/j.14602466.1975.tb00574.x>.

MEADOWS, Donella H. et al., The Limits to Growth, Nueva York, Signet, 1972.

MENABREA, Luigi Federico y Ada Lovelace, “Sketch of the Analytical Engine Invented by Charles Babbage”, en The Analytical Engine, disponible en línea: <www.fourmilab.ch>.

MERLER, Michele et al., “Diversity in Faces”, en arXiv, 8 de abril de 2019, disponible en línea: <arxiv.org>.

METCALF, Jacob y Kate Crawford, “Where Are Human Subjects in Big Data Research? The Emerging Ethics Divide”, en Big Data and Society, vol. 3, núm. 1, 2016, pp. 1-14, disponible en línea: <doi.org>.

METCALF, Jacob, Emanuel Moss y danah boyd, “Owning Ethics: Corporate Logics, Silicon Valley, and the Institutionalization of Ethics”, en International Quarterly, vol. 82, núm. 2, 2019, pp. 449-476.

MEULEN, Rob van der, “Gartner Says 8.4 Billion Connected ‘Things’ Will Be in Use in 2017, Up 31 Percent from 2016”, en Gartner, 7 de febrero de 2017, disponible en línea: <www.gartner.com>.

MEYER, John W. y Ronald L. Jepperson, “The ‘Actors’ of Modern Society: The Cultural Construction of Social Agency”, en Sociological Theory, vol. 18, núm. 1, 2000, pp. 100-120.

MEZZADRA, Sandro y Brett Neilson, “On the Multiple Frontiers of Extraction: Excavating Contemporary Capitalism”, en Cultural Studies, vol. 31, núms. 2-3, 2017, pp. 185-204, disponible en línea: <doi.org>.

MICHALSKI, Ryszard S., “Pattern Recognition as Rule-Guided Inductive Inference”, en IEEE Transactions on Pattern Analysis Machine Intelligence, vol. 2, núm. 4, 1980, pp. 349-361, disponible en línea: <doi.org>.

MICHEL, Arthur Holland. Eyes in the Sky: The Secret Rise of Gorgon Stare and How It Will Watch Us All, Boston, Houghton Mifflin Harcourt, 2019.

MIKEL, Betsy, “WeWork Just Made a Disturbing Acquisition; It Raises a Lot of Flags about Workers’ Privacy”, en Inc.com, 17 de febrero de 2019, disponible en línea: <www.inc.com>.

MIRZOEFF, Nicholas, The Right to Look: A Counterhistory of Visuality, Durham, Duke University Press, 2011.

MITCHELL, Margaret et al., “Model Cards for Model Reporting”, en FAT* ’19: Proceedings of the Conference on Fairness, Accountability, and Transparency, Atlanta, ACM Press, 2019, pp. 220-229, disponible en línea: <doi.org>.

MITCHELL, Paul Wolff, “The Fault in His Seeds: Lost Notes to the Case of Bias in Samuel George Morton’s Cranial Race Science”, en PLOS Biology, vol. 16, núm. 10, 2018, disponible en línea: <doi.org>.

MITCHELL, Tom M., “The Need for Biases in Learning Generalizations”, documento de trabajo, Rutgers University, mayo de 1980.

MITCHELL, W. J. T., Picture Theory: Essays on Verbal and Visual Representation, Chicago, University of Chicago Press, 1994.

MITTELSTADT, Brent, “Principles Alone Cannot Guarantee Ethical AI”, en Nature Machine Intelligence, vol. 1, núm. 11, 2019, pp. 501-507, disponible en línea: <doi.org>.

MOHAMED, Shakir, Marie-Therese Png y William Isaac, “Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence”, en Philosophy and Technology, 2020, p. 405, disponible en línea: <doi.org>.

MOLL, Joana, “CO2GLE”, disponible en línea: <www.janavirgin.com>.

MOLNAR, Phillip, Gary Robbins y David Pierson, “Cutting Edge: Apple’s Purchase of Emotient Fuels Artificial Intelligence Boom in Silicon Valley”, en Los Angeles Times, 17 de enero de 2016, disponible en línea: <www.latimes.com>.

MORRIS, David Z., “Major Advertisers Flee YouTube over Videos Exploiting Children”, en Fortune, 26 de noviembre de 2017, disponible en línea: <fortune.com>.

MORTON, Timothy, Hyperobjects: Philosophy and Ecology after the End of the World, Mineápolis, University of Minnesota Press, 2013.

MOSCO, Vincent, To the Cloud: Big Data in a Turbulent World, Boulder, Paradigm, 2014.

MÜLLER-MAGUHN, Andy et al., “The NSA Breach of Telekom and Other German Firms”, en Spiegel, 14 de septiembre de 2014, disponible en línea: <www.spiegel.de>.

MUMFORD, Lewis, “The First Megamachine”, en Diogenes, vol. 14, núm. 55, 1966, pp. 1-15, disponible en línea: <doi.org>.

—, The Myth of the Machine. Technics and Human Development, Nueva York, Harcourt Brace Jovanovich, 1967 [trad. esp.: El mito de la máquina. Técnica y evolución humana, La Rioja (España), Pepitas de Calabaza, 2017].

—, Technics and Civilization, Chicago, University of Chicago Press, 2010 [trad. esp.: Técnica y civilización, La Rioja (España), Pepitas de Calabaza, 2020].

MURGIA, Madhumita y Max Harlow, “Who’s Using Your Face? The Ugly Truth about Facial Recognition”, en Financial Times, 19 de abril de 2019, disponible en línea: <www.ft.com>.

MUSE, Abdi, “Organizing Tech”, en AI Now 2019 Symposium, en AI Now Institute, 2019, disponible en línea: <ainowinstitute.org>.

NAKASHIMA, Ellen y Joby Warrick, “For NSA Chief, Terrorist Threat Drives Passion to ‘Collect It All’”, en The Washington Post, 14 de julio de 2013, disponible en línea: <www.washingtonpost.com>.

NASA, “Outer Space Treaty of 1967”, en NASA History, 1967, disponible en línea: <history.nasa.gov>.

NASSAR, Nedal et al., “Evaluating the Mineral Commodity Supply Risk of the US Manufacturing Sector”, en Science Advances, vol. 6, núm. 8, 2020, disponible en línea: <www.doi.org>.

NATARAJAN, Prem, “Amazon and NSF Collaborate to Accelerate Fairness in AI Research”, en Alexa Blogs (blog), 25 de marzo de 2019, disponible en línea: <developer.amazon.com>.

NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST), “Special Database 32 - Multiple Encounter Dataset (MEDS)”, disponible en línea: <www.nist.gov>.

NEDLUND, Evelina, “Apple Card Is Accused of Gender Bias; Here’s How That Can Happen”, en CNN, 12 de noviembre de 2019, disponible en línea: <edition.cnn.com>.

NEGRONI, Christine, “How to Determine the Power Rating of Your Gadget’s Batteries”, en The New York Times, 26 de diciembre de 2016, disponible en línea: <www.nytimes.com>.

“Neighbors by Ring: Appstore for Android”, en Amazon, disponible en línea: <www.amazon.com>.

NELSON, Alondra, The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome, Boston, Beacon, 2016.

NELSON, Alondra, Thuy Linh N. Tu y Alicia Headlam Hines, “Introduction: Hidden Circuits”, en Alondra Nelson, Thuy Linh N. Tu y Alicia Headlam Hines (eds.), Technicolor: Race, Technology, and Everyday Life, Nueva York, New York University Press, 2001, pp. 1-12.

NELSON, Francis W. y Henry Kucera, Brown Corpus Manual: Manual of Information to Accompany a Standard Corpus of Present-Day Edited American English for Use with Digital Computers, Providence, Brown University, 1979, disponible en línea: <icame.uib.no>.

NELSON, Robin, “Racism in Science: The Taint That Lingers”, en Nature, vol. 570, 2019, pp. 440 y 441, disponible en línea: <doi.org>.

NEUMANN, John von, The Computer and the Brain, New Haven, Yale University Press, 1958 [trad. esp.: El ordenador y el cerebro, Barcelona, Bosch, 1980].

NEWMAN, Lily Hay, “Internal Docs Show How ICE Gets Surveillance Help From Local Cops”, en Wired, 13 de marzo de 2019, disponible en línea: <www.wired.com>.

NIELSEN, Kim E., A Disability History of the United States, Boston, Beacon, 2012.

NIETZSCHE, Friedrich, Sämtliche Werke, vol. 11, Berlín, De Gruyter, 1980.

NILSSON, Nils J., The Quest for Artificial Intelligence. A History of Ideas and Achievements, Nueva York, Cambridge University Press, 2009.

NILSSON, Patricia, “How AI Helps Recruiters Track Jobseekers’ Emotions”, en Financial Times, 28 de febrero de 2018, disponible en línea: <www.ft.com>.

NOBLE, Safiya Umoja, Algorithms of Oppression. How Search Engines Reinforce Racism, Nueva York, NYU Press, 2018.

“NSA Phishing Tactics and Man in the Middle Attacks”, en The Intercept (blog), 12 de marzo de 2014, disponible en línea: <theintercept.com>.

O’NEIL, Cathy, Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy, Nueva York, Crown, 2016 [trad. esp.: Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia, Madrid, Capitán Swing, 2018].

O’NEILL, Gerard K., The High Frontier. Human Colonies in Space, Burlington, Apogee, 2000.

“Off Now: How Your State Can Help Support the Fourth Amendment”, en Off-Now.org, disponible en línea: <s3.amazonaws.com>.

OHM, Paul, “Don’t Build a Database of Ruin”, en Harvard Business Review, 23 de agosto de 2012, disponible en línea: <hbr.org>.

OHTAKE, Miyoko, “Psychologist Paul Ekman Delights at Exploratorium”, en Wired, 28 de enero de 2008, disponible en línea: <www.wired.com>.

“One-Year Limited Warranty for Amazon Devices or Accessories”, en Amazon, disponible en línea: <www.amazon.com>.

“Organizing Tech”, video, AI Now Institute, 2019, disponible en línea: <www.youtube.com>.

OSUMI, Magdalena, “Former Tepco Executives Found Not Guilty of Criminal Negligence in Fukushima Nuclear Disaster”, en Japan Times Online, 19 de septiembre de 2019, disponible en línea: <www.japantimes.co.jp>.

PAGLEN, Trevor, “Operational Images”, en e-flux, noviembre de 2014, disponible en línea: <www.e-flux.com>.

PALANTIR, “Palantir Gotham”, disponible en línea: <www.palantir.com>.

“Palantir and Cambridge Analytica: What Do We Know?”, en WikiTribune, 27 de marzo de 2018.

PANDE, Vijay, “Artificial Intelligence’s ‘Black Box’ Is Nothing to Fear”, en The New York Times, 25 de enero de 2018, disponible en línea: <www.nytimes.com>.

PAPERT, Seymour A., “The Summer Vision Project”, 1° de julio de 1966, disponible en línea: <dspace.mit.edu>.

PARIKKA, Jussi, A Geology of Media, Mineápolis, University of Minnesota Press, 2015.

PASQUALE, Frank, The Black Box Society: The Secret Algorithms That Control Money and Information, Cambridge, Harvard University Press, 2015.

PATTERSON, Scott y Alexandra Wexler, “Despite Cleanup Vows, Smartphones and Electric Cars Still Keep Miners Digging by Hand in Congo”, en The Wall Street Journal, 13 de septiembre de 2018, disponible en línea: <www.wsj.com>.

Paul Ekman Group, disponible en línea: <www.paulekman.co>.

PELLERIN, Cheryl, “Deputy Secretary: Third Offset Strategy Bolsters America’s Military Deterrence”, Washington DC, US Department of Defense, 31 de octubre de 2016, disponible en línea: <www.defense.gov>.

PEREZ, Sarah, “Microsoft Silences Its New AI Bot Tay, after Twitter Users Teach It Racism [Updated]”, en TechCrunch (blog), 24 de marzo de 2016, disponible en línea: <techcrunch.com>.

PFUNGST, Oskar, Clever Hans (The Horse of Mr. von Osten): A Contribution to Experimental Animal and Human Psychology, trad. de Carl L. Rahn, Nueva York, Henry Holt, 1911.

PHILLIPS, P. Jonathon, Patrick J. Rauss y Sandor Z. Der, “FERET (Face Recognition Technology) Recognition Algorithm Development and Test Results”, Adelphi, Army Research Laboratory, octubre de 1996, disponible en línea: <apps.dtic.mil>.

PICARD, Rosalind, “Affective Computing Group”, en MIT Media Lab, disponible en línea: <affect.media.mit.ed>.

PICHAI, Sundar, “AI at Google: Our Principles”, en Google, 7 de junio de 2018, disponible en línea: <blog.google>.

PLUMWOOD, Val, “The Politics of Reason: Towards a Feminist Logic”, en Australasian Journal of Philosophy, vol. 71, núm. 4, 1993, pp. 436-462, disponible en línea: <doi.org>.

POGGIO, Tomaso et al., “Why and When Can Deep —but not Shallow— Networks Avoid the Curse of Dimensionality: A Review”, en International Journal of Automation and Computing, vol. 14, núm. 5, 2017, pp. 503-519, disponible en línea: <link.springer.com>.

PONTIN, Jason, “Artificial Intelligence, with Help from the Humans”, en The New York Times, 25 de marzo de 2007, disponible en línea: <www.nytimes.com>.

PONTIN, Mark Williams, “Lie Detection”, en MIT Technology Review, 21 de abril de 2009, disponible en línea: <www.technologyreview.com>.

POWELL, Corey S., “Jeff Bezos Foresees a Trillion People Living in Millions of Space Colonies”, en NBC News, 15 de mayo de 2019, disponible en línea: <www.nbcnews.com>.

“Powering the Cloud: How China’s Internet Industry Can Shift to Renewable Energy”, en Greenpeace, 9 de septiembre de 2019, disponible en línea: <storage.googleapis.com>.

PRATT, Mary Louise, “Arts of the Contact Zone”, en Profession, Ofession, 1991, pp. 33-40.

—, Imperial Eyes: Travel Writing and Transculturation, Londres, 2ª ed., Routledge, 2008.

PRIEST, Dana, “NSA Growth Fueled by Need to Target Terrorists”, en The Washington Post, 21 de julio de 2013, disponible en línea: <www.washingtonpost.com>.

PRYZBYLSKI, David J., “Changes Coming to NLRB’s Stance on Company E-Mail Policies?”, en National Law Review, 2 de agosto de 2018, disponible en línea: <www.natlawreview.com>.

PUAR, Jasbir K., Terrorist Assemblages: Homonationalism in Queer Times, Durham, Duke University Press, 2017.

PUGLIESE, Joseph, “Death by Metadata: The Bioinformationalisation of Life and the Transliteration of Algorithms to Flesh”, en Holly Randell-Moon y Ryan Tippet (eds.), Security, Race, Bio-power: Essays on Technology and Corporeality, Londres, Palgrave Macmillan, 2016, pp. 3-20.

PULITZER CENTER ON CRISIS REPORTING, “Congo’s Bloody Coltan”, video, 6 de enero de 2011, disponible en línea: <pulitzercenter.org>.

PUSCHMANN, Cornelius y Jean Burgess, “Big Data, Big Questions: Metaphors of Big Data”, en International Journal of Communication, vol. 8, 2014, pp. 1690-1709.

QIU, Jack, Goodbye iSlave: A Manifesto for Digital Abolition, Urbana, University of Illinois Press, 2016.

QIU, Jack, Melissa Gregg y Kate Crawford, “Circuits of Labour: A Labour Theory of the iPhone Era”, en TripleC: Communication, Capitalism and Critique, vol. 12, núm. 2, 2014, disponible en línea: <doi.org>.

“Race after Technology, Ruha Benjamin”, en Meeting minutes, The Old Guard of Princeton, N.J., 14 de noviembre de 2018, disponible en línea: <www.theoldguardofprinceton.org>.

RAJI, Inioluwa Deborah y Joy Buolamwini, “Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products”, en Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society, 2019, Nueva York, Association for Computing Machinery, pp. 429-435.

RAJI, Inioluwa Deborah, Timnit Gebru, Margaret Mitchell, Joy Buolamwini, Joonseok Lee y Emily Denton, “Saving Face: Investigating the Ethical Concerns of Facial Recognition Auditing”, en Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 2020, pp. 145-151.

RAMACHANDRAN, Vilayanur S. y Diane Rogers-Ramachandran, “Aristotle’s Error”, en Scientific American, 1° de marzo de 2010, disponible en línea: <doi.org>.

RANKIN, Joy Lisi, A People’s History of Computing in the United States, Cambridge, Harvard University Press, 2018.

—, “Remembering the Women of the Mathematical Tables Project”, en The New Inquiry (blog), 14 de marzo de 2019, disponible en línea: <thenewinquiry.com>.

REHMANN, Jan, “Taylorism and Fordism in the Stockyards”, en Max Weber: Modernisation as Passive Revolution, Leiden, Brill, 2015, pp. 24-29.

REICHHARDT, Tony, “First Photo from Space”, en Air and Space Magazine, 24 de octubre de 2006, disponible en línea: <www.airspacemag.com>.

REIN, Hanno, Daniel Tamayo y David Vokrouhlicky, “The Random Walk of Cars and Their Collision Probabilities with Planets”, en Aerospace, vol. 5, núm. 2, 2018, p. 57, disponible en línea: <doi.org>.

“Responsible Minerals Policy and Due Diligence”, en Philips, disponible en línea: <www.philips.com>.

“Responsible Minerals Sourcing”, en Dell, disponible en línea: <www.dell.com>.

REVELL, Timothy, “Google DeepMind’s NHS Data Deal ‘Failed to Comply’ with Law”, en New Scientist, 3 de julio de 2017, disponible en línea: <www.newscientist.com>.

RHUE, Lauren, “Racial Influence on Automated Perceptions of Emotions”, 9 de noviembre de 2018, disponible en línea: <dx.doi.org>.

RICHARDSON, Rashida, Jason M. Schultz y Kate Crawford, “Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice”, en NYU Law Review Online, vol. 94, núm. 15, 2019, pp. 15-55, disponible en línea: <www.nyulawreview.org>.

RICHARDSON, Rashida, Jason M. Schultz y Vincent M. Southerland, “Litigating Algorithms: 2019 US Report”, en AI Now Institute, septiembre de 2019, disponible en línea: <ainowinstitute.org>.

RISEN, James y Laura Poitras, “NSA Report Outlined Goals for More Power”, en The New York Times, 22 de noviembre de 2013, disponible en línea: <www.nytimes.com>.

ROBBINS, Martin, “How Can Our Future Mars Colonies Be Free of Sexism and Racism?”, en The Guardian, 6 de mayo de 2015, disponible en línea: <www.theguardian.com>.

ROBERTS, Dorothy, Fatal Invention: How Science, Politics, and Big Business Re-Create Race in the Twenty-First Century, Nueva York, New Press, 2011.

ROBERTS, Sarah T., Behind the Screen: Content Moderation in the Shadows of Social Media, New Haven, Yale University Press, 2019.

ROMANO, Benjamin, “Suits Allege Amazon’s Alexa Violates Laws by Recording Children’s Voices without Consent”, en The Seattle Times, 12 de junio de 2019, disponible en línea: <www.seattletimes.com>.

ROMM, Tony, “US Government Begins Asking Foreign Travelers about Social Media”, en Politico, 22 de diciembre de 2016, disponible en línea: <www.politico.com>.

ROUAST, Philipp V., Marc Adam y Raymond Chiong, “Deep Learning for Human Affect Recognition: Insights and New Developments”, en IEEE Transactions on Affective Computing, 2019, disponible en línea: <doi.org>.

“Royal Free–Google DeepMind Trial Failed to Comply with Data Protection Law”, en Information Commissioner’s Office, 3 de julio de 2017.

RUSSELL, Andrew, Open Standards and the Digital Age. History, Ideology, and Networks, Nueva York, Cambridge University Press, 2014.

RUSSELL, James A., “Is There Universal Recognition of Emotion from Facial Expression? A Review of the Cross-Cultural Studies”, en Psychological Bulletin, vol. 115, núm. 1, 1994, pp. 102-141, disponible en línea: <doi.org>.

RUSSELL, Stuart J. y Peter Norvig, Artificial Intelligence. A Modern Approach, 3ª ed., Upper Saddle River, Pearson, 2010 [trad. esp.: Inteligencia artificial. Un enfoque moderno, Madrid, Pearson, 2004].

SADOWSKI, Jathan, “Potemkin AI”, en Real Life, 6 de agosto de 2018.

—, “When Data Is Capital: Datafication, Accumulation, and Extraction”, en Big Data and Society, vol. 6, núm. 1, 2019, pp. 1-12, disponible en línea: <https://doi.org/10.1177/20539 51718820549>.

SAMPLE, Ian, “What Is the Internet? 13 Key Questions Answered”, en The Guardian, 22 de octubre de 2018, disponible en línea: <www.theguardian.com>.

SÁNCHEZ-MONEDERO, Javier y Lina Dencik, “The Datafication of the Workplace”, documento de trabajo, Data Justice Lab, Cardiff University, 9 de mayo de 2019, disponible en línea: <datajusticeproject.net>.

SAN FRANCISCO DEPARTMENT OF HOMELESSNESS AND SUPPORTIVE HOUSING, “Street Homelessness”, disponible en línea: <hsh.sfgov.org>.

SAVILLE, Samantha, “Towards Humble Geographies”, en Area, 2019, pp. 1-9, disponible en línea: <doi.org>.

SATISKY, Jake, “A Duke Study Recorded Thousands of Students’ Faces; Now They’re Being Used All over the World”, en Chronicle, 12 de junio de 2019, disponible en línea: <www.dukechronicle.com>.

SCAHILL, Jeremy y Glenn Greenwald, “The NSA’s Secret Role in the US Assassination Program”, en The Intercept (blog), 10 de febrero de 2014, disponible en línea: <theintercept.com>.

SCHAAKE, Marietje, “What Principles Not to Disrupt: On AI and Regulation”, en Medium (blog), 5 de noviembre de 2019, disponible en línea: <medium.com>.

SCHAFFER, Simon, “Babbage’s Calculating Engines and the Factory System”, en Réseaux. The French Journal of Communication, vol. 4, núm. 2, 1996, pp. 271-298, disponible en línea: <doi.org>.

SCHARMEN, Fred, Space Settlements, Nueva York, Columbia University Press, 2019.

SCHARRE, Paul et al., “Eric Schmidt Keynote Address at the Center for a New American Security Artificial Intelligence and Global Security Summit”, en Center for a New American Security, 13 de noviembre de 2017, disponible en línea: <www.cnas.org>.

SCHEUERMAN, Morgan Klaus et al., “How We’ve Taught Algorithms to See Identity: Constructing Race and Gender in Image Databases for Facial Analysis”, en Proceedings of the ACM on Human-Computer Interaction, vol. 4, núm. CSCW1, 2020, pp. 1-35, disponible en línea: <doi.org>.

SCHEYDER, Ernest, “Tesla Expects Global Shortage of Electric Vehicle Battery Minerals”, en Reuters, 2 de mayo de 2019, disponible en línea: <www.reuters.com>.

SCHLANGER, Zoë, “If Shipping Were a Country, It Would Be the Sixth-Biggest Greenhouse Gas Emitter”, en Quartz, 17 de abril de 2018, disponible en línea: <qz.com>.

SCHMIDT, Eric, “I Used to Run Google; Silicon Valley Could Lose to China”, en The New York Times, 27 de febrero de 2020, disponible en línea: <www.nytimes.com>.

SCHNEIER, Bruce, “Attacking Tor: How the NSA Targets Users’ Online Anonymity”, en The Guardian, 4 de octubre de 2013, disponible en línea: <www.theguardian.com>.

SCHWARTZ, Oscar, “Don’t Look Now: Why You Should Be Worried about Machines Reading Your Emotions”, en The Guardian, 6 de marzo de 2019, disponible en línea: <www.the-guardian.com>.

SCOTT, James C., Seeing Like a State. How Certain Schemes to Improve the Human Condition Have Failed, New Haven, Yale University Press, 1998 [trad. esp.: Lo que ve el Estado. Cómo ciertos esquemas para mejorar la condición humana han fracasado, México, Fondo de Cultura Económica, 2021].

SEDGWICK, Eve Kosofsky, Touching Feeling. Affect, Pedagogy, Performativity, Durham, Duke University Press, 2003 [trad. esp.: Tocar la fibra. Afecto, pedagogía, performatividad, Madrid, Alpuerto, 2018].

SEDGWICK, Eve Kosofsky, Adam Frank e Irving E. Alexander (eds.), Shame and Its Sisters. A Silvan Tomkins Reader, Durham, Duke University Press, 1995.

SEGURA, María Soledad y Silvio Waisbord, “Between Data Capitalism and Data Citizenship”, en Television and New Media, vol. 20, núm. 4, 2019, pp. 412-419.

SEKULA, Allan, “The Body and the Archive”, en October, vol. 39, 1986, pp. 3-64, disponible en línea: <doi.org> [trad. esp.: “El cuerpo y el archivo”, en Gloria Picazo y Jorge Ribalta (eds.), Indiferencia y singularidad, Barcelona, Gustavo Gili, 2003].

SENECHAL, Thibaud, Daniel McDuff y Rana el Kaliouby, “Facial Action Unit Detection Using Active Learning and an Efficient Non-Linear Kernel Approximation”, en 2015 IEEE International Conference on Computer Vision Workshop (ICCVW), pp. 10-18, disponible en línea: <doi.org>.

SENIOR, Ana, “John Hancock Leaves Traditional Life Insurance Model Behind to Incentivize Longer, Healthier Lives”, nota de prensa, John Hancock, 19 de septiembre de 2018.

SEO, Sungyong et al., “Partially Generative Neural Networks for Gang Crime Classification with Partial Information”, en Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, diciembre de 2018, pp. 257-263, disponible en línea: <doi.org>.

SHAER, Matthew, “The Asteroid Miner’s Guide to the Galaxy”, en Foreign Policy (blog), 28 de abril de 2016, disponible en línea: <foreignpolicy.com>.

SHANE, Scott y Daisuke Wakabayashi, “‘The Business of War’: Google Employees Protest Work for the Pentagon”, en The New York Times, 4 de abril de 2018, disponible en línea: <www.nytimes.com>.

SHANKLEMAN, Jessica et al., “We’re Going to Need More Lithium”, en Bloomberg, 7 de septiembre de 2017, disponible en línea: <www.bloomberg.com>.

SHARE Foundation, “Serbian Government Is Implementing Unlawful Video Surveillance with Face Recognition in Belgrade”, informe de políticas, s. f., disponible en línea: <www.sharefoundation.info>.

SIEBERS, Tobin, Disability Theory, Ann Arbor, University of Michigan Press, 2008.

SIEGEL, Erika H. et al., “Emotion Fingerprints or Emotion Populations? A Meta-Analytic Investigation of Autonomic Features of Emotion Categories”, en Psychological Bulletin, vol. 144, núm. 4, 2018, pp. 343-393, disponible en línea: <doi.org>.

SILBERMAN, M. S. et al., “Responsible Research with Crowds: Pay Crowdworkers at Least Minimum Wage”, en Communications of the ACM, vol. 61, núm. 3, 2018, pp. 39-41, disponible en línea: <doi.org>.

SILVER, David et al., “Mastering the Game of Go without Human Knowledge”, en Nature, vol. 550, 2017, pp. 354-359, disponible en línea: <doi.org>.

SIMMONS, Brandon, “Rekor Software Adds License Plate Reader Technology to Home Surveillance, Causing Privacy Concerns”, en WKYC, 31 de enero de 2020, disponible en línea: <www.wkyc.com>.

SIMPSON, Cam, “The Deadly Tin inside Your Smartphone”, en Bloomberg, 24 de agosto de 2012, disponible en línea: <www.bloomberg.com>.

SINGH, Amarjot, “Eye in the Sky: Real-Time Drone Surveillance System (DSS) for Violent Individuals Identification”, video, 2 de junio de 2018, disponible en línea: <www.youtube.com>.

“SKYNET: Courier Detection via Machine Learning”, en The Intercept (blog), 8 de mayo de 2015, disponible en línea: <theintercept.com>.

SLOANE, Garett, “Online Ads for High-Paying Jobs Are Targeting Men More Than Women”, en AdWeek (blog), 7 de julio de 2015, disponible en línea: <www.adweek.com>.

SMITH, Adam, An Inquiry into the Nature and Causes of the Wealth of Nations, Chicago, University of Chicago Press, 1976 [trad. esp.: Investigación de la naturaleza y causas de la riqueza de las naciones, Valladolid, Viuda e Hijos de Santander, 1806].

SMITH, Brad, “Technology and the US Military”, en Microsoft on the Issues (blog), 26 de octubre de 2018, disponible en línea: <blogs.microsoft.com>.

—, “Snowden Archive: The SIDtoday Files”, en The Intercept (blog), 29 de mayo de 2019, disponible en línea: <theintercept.com>.

—, “Microsoft Will Be Carbon Negative by 2030”, en Official Microsoft Blog (blog), 20 de enero de 2020, disponible en línea: <blogs.microsoft.com>.

SMITH, Brian et al., ACM Symposium on User Interface Software and Technology (UIST), octubre de 2013, pp. 271-280.

SOLON, Olivia, “Facial Recognition’s ‘Dirty Little Secret’: Millions of Online Photos Scraped without Consent”, en NBC News, 12 de marzo de 2019, disponible en línea: <www.nbcnews.com>.

SOURIAU, Étienne, The Different Modes of Existence, trad. de Erik Beranek y Tim Howles, Mineápolis, University of Minnesota Press, 2015.

SPANGLER, Todd, “Listen to the Big Ticket with Marc Malkin”, en IHeartRadio, 3 de mayo de 2019, disponible en línea: <www.iheart.com>.

SPARGO, John, Syndicalism, Industrial Unionism, and Socialism [1913], San Petersburgo, Red and Black, 2009.

SPECHT, Joshua, Red Meat Republic. A Hoof-to-Table History of How Beef Changed America, Princeton, Princeton University Press, 2019.

STANDAGE, Tom, The Turk. The Life and Times of the Famous Eighteenth-Century Chess-Playing Machine, Nueva York, Walker, 2002.

STARK, Luke, “Facial Recognition Is the Plutonium of AI”, en XRDS: Crossroads. The ACM Magazine for Students, vol. 25, núm. 3, 2019, disponible en línea: <doi.org>.

STARK, Luke y Anna Lauren Hoffmann, “Data Is the New What? Popular Metaphors and Professional Ethics in Emerging Data Culture”, en Journal of Cultural Analytics, vol. 1, núm. 1, 2019, disponible en línea: <doi.org>.

STAROSIELSKI, Nicole, The Undersea Network, Durham, Duke University Press, 2015.

STEADMAN, Philip, “Samuel Bentham’s Panopticon”, en Journal of Bentham Studies, vol. 2, 2012, pp. 1-30, disponible en línea: <doi.org>.

STEINBERGER, Michael, “Does Palantir See Too Much?”, en The New York Times Magazine, 21 de octubre de 2020, disponible en línea: <www.nytimes.com>.

STEWART, Ashley y Nicholas Carlson, “The President of Microsoft Says It Took Its Bid for the $10 Billion JEDI Cloud Deal as an Opportunity to Improve Its Tech—and That’s Why It Beat Amazon”, en Business Insider, 23 de enero de 2020, disponible en línea: <www.businessinsider.com>.

STEWART, Russell, Brainwash Dataset, Stanford Digital Repository, 2015.

STOLLER, Bill, “Why the Northern Virginia Data Center Market Is Bigger Than Most Realize”, en Data Center Knowledge, 14 de febrero de 2019, disponible en línea: <www.datacenterknowledge.com>.

STRAND, Ginger Gail, “Keyword: Evil”, en Harper’s Magazine, marzo de 2008, disponible en línea: <harpers.org>.

“A Strategy for Surveillance Powers”, en The New York Times, 23 de febrero de 2012, disponible en línea: <www.nytimes.com>.

STRUBELL, Emma, Ananya Ganesh y Andrew McCallum, “Energy and Policy Considerations for Deep Learning in NLP”, en arXiv, 5 de junio de 2019, disponible en línea: <arxiv.org>.

SUCHMAN, Lucy, “Algorithmic Warfare and the Reinvention of Accuracy”, en Critical Studies on Security, vol. 8, núm. 2, 2020, disponible en línea: <doi.org>.

SULLIVAN, Mark, “Fact: Apple Reveals It Has 900 Million iPhones in the Wild”, en Fast Company, 29 de enero de 2019, disponible en línea: <www.fastcompany.com>.

SUTTON, Rich, “The Bitter Lesson”, 13 de marzo de 2019, disponible en línea: <www.incompleteideas.net>.

SWINHOE, Dan, “What Is Spear Phishing? Why Targeted Email Attacks Are So Difficult to Stop”, en CSO Online, 21 de enero de 2019, disponible en línea: <www.csoonline.com>.

SZALAI, Jennifer, “How the ‘Temp’ Economy Became the New Normal”, en The New York Times, 22 de agosto de 2018, disponible en línea: <www.nytimes.com>.

TANI, Maxwell, “The Intercept Shuts Down Access to Snowden Trove”, en The Daily Beast, 14 de marzo de 2019, disponible en línea: <www.thedailybeast.com>.

TAYLOR, Astra, The People’s Platform: Taking Back Power and Culture in the Digital Age, Londres, Picador, 2015.

—, “The Automation Charade”, en Logic Magazine, 1° de agosto de 2018, disponible en línea: <logicmag.io>.

TAYLOR, Frederick Winslow, The Principles of Scientific Management, Nueva York, Harper and Brothers, 1911 [trad. esp.: Henri Fayol y Frederick Winslow Taylor, Administración industrial y general. Principios de la administración científica, Barcelona, Orbis, 1987].

TAYLOR, Jill Bolte, “The 2009 Time 100”, en Time, 30 de abril de 2009, disponible en línea: <content.time.com>.

THEOBALD, Ulrich, “Liji”, en Chinaknowledge.de, 24 de julio de 2010, disponible en línea: <www.chinaknowledge.de>.

THIEL, Peter, “Good for Google, Bad for America”, en The New York Times, 1° de agosto de 2019, disponible en línea: <www.nytimes.com>.

THOMAS, David Hurst, Skull Wars. Kennewick Man, Archaeology, and the Battle for Native American Identity, Nueva York, Basic Books, 2002.

THOMPSON, Edward P., “Time, Work-Discipline, and Industrial Capitalism”, en Past and Present, vol. 38, 1967, pp. 56-97 [trad. esp.: “Tiempos, disciplina de trabajo y capitalismo industrial”, en Costumbres en común, Barcelona, Crítica, 2000].

TISHKOFF, Sarah A. y Kenneth K. Kidd, “Implications of Biogeography of Human Populations for ‘Race’ and Medicine”, en Nature Genetics, vol. 36, núm. 11, 2004, S21–S27, disponible en línea: <doi.org>.

TOCKAR, Anthony, “Riding with the Stars: Passenger Privacy in the NYC Taxicab Dataset”, 15 de septiembre de 2014, disponible en línea: <agkn.wordpress.com>.

TOMKINS, Silvan S., Affect Imagery Consciousness. The Complete Edition, Nueva York, Springer, 2008.

TOMKINS, Silvan S. y Robert McCarter, “What and Where Are the Primary Affects? Some Evidence for a Theory”, en Perceptual and Motor Skills, vol. 18, núm. 1, 1964, pp. 119-158, disponible en línea: <doi.org>.

TOSCANO, Marion E. y Elizabeth Maynard, “Understanding the Link: ‘Homosexuality,’ Gender Identity, and the DSM”, en Journal of LGBT Issues in Counseling, vol. 8, núm. 3, 2014, pp. 248-263, disponible en línea: <doi.org>.

TRAINER, Ted, Renewable Energy Cannot Sustain a Consumer Society, Dordrecht, Springer, 2007.

“Transforming Intel’s Supply Chain with Real-Time Analytics”, en Intel, septiembre de 2017, disponible en línea: <www.intel.com>.

TRONCHIN, Lamberto, “The ‘Phonurgia Nova’ of Athanasius Kircher: The Marvellous Sound World of 17th Century”, en 155th Meeting Acoustical Society of America, junio-julio de 2008, disponible en línea: <doi.org>.

TSUKAYAMA, Hayley, “Facebook Turns to Artificial Intelligence to Fight Hate and Misinformation in Myanmar”, en The Washington Post, 15 de agosto de 2018, disponible en línea: <www.washingtonpost.com>.

TUCKER, Patrick, “Refugee or Terrorist? IBM Thinks Its Software Has the Answer”, en Defense One, 27 de enero de 2016, disponible en línea: <www.defenseone.com>.

TULLY, John, “A Victorian Ecological Disaster: Imperialism, the Telegraph, and Gutta-Percha”, en Journal of World History, vol. 20, núm. 4, 2009, pp. 559-579, disponible en línea: <doi.org>.

TURING, Alan M., “Computing Machinery and Intelligence”, en Mind, 1° de octubre de 1950, pp. 433-460, disponible en línea: <doi.org> [trad. esp.: “Maquinaria computacional e inteligencia”, trad. de Cristóbal Fuentes Barassi para la Universidad de Chile, Santiago de Chile, 2010, disponible en línea: <xamanek.izt.uam.mx>].

TURNER, Graham, “Is Global Collapse Imminent? An Updated Comparison of The Limits to Growth with Historical Data”, trabajo de investigación núm. 4, Melbourne Sustainable Society Institute, University of Melbourne, agosto de 2014.

TURNER, H. W., “Contribution to the Geology of the Silver Peak Quadrangle, Nevada”, en Bulletin of the Geological Society of America, vol. 20, núm. 1, 1909, pp. 223-264.

TUSCHLING, Anna, “The Age of Affective Computing”, en Marie-Luise Angerer, Bernd Bösel y Michaela Ott (eds.), Timing of Affect: Epistemologies, Aesthetics, Politics, Zúrich, Diaphanes, 2014, pp. 179-190.

TVERSKY, Amos y Daniel Kahneman, “Judgment under Uncertainty: Heuristics and Biases”, en Science, vol. 185, 1974, pp. 1124-1131.

ULLMAN, Ellen, Life in Code: A Personal History of Technology, Nueva York, MCD, 2017.

UNITED NATIONS CONFERENCE ON TRADE AND DEVELOPMENT, Review of Maritime Transport, 2017, disponible en línea: <unctad.org>.

US Commercial Space Launch Competitiveness, acta núm. 114-190 (2015), disponible en línea: <www.congress.gov>.

US Congress. Senate Select Committee on Intelligence Activities, Covert Action in Chile. 1963-1973, informe del personal, 18 de diciembre de 1975, disponible en línea: <www.archives.gov>.

US ENERGY INFORMATION ADMINISTRATION, “What Is US Electricity Generation by Energy Source?”, disponible en línea: <www.eia.gov>.

“Use of the ‘Not Releasable to Foreign Nationals’ (NOFORN) Caveat on Department of Defense (DoD) Information”, US Department of Defense, 17 de mayo de 2005, disponible en línea: <fas.org>.

VIDAL, John, “Health Risks of Shipping Pollution Have Been ‘Underestimated’”, en The Guardian, 9 de abril de 2009, disponible en línea: <www.theguardian.com>.

“Vigilant Solutions”, en NCPA, disponible en línea: <http://www.ncpa.us/Vendors/Vigilant%20Solutions>.

VINCENT, James, “Drones Taught to Spot Violent Behavior in Crowds Using AI”, en The Verge, 6 de junio de 2018, disponible en línea: <www.theverge.com>.

—, “AI ‘Emotion Recognition’ Can’t Be Trusted’”, en The Verge, 25 de julio de 2019, disponible en línea: <www.theverge.com>.

VOLLMANN, William T., “Invisible and Insidious”, en Harper’s Magazine, marzo de 2015, disponible en línea: <harpers.org>.

WADE, Lizzie, “Tesla’s Electric Cars Aren’t as Green as You Might Think”, en Wired, 31 de marzo de 2016, disponible en línea: <www.wired.com>.

WAJCMAN, Judy, Pressed for Time. The Acceleration of Life in Digital Capitalism, Chicago, University of Chicago Press, 2015.

—, “How Silicon Valley Sets Time”, en New Media and Society, vol. 21, núm. 6, 2019, pp. 1272-1289, disponible en línea: <doi.org>.

WAKABAYASHI, Daisuke, “Google’s Shadow Work Force: Temps Who Outnumber Full-Time Employees”, en The New York Times, 28 de mayo de 2019, disponible en línea: <www.nytimes.com>.

WALD, Ellen, “Tesla Is a Battery Business, Not a Car Business”, en Forbes, 15 de abril de 2017, disponible en línea: <www.forbes.com>.

WALDMAN, Peter, Lizette Chapman y Jordan Robertson, “Palantir Knows Everything about You”, en Bloomberg, 19 de abril de 2018, disponible en línea: <www.bloomberg.com>.

WANG, Yilun y Michal Kosinski, “Deep Neural Networks Are More Accurate Than Humans at Detecting Sexual Orientation from Facial Images”, en Journal of Personality and Social Psychology, vol. 114, núm. 2, 2018, pp. 246-257, disponible en línea: <doi.org>.

“The War against Immigrants: Trump’s Tech Tools Powered by Palantir”, en Mijente, agosto de 2019, disponible en línea: <mijente.net>.

WARD, Bob, Dr. Space. The Life of Wernher von Braun, Annapolis, Naval Institute Press, 2009.

WEIGEL, Moira, “Palantir goes to the Frankfurt School”, en Boundary 2 (blog), 10 de julio de 2020, disponible en línea: <www.boundary2.org>.

WEINBERGER, Sharon, “Airport Security: Intent to Deceive?”, en Nature, vol. 465, 2010, pp. 412-415, disponible en línea: <doi.org>.

WEIZENBAUM, Joseph, “On the Impact of the Computer on Society: How Does One Insult a Machine?”, en Science, vol. 176, núm. 4035, 1972, pp. 609-614.

—, Computer Power and Human Reason. From Judgment to Calculation, San Francisco, W. H. Freeman, 1976.

WELCH, Chris, “Elon Musk: First Humans Who Journey to Mars Must ‘Be Prepared to Die’”, en The Verge, 27 de septiembre de 2016, disponible en línea: <www.theverge.com>.

WERRETT, Simon, “Potemkin and the Panopticon: Samuel Bentham and the Architecture of Absolutism in Eighteenth Century Russia”, en Journal of Bentham Studies, vol. 2, 1999, disponible en línea: <doi.org>.

WEST, Cornel, “A Genealogy of Modern Racism”, en Philomena Essed y David Theo Goldberg (eds.), Race Critical Theories. Text and Context, Malden, Blackwell, 2002, pp. 90-112.

WEST, Sarah Myers, “Redistribution and Rekognition. A Feminist Critique of Algorithmic Fairness”, en Catalyst. Feminism, Theory, and Technoscience, vol. 6, núm. 2, 7 de noviembre de 2020, disponible en línea: <doi.org>.

WEST, Sarah Myers, Meredith Whittaker y Kate Crawford, “Discriminating Systems: Gender, Race, and Power in AI”, en AI Now Institute, abril de 2019, disponible en línea: <ainowinstitute.org>.

WHITTAKER, Meredith et al., AI Now Report 2018, en AI Now Institute, diciembre de 2018, disponible en línea: <https://ainowinstitute.org/_Now_2018_Report.pdf>.

—, “Disability, Bias, and AI”, en AI Now Institute, noviembre de 2019, disponible en línea: <ainowinstitute.org>.

WILSON, Mark, “The Hot New Product Amazon and Target are Obsessing Over? Boxes”, en Fast Company, 6 de mayo de 2019, disponible en línea: <www.fastcompany.com>.

WILSON, Megan R., “Top Lobbying Victories of 2015”, en The Hill, 16 de diciembre de 2015, disponible en línea: <thehill.com>.

WINSTON, Ali e Ingrid Burrington, “A Pioneer in Predictive Policing Is Starting a Troubling New Project”, en The Verge (blog), 26 de abril de 2018, disponible en línea: <www.theverge.com>.

WINNER, Langdon, The Whale and the Reactor. A Search for Limits in an Age of High Technology, Chicago, University of Chicago Press, 2001 [trad. esp.: La ballena y el reactor. Una búsqueda de los límites en la era de la alta tecnología, Barcelona, Gedisa, 2018].

WOOD, Bryan, “What Is Happening with the Uighurs in China?”, en PBS NewsHour, disponible en línea: <www.pbs.org>.

WOOD III, Pat, William L. Massey y Nora Mead Brownell, “FERC Order Directing Release of Information”, Federal Energy Regulatory Commission, 21 de marzo de 2003.

WU, Xiaolin y Xi Zhang, “Automated Inference on Criminality Using Face Images”, en arXiv, 13 de noviembre de 2016, disponible en línea: <arxiv.org>.

YAHOO!, “Datasets”, disponible en línea: <webscope.sandbox.yahoo.com>.

YANG, Kaiyu et al., “Towards Fairer Datasets: Filtering and Balancing the Distribution of the People Subtree in the ImageNet Hierarchy”, en FAT* ’20: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, Nueva York, ACM Press, 2020, pp. 547-558, disponible en línea: <dl.acm.org>.

“YFCC100M Core Dataset”, en Multimedia Commons Initiative, 4 de diciembre de 2015, disponible en línea: <multimediacommons.wordpress.com>.

YUAN, Li, “How Cheap Labor Drives China’s AI Ambitions”, en The New York Times, 25 de noviembre de 2018, disponible en línea: <www.nytimes.com>.

ZHANG, Zhimeng et al., “Multi-Target, Multi-Camera Tracking by Hierarchical Clustering: Recent Progress on DukeMTMC Project”, en arXiv, 27 de diciembre de 2017, disponible en línea: <arxiv.org>.

ZUBOFF, Shoshana, “Big Other: Surveillance Capitalism and the Prospects of an Information Civilization”, en Journal of Information Technology, vol. 30, núm. 1, 2015, pp. 75-89, disponible en línea: <doi.org>.

—, The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power, Nueva York, PublicAffairs, 2019 [trad. esp.: La era del capitalismo de la vigilancia. La lucha por un futuro humano frente a las nuevas fronteras del poder, Buenos Aires, Paidós, 2021].

Índice de nombres

Abbate, Janet

Abraham, David S.

Ackerman, Spencer

Adams, Guy

Agre, Philip E.

Agricola, Georgius

Agüera y Arcas, Blaise

Ajunwa, Ifeoma

Alden, William

Aleksander, Igor

Allende, Salvador

Ambady, Nalini

Ananny, Mike

Andrae, Anders A. E.

Andrejevic, Mark

Angwin, Julia

Anzilotti, Eillie

Apelbaum, Yaacov

Arboleda, Martin

Aristóteles

Armstrong, Neil

Aslam, Salman

Ayogu, Melvin

Aytes, Ayhan

Babbage, Charles

Babich, Babette

Bahl, Lalit

Bailey, Frederick G.

Baker, Janet M.

Bangstad, Sindre

Bartlett, Marian

Batalha Viveiros de Castro, Eduardo

Bayer, Ronald

Belkhir, Lotfi

Bell, Derrick

Benjamin, Ruha

Benson, Kristina

Benthall, Sebastian

Bentham, Jeremy

Bentham, Samuel

Berg, Janine

Bergen, Mark

Bertillon, Alphonse

Bezos, Jeff

Biddle, Wayne

Birdwhistell, Ray

Bledsoe, Woodrow Wilson “Woody”

Blight, James G.

Bloomfield, Anne B.

Borene, Andrew

Borges, Jorge Luis

Bostrom, Nick

Bouche, Teryn

Bowker, Geoffrey C.

boyd, danah

Brantingham, Jeffrey

Bratton, Benjamin H.

Braun, Wernher von

Braverman, Harry

Brayne, Sarah

Brechin, Gray

Brewer, Eric

Broussard, Meredith

Brown, Harold

Brown, Peter

Browne, Simone A.

Brownell, Nora Mead

Brustein, Joshua

Bullis, Kevin

Bünting, Heinrich

Buolamwini, Joy

Burgess, Jean

Burke, Jason

Burnet, Thomas

Burrington, Ingrid

Bush, George W.

Bush, Vannevar

Byford, Sam

Calo, Ryan

Cameron, Dell

Campolo, Alex

Canales, Jimena

Carey, James W.

Carlisle, Nate

Carlson, Nicholas

Carter, Ash

Catalina la Grande de Rusia

Cave, Stephen

Chan, Hau

Chapman, Lizette

Chun, Wendy Hui Kyong

Church, Frank

Citron, Danielle

Clarac, François

Cohen, Julie E.

Cohn, Jeffrey F.

Cole, David

Conger, Kate

Connor, Neil

Cook, Gary

Coole, Diana

Cooper, Carolyn C.

Copérnico, Nicolás

Corbett, James

Cortez, Julio

Costanza-Chock, Sasha

Couldry, Nick

Courtine, Jean-Jacques

Cowen, Alan

Crawford, Kate

Crosman, Penny

Curry, Steven

Cuthbertson, Anthony

D’Ignazio, Catherine

Dalai Lama, Tensin Gyatso, llamado

Daley, Bo

Danowski, Déborah

Darwin, Charles

Dastin, Jeffrey

Daston, Lorraine

Daugherty, James Monroe

Davies, Kate

Davis, Monte

Delaporte, François

Dencik, Lina

Deng, Jia

Der, Sandor Z.

Desai, Bhairavi

Diamandis, Peter

Dick, Philip K.

Didi-Huberman, Georges

Dietterich, Thomas

Dilanian, Ken

Dobbe, Roel

Domingos, Pedro

Dougherty, Conor

Douglass, Frederick

Drescher, Jack

Dreyfus, Hubert L.

Dryer, Theodora

Du, Lisa

Duchenne de Boulogne, Guillaume Benjamin Amand

Eco, Umberto

Edler, Tomas

Edwards, Paul n.

Eglash, Ron

Eisenhower, Dwight

Ekman, Paul

Elfenbein, Hillary Anger

Elish, Madeline Clare

Elmeligi, Ahmed

Ely, Chris

Engels, Friedrich

England, Rachel

Ensmenger, Nathan

Epstein, Jeffrey

Estreicher, Sam

Eubanks, Virginia

Fabian, Ann

Fang, Lee

Faraday, Michael

Farocki, Harun

Fayol, Henri

Federici, Silvia

Feldman Barrett, Lisa

Ferguson, Andrew

Fernández-Dols, José Miguel

Foer, Franklin

Ford, Henry

Foreman, Judy

Foucault, Michel

Founds, Andrew P.

Fourcade, Marion

Franceschi-Bicchierai, Lorenzo

Franklin, Ursula M.

French, Martin A.

Freud, Sigmund

Fridlund, Alan

Friesen, Wallace V.

Frost, Samantha

Gajdusek, Daniel Carleton

Galison, Peter

Gall, Franz Joseph

Galton, Francis, sir

Ganesh, Ananya

Garris, Michael D.

Garwin, Dick

Gates, Dominic

Gebru, Timnit

Gee, Alastair

Gellman, Barton

Gendron, Maria

George, Rose

Gershgorn, Dave

Ghaffary, Shirin

Gibson, Jennifer

Gill, Karamjit S.

Gillespie, Tarleton

Gitelman, Lisa

Gladwell, Malcolm

Goeleven, Ellen

Gora, Walter

Gou, Terry

Gould, Stephen Jay

Graeber, David

Graham, John

Gray, Mary L.

Gray, Richard T.

Green, Ben

Greene, Daniel

Greene, Tristan

Greenhouse, Steven

Greenwald, Anthony G.

Greenwald, Glenn

Gregg, Melissa

Grigorieff, Paul

Grother, Patrick

Guendelsberger, Emily

Gurley, Lauren Kaori

Hacking, Ian

Hagendorff, Thilo

Hajjar, Lisa

Hall, Stuart

Halsey III, Ashley

Haraway, Donna J.

Hardt, Michael

Harlow, Max

Haroche, Claudine

Harrabin, Roger

Harvey, Adam

Harwell, Drew

Haskins, Caroline

Hassabis, Demis

Hayden, Michael

Haynes, Bruce D.

Healy, Kieran

Heaven, Douglas

Hecht, Gabrielle

Heller, Nathan

Hernandez, Elizabeth

Herzog, Ulrich

Heyn, Edward T.

Hicks, Mar

Hines, Alicia Headlam

Hird, Myra J.

Hodal, Kate

Hoffmann, Anna Lauren

Hoft, Joe

Hogan, Mél

Hollerith, Herman

Hopper, Grace

Horne, Emily

Horowitz, Alexandra

Hough, Lee

House, Brian

Hu, Tung-Hui

Huet, Ellen

Hui, Yuk

Hutson, Matthew

Hwang, Tim

Ienca, Marcelo

Irani, Lilly

Isaac, William

Izard, Carroll E.

Jaton, Florian

Jelinek, Fred

Jepperson, Ronald J.

Jobin, Anna

Jones, Nicola

Joseph, George

Kafer, Alison

Kahneman, Daniel

Kanade, Takeo

Kappas, Arvid

Karp, Alex

Katz, Lawrence F.

Keates, Nancy

Keel, Terence D.

Kemeny, John

Kempelen, Wolfgang von

Kendi, Ibram X.

Kerr, Dara

Keyes, Os

Kidd, Kenneth K.

Klein, Lauren F.

Kleinberg, Jon

Klimt, Bryan

Knight, Will

Knorr Cetina, Karin

Kolbert, Elizabeth

Kong, Eun Bae

Kosinski, Michal

Kosofsky Sedgwick, Eve

Krieger, Linda Hamilton

Kroc, Ray

Krueger, Alan B.

Kucera, Henry

Kurdi, Alan

Kurtz, Thomas

Labban, Mazen

Lakoff, George

Lambert, Fred

LaPlace, Jules

Lapuschkin, Sebastian

Lavater, Johann Kaspar

Lehrer, Tom

Lem, Stanislaw

Levy, Karen

Lewis, Zenia

Leys, Ruth

Li, Fei-Fei

Li, Xiaochang

Libby, Sara

Licklider, Joseph Carl Robnett

Lievrouw, Leah

Light, Jennifer S.

Lingel, Jessa

Lipton, Beryl

Liu, Zhiyi

Locker, Melissa

Lombroso, Cesare

Lorde, Audre

Lovelace, Ada

Lucey, Patrick

Luckey, Palmer

Luxemburgo, Rosa

Lyons, Michael

Maass, Peter

MacKenzie, Donald

Mahdawi, Arwa

Maki, Ayaka

Maly, Tim

Marcinkiewicz, Mary Ann

Marcus, Mitchell P.

María Teresa de Austria

Markoff, John

Martinage, Robert

Marx, Karl

Marx, Paris

Masanet, Eric

Massey, William L.

Massion, Jean

Mattern, Shannon

Maughan, Tim

Mayhew, Claire

Mbembe, Achille

McCallum, Andrew

McCarter, Robert

McCarthy, John

McCorduck, Pamela

McDuff, Daniel

McIlwain, Charlton

McLuhan, Marshall

McMillan, Graeme

McNamara, Robert

McNeil, Joanne

Mead, Margaret

Meadows, Donella H.

Mejías, Ulises A.

Menabrea, Luigi Federico

Mercer, Robert

Merler, Michele

Metcalf, Jacob

Meyer, John W.

Mezzadra, Sandro

Michalski, Ryszard S.

Michel, Arthur Holland

Michie, Donald

Mikel, Betsy

Minsky, Marvin

Mirzoeff, Nicholas

Mitchell, Margaret

Mitchell, Paul Wolff

Mitchell, Tom M.

Mittelstadt, Brent

Mohamed, Shakir

Molnar, Phillip

Morozov, Evgeny

Morton, Samuel

Moss, Emanuel

Müller-Maguhn, Andy

Mumford, Lewis

Murgia, Madhumita

Muse, Abdi

Musk, Elon

Nakashima, Ellen

Nassar, Nedal

Nedlund, Evelina

Negri, Antonio

Neilson, Brett

Nelson, Alondra

Nelson, Francis W.

Neumann, John von

Neville-Neil, George V.

Newell, Allen

Newman, Lily Hay

Newton, Isaac

Nielsen, Kim E.

Nietzsche, Friedrich

Nilsson, Nils J.

Nilsson, Patricia

Noble, Safiya Umoja

Norvig, Peter

O’Neil, Cathy

O’Neill, Gerard K.

Obama, Barack

ÓhÉigeartaigh, Seán

Ohtake, Miyoko

Omar, Ilhan Abdullahi

Osten, Wilhelm von

Owens, Christopher

Page, Larry

Paglen, Trevor

Parikka, Jussi

Pearson, Karl

Pellerin, Cheryl

Perez, Sarah

Pfungst, Oskar

Phillips, P. Jonathon

Picard, Rosalind

Pichai, Sundar

Pierson, David

Plumwood, Val

Png, Marie-Therese

Poggio, Tomaso

Poitras, Laura

Pontin, Jason

Pontin, Mark Williams

Potemkin, Gregorio, príncipe

Pouget, Émile

Powell, Corey S.

Priest, Dana

Pugliese, Joseph

Puschmann, Cornelius

Qiu, Jack

Quinlan, Michael

Raji, Inioluwa Deborah

Rauss, Patrick J.

Rehmann, Jan

Reichhardt, Tony

Rein, Hanno

Revell, Timothy

Rhue, Lauren

Richardson, Rashida

Risen, James

Rivard, Laura

Robbins, Gary

Roberts, Dorothy

Roberts, Sarah T.

Robertson, Jordan

Russell, Andrew

Russell, James A.

Russell, Stuart J.

Ryge, Leif

Sadowski, Jathan

Salisbury, Robert Gascoyne-Cecil, lord

Sánchez-Monedero, Javier

Santorini, Beatrice

Satisky, Jake

Saville, Samantha

Scahill, Jeremy

Scarry, Richard

Schaake, Marietje

Schaffer, Simon

Scharmen, Fred

Scharre, Paul

Scheuerman, Morgan Klaus

Scheyder, Ernest

Schlanger, Zoë

Schmidt, Eric

Schneier, Bruce

Schultz, Jason M.

Schwartz, Oscar

Scott, James C.

Segura, María Soledad

Sejnowski, Terry

Sekula, Allan

Seo, Sungyong

Shaer, Matthew

Shane, Scott

Siebers, Tobin

Silberman, M. S.

Silver, David

Simmons, Brandon

Simon, Herbert

Simpson, Cam

Sinclair, Upton

Sloane, Garett

Smith, Adam

Smith, Allan M.

Smith, Brad

Smith, Brian A.

Snowden, Edward

Snyder, Rick

Sorenson, E. Richard

Southerland, Vincent M.

Spargo, John

Specht, Joshua

Sproull, Robert

Spurzheim, Johann Gaspar

Standage, Tom

Star, Susan Leigh

Stark, Luke

Starosielski, Nicole

Steinberger, Michael

Stewart, Ashley

Stewart, Russell

Strand, Ginger Gail

Strubell, Emma

Stumpf, Carl

Suchman, Lucy

Suri, Siddharth

Sutton, Rich

Swenarchuk, Michelle

Swinhoe, Dan

Tamayo, Daniel

Taylor, Astra

Taylor, Frederick Winslow

Taylor, Jill Bolte

Teller, Edward

Thiel, Peter

Thomas, David Hurst

Thompson, Edward P.

Tian, Yingli

Tishkoff, Sarah A.

Tockar, Anthony

Todorov, Alexander

Tomkins, Silvan S.

Trainer, Ted

Tripathi, Satish

Trump, Donald

Tu, Thuy Linh

Tucker, Patrick

Tully, John

Tung-Hui, Hu

Turing, Alan

Turner, Graham

Turner, H. W.

Tuschling, Anna

Tversky, Amos

Ullman, Ellen

Vayena, Effy

Vidal, John

Vincent, James

Vokrouhlicky, David

Wade, Lizzie

Waisbord, Silvio

Wajcman, Judy

Wakabayashi, Daisuke

Wald, Ellen

Waldman, Peter

Walker, Kent

Wang, Yilun

Ward, Bob

Warrick, Joby

Weaver, Sigourney

Weigel, Moira

Weinberger, Sharon

Weizenbaum, Joseph

Welch, Chris

Werrett, Simon

West, Cornel

Whittaker, Meredith

Wiener, Norbert

Wilson, Charles L.

Wilson, Mark

Wilson, Megan R.

Winner, Langdon

Winston, Ali

Wood III, Pat

Work, Robert

Wu, Xiaolin

Xiaochang, Li

Yang, Kaiyu

Yang, Yiming

York, Jillian

Young, Liam

Yuan, Li

Zhang, Xi

Zhang, Zhimeng

Zuboff, Shoshana

Crawford, Kate

Atlas de inteligencia artificial / Kate Crawford. - 1a ed. - Ciudad Autónoma de Buenos Aires : Fondo de Cultura Económica, 2022.

(Tezontle)

Libro digital, EPUB

Archivo Digital: descarga y online

Traducción de: Francisco Diaz Klaassen.

ISBN 978-987-719-382-4

1. Inteligencia Artificial. 2. Recursos Renovables. I. Diaz Klaassen, Francisco, trad. II. Título.

CDD 306.46

Distribución en América Latina

Imagen de cubierta: Vladan Joler

Armado de cubierta: Juan Balaguer

Diagramación de interior: Silvana Ferraro

Corrección: Marcela Alemandi y Mónica Herrero

Edición al cuidado de Marina D’Eramo

Conversión a formato digital: Libresque

Título original: Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence

ISBN de la edición original: 978-0-300-20957-0

© 2021, Kate Crawford

Publicado originalmente por Yale University Press

D.R. © 2022, FONDO DE CULTURA ECONÓMICA DE ARGENTINA, S.A.

Costa Rica 4568; C1414BSH Buenos Aires, Argentina

fondo@fce.com.ar / www.fce.com.ar

Comentarios y sugerencias: editorial@fce.com.ar

FONDO DE CULTURA ECONÓMICA

Carretera Picacho Ajusco, 227; 14738 Ciudad de México

ISBN 978-987-719-382-4

Prohibida su reproducción total o parcial por cualquier medio de impresión o digital, en forma idéntica, extractada o modificada, en español o en cualquier otro idioma, sin autorización expresa de la editorial.

SIGAMOS CONECTADOS

 @fceargentina

@FCEdeArgentina

 @FCEArgentina

 FondoDeCulturaEconómicaDeArgentina

www.fce.com.ar

En breve cárcel

Molloy, Sylvia

9789877192322

155 Páginas

"La novela de Sylvia Molloy, sabiamente narrada en presente y en tercera persona, produce un efecto de intimidad que es único y es inolvidable. La historia se construye desde tan cerca que nos da la sensación de estar espiando una escena prohibida, y el efecto de verdad -la certeza de que la historia es cierta y ha sucedido tal cual se cuenta- es tan nítido que leemos En breve cárcel como si fuera una autobiografía. La novela se instala en el presente porque el presente es el tiempo de la pasión, y trata de no salir del cuarto donde se espera -o se desea- que vuelva a suceder lo que ya ha sucedido. Conozco pocas novelas que hayan narrado con tanta intensidad y belleza la historia de una pasión" (Del prólogo de Ricardo Piglia).

La contraofensiva: El final de Montoneros

Confino, Hernán

9789877192988

363 Páginas

En octubre de 1978, la conducción de Montoneros decidió iniciar la llamada Contraofensiva Estratégica frente al temor de que la organización armada dejara de representar una alternativa política para la sociedad argentina, luego de dos años de exilio orgánico y represión dictatorial. Sin embargo, esta estrategia política, propagandística y militar acabaría sellando trágicamente el final de su proyecto revolucionario. La memoria de la Contraofensiva quedó restringida a lecturas retrospectivas que, desde las evocaciones militantes, los ensayos o las crónicas periodísticas, enfatizaron la equivocación política. Así, redujeron su comprensión a balances generacionales, épicos y condenatorios, sobre la trayectoria de Montoneros. Frente a eso, Hernán Confino reconstruye la historia de la organización entre el exilio y la Contraofensiva, y la analiza no a partir de su resultado político, sino en el devenir más amplio que la enmarcó y le dio sentido. A través del examen de múltiples fuentes —publicaciones partidarias, memorias, entrevistas a militantes, documentos de inteligencia—, muestra que la Contraofensiva no fue una excepcionalidad o una "aventura mesiánica", sino una estrategia posible en la línea de desarrollo de Montoneros, inseparable de la situación de exilio, de la historia política del país y de la región.

Novela negra con argentinos

Valenzuela, Luisa

9789877193145

234 Páginas

"Un hombre −unos 35 años, barba oscura− sale de un departamento, cierra con toda suavidad la puerta y se asegura de que no pueda ser abierta desde fuera. La puerta es de roble con triple cerradura, el picaporte no cede. Sobre la mirilla de bronce puede leerse 10 H. La acción transcurre un sábado a la madrugada en el Upper West Side, New York, NY. No hay espectadores a la vista. El hombre, Agustín Palant, es argentino, escritor, y acaba de matar a una mujer. En la llamada realidad, no en el escurridizo y ambiguo terreno de la ficción". Así comienza esta original y cautivante novela de Luisa Valenzuela, que trueca las reglas del juego y del género y avanza en búsqueda no del quién o el cómo, sino del motivo del crimen. Novela negra con argentinos ensambla los elementos que generan una ficción y los modos diversos −históricos, sexuales, biográficos− que la lectura incorpora mientras los acontecimientos están ocurriendo.

Breve historia contemporánea de la Argentina 1916-2016

Romero, Luis Alberto

9789877191646

439 Páginas

"Todo intento de reconstrucción histórica parte de las necesidades, las dudas y los interrogantes del presente", escribe Luis Alberto Romero en su Breve historia contemporánea de la Argentina. ¿Qué posibilidades hay de reconstruir una sociedad abierta y móvil, no segmentada en mundos aislados, con oportunidades para todos, fundada en la competitividad pero también en la solidaridad y la justicia? ¿Qué características deben tener el Estado y el sistema político para asegurar la democracia y hacer de ella una práctica con sentido social? Estas son las cuestiones centrales que guían su investigación. Dirigido a un público amplio, el libro conjuga el trabajo riguroso del historiador y la reflexión del ciudadano sobre el presente. Desde su publicación en 1994, tuvo una amplia recepción y demostró ser imprescindible para el conocimiento de la historia argentina. En esta nueva edición, que es también la definitiva, el autor completa el ciclo kirchnerista que se cierra en diciembre de 2015 y compone así un siglo de historia del país. En el epílogo, dicho ciclo es incluido en la perspectiva de la larga e irresoluta crisis argentina y se plantean los enormes problemas y desafíos que deben enfrentar tanto el nuevo gobierno como el conjunto de la sociedad. Luis Alberto Romero sostiene que durante los años de los gobiernos kirchneristas, a pesar del espectacular crecimiento de las exportaciones agrícolas y la solución de los problemas fiscales, no cambiaron las condiciones del país, profundamente transformado desde 1976. Se acentuaron el deterioro del Estado y la desigualdad social, y se consolidó el mundo de la pobreza. La democracia establecida en 1983 fue derivando hacia un sistema en el que los recursos del Estado fueron usados sin control por sus gobernantes, para acumular poder y reproducirlo. La Argentina presenta una realidad incierta y un futuro difícil. Si bien el autor no da cabida a un optimismo acrítico, su esfuerzo reflexivo se apoya en la confianza en "la capacidad de los hombres para realizar su historia, hacerse cargo de sus circunstancias y construir una sociedad mejor".

La filosofía de la redención

Mainländer, Philipp

9789877193046

516 Páginas

La filosofía de la redención es la obra capital de Philipp Mainländer, autodidacta, pensador y mitopoeta alemán del siglo xix. A lo largo de seis capítulos (Analítica de la facultad cognoscitiva, Física, Estética, Ética, Política, Metafísica) y una selección del Anexo, inédito en español (Crítica de las doctrinas de Kant y Schopenhauer), Mainländer describe el mundo como la descomposición de un Dios, quien, al igual que el Big Bang del comienzo-final de todos los tiempos, se suicidó, inclinándose por no ser. El origen del universo se debe a un agotamiento de voluntad divina y la vida solo es el medio para lograr –a través de la ley del debilitamiento de la fuerza y del sufrimiento– su fin último en la muerte absoluta, la paz eterna, la redención en la nada. Mainländer poetiza una cosmovisión según la cual el trasfondo de la realidad se vuelve una experiencia tan destructiva, que resulta imposible vivirla sin terminar dañado. Así es concebido un mundo en máxima crispación y tensión, en una correlación dinámica, que, al asumir la velocidad de la civilización, se precipita a la destrucción acelerada de sí. Hoy en día este delicado pensamiento cobra además una compleja vigencia, que exige ser analizada en todo su alcance, dado el escenario de precolapso civilizatorio y la actual devastación ambiental en curso. La presente edición incluye una exégesis de la obra y una selección del Anexo, inédito hasta ahora en nuestro idioma, el cual apareció en este tratado publicado por primera vez en 1876, horas antes de que el pensador acabara con su vida por las razones ontológicas que él mismo esgrime a lo largo de sus impactantes páginas.