CAMBRIDGE – Los algoritmos son tan sesgados como los datos de los que se alimentan. Y todos los datos son sesgados. Ni siquiera se puede suponer que las estadísticas “oficiales” representen “hechos” objetivos y eternos. Las cifras que los gobiernos publican muestran a la sociedad tal como es ahora, a través de la lente de lo que quienes reúnen los datos consideran relevante e importante. Las categorías y clasificaciones utilizadas para darle sentido a los datos no son neutras. De la misma manera que medimos lo que vemos, tendemos a ver sólo lo que medimos.
En tanto la toma de decisiones algorítmica se propaga a un rango más amplio de áreas vinculadas a las políticas, arroja una luz cruda sobre los sesgos sociales que antes se escondían en las sombras de los datos que recogemos. Al llevar las estructuras y procesos existentes a sus extremos lógicos, la inteligencia artificial (IA) nos obliga a enfrentar el tipo de sociedad que hemos creado.
El problema no es simplemente que las computadoras estén diseñadas para pensar como corporaciones, como ha argumentado mi colega Jonnie Penn de la Universidad de Cambridge. El problema también es que las computadoras piensan como economistas. Una IA, después de todo, es una versión tan infalible del homo economicus como se pueda pensar. Es un agente racionalmente calculador, lógicamente consistente y enfocado en los fines, capaz de alcanzar sus resultados deseados con recursos informáticos finitos. Cuando se trata de “maximizar la utilidad”, son mucho más efectivos que cualquier ser humano.
La “utilidad” es a la economía lo que el “flogisto” alguna vez fue a la química. Los primeros químicos sostenían la hipótesis de que la materia combustible contenía un elemento oculto – el flogisto- que podía explicar por qué las sustancias cambiaban de forma cuando se quemaban. Sin embargo, por más que lo intentaron, los científicos nunca pudieron confirmar la hipótesis. No pudieron rastrear al flogisto por la misma razón que los economistas hoy no pueden ofrecer una medida de la utilidad real.
Los economistas utilizan el concepto de utilidad para explicar por qué la gente hace las elecciones que hace –qué comprar, dónde invertir, cuánto trabajar: todos intentan maximizar la utilidad de acuerdo con las preferencias y creencias propias sobre el mundo, y dentro de las limitaciones planteadas por ingresos o recursos escasos-. A pesar de no existir, la utilidad es una construcción poderosa. Parece natural suponer que todos intentan hacer lo mejor que pueden para sí mismos.
Es más, la noción de utilidad de los economistas nace del utilitarismo clásico, que apunta a garantizar la mayor cantidad de bien para la mayor cantidad de personas. Al igual que los economistas modernos que siguen los pasos de John Stuart Mill, la mayoría de quienes diseñan algoritmos son utilitarios que creen que si se conoce un “bien”, entonces se lo puede maximizar.
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Pero esta suposición puede arrojar resultados problemáticos. Por ejemplo, consideremos cómo se están utilizando los algoritmos para decidir si los presos merecen libertad condicional. Un importante estudio de 2017 sostiene que los algoritmos se desempeñan mucho mejor que los seres humanos a la hora de predecir tasas de reincidencia y que se pueden utilizar para reducir la “tasa de encarcelamiento” en más del 40% “sin ningún incremento de las tasas de criminalidad”. En Estados Unidos, entonces, se podría IA para reducir una población carcelaria que es desproporcionadamente negra. Ahora bien, ¿qué sucede cuando la IA asume el proceso de la libertad condicional y los afronorteamericanos siguen siendo encarcelados a una tasa más alta que los blancos?
Una toma de decisiones algorítmica altamente eficiente ha sacado a la luz interrogantes como éste, lo que nos obliga a decidir precisamente qué resultados deberían maximizarse. ¿Queremos simplemente reducir la población carcelaria general, o también nos debería preocupar la justicia? Mientras que la política permite que subterfugios y acuerdos disimulen este tipo de compensaciones, el código informático exige claridad.
Esa demanda de claridad hace que resulte más difícil ignorar las causas estructurales de las desigualdades en la sociedad. En la era de la IA, los algoritmos nos obligarán a reconocer cómo se han perpetuado en el presente los resultados de conflictos sociales y políticos pasados a través del uso que le damos a los datos.
Gracias a grupos como la Iniciativa de la Ética en la IA y la Asociación sobre IA, ha comenzado a surgir un debate más amplio sobre la ética de la IA. Pero los algoritmos de IA, por supuesto, están haciendo aquello para lo que están codificados. La cuestión real se extiende más allá del uso de una toma de decisiones algorítmica en la gobernanza corporativa y política, y abarca a los cimientos éticos de nuestras sociedades.
Si bien es indudable que necesitamos debatir sobre las compensaciones prácticas y filosóficas de maximizar la “utilidad” mediante la IA, también necesitamos sumergirnos en una auto-reflexión. Los algoritmos están planteando interrogantes fundamentales sobre cómo hemos organizado las relaciones sociales, políticas y económicas a la fecha. Ahora debemos decidir si realmente queremos codificar los acuerdos sociales actuales en las estructuras de toma de decisiones del futuro. Dada la fractura política que actualmente ocurre en todo el mundo, éste parece ser un buen momento para escribir un nuevo guión.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
The escalating war in the Middle East must be understood in a broader context. The fact that the Iranian regime felt emboldened to risk a direct strike on Israel attests to a changing world order in which Western power is increasingly open to challenge.
considers the implications of Iran’s unprecedented decision to launch a direct strike on Israeli territory.
CAMBRIDGE – Los algoritmos son tan sesgados como los datos de los que se alimentan. Y todos los datos son sesgados. Ni siquiera se puede suponer que las estadísticas “oficiales” representen “hechos” objetivos y eternos. Las cifras que los gobiernos publican muestran a la sociedad tal como es ahora, a través de la lente de lo que quienes reúnen los datos consideran relevante e importante. Las categorías y clasificaciones utilizadas para darle sentido a los datos no son neutras. De la misma manera que medimos lo que vemos, tendemos a ver sólo lo que medimos.
En tanto la toma de decisiones algorítmica se propaga a un rango más amplio de áreas vinculadas a las políticas, arroja una luz cruda sobre los sesgos sociales que antes se escondían en las sombras de los datos que recogemos. Al llevar las estructuras y procesos existentes a sus extremos lógicos, la inteligencia artificial (IA) nos obliga a enfrentar el tipo de sociedad que hemos creado.
El problema no es simplemente que las computadoras estén diseñadas para pensar como corporaciones, como ha argumentado mi colega Jonnie Penn de la Universidad de Cambridge. El problema también es que las computadoras piensan como economistas. Una IA, después de todo, es una versión tan infalible del homo economicus como se pueda pensar. Es un agente racionalmente calculador, lógicamente consistente y enfocado en los fines, capaz de alcanzar sus resultados deseados con recursos informáticos finitos. Cuando se trata de “maximizar la utilidad”, son mucho más efectivos que cualquier ser humano.
La “utilidad” es a la economía lo que el “flogisto” alguna vez fue a la química. Los primeros químicos sostenían la hipótesis de que la materia combustible contenía un elemento oculto – el flogisto- que podía explicar por qué las sustancias cambiaban de forma cuando se quemaban. Sin embargo, por más que lo intentaron, los científicos nunca pudieron confirmar la hipótesis. No pudieron rastrear al flogisto por la misma razón que los economistas hoy no pueden ofrecer una medida de la utilidad real.
Los economistas utilizan el concepto de utilidad para explicar por qué la gente hace las elecciones que hace –qué comprar, dónde invertir, cuánto trabajar: todos intentan maximizar la utilidad de acuerdo con las preferencias y creencias propias sobre el mundo, y dentro de las limitaciones planteadas por ingresos o recursos escasos-. A pesar de no existir, la utilidad es una construcción poderosa. Parece natural suponer que todos intentan hacer lo mejor que pueden para sí mismos.
Es más, la noción de utilidad de los economistas nace del utilitarismo clásico, que apunta a garantizar la mayor cantidad de bien para la mayor cantidad de personas. Al igual que los economistas modernos que siguen los pasos de John Stuart Mill, la mayoría de quienes diseñan algoritmos son utilitarios que creen que si se conoce un “bien”, entonces se lo puede maximizar.
Subscribe to PS Digital
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Pero esta suposición puede arrojar resultados problemáticos. Por ejemplo, consideremos cómo se están utilizando los algoritmos para decidir si los presos merecen libertad condicional. Un importante estudio de 2017 sostiene que los algoritmos se desempeñan mucho mejor que los seres humanos a la hora de predecir tasas de reincidencia y que se pueden utilizar para reducir la “tasa de encarcelamiento” en más del 40% “sin ningún incremento de las tasas de criminalidad”. En Estados Unidos, entonces, se podría IA para reducir una población carcelaria que es desproporcionadamente negra. Ahora bien, ¿qué sucede cuando la IA asume el proceso de la libertad condicional y los afronorteamericanos siguen siendo encarcelados a una tasa más alta que los blancos?
Una toma de decisiones algorítmica altamente eficiente ha sacado a la luz interrogantes como éste, lo que nos obliga a decidir precisamente qué resultados deberían maximizarse. ¿Queremos simplemente reducir la población carcelaria general, o también nos debería preocupar la justicia? Mientras que la política permite que subterfugios y acuerdos disimulen este tipo de compensaciones, el código informático exige claridad.
Esa demanda de claridad hace que resulte más difícil ignorar las causas estructurales de las desigualdades en la sociedad. En la era de la IA, los algoritmos nos obligarán a reconocer cómo se han perpetuado en el presente los resultados de conflictos sociales y políticos pasados a través del uso que le damos a los datos.
Gracias a grupos como la Iniciativa de la Ética en la IA y la Asociación sobre IA, ha comenzado a surgir un debate más amplio sobre la ética de la IA. Pero los algoritmos de IA, por supuesto, están haciendo aquello para lo que están codificados. La cuestión real se extiende más allá del uso de una toma de decisiones algorítmica en la gobernanza corporativa y política, y abarca a los cimientos éticos de nuestras sociedades.
Si bien es indudable que necesitamos debatir sobre las compensaciones prácticas y filosóficas de maximizar la “utilidad” mediante la IA, también necesitamos sumergirnos en una auto-reflexión. Los algoritmos están planteando interrogantes fundamentales sobre cómo hemos organizado las relaciones sociales, políticas y económicas a la fecha. Ahora debemos decidir si realmente queremos codificar los acuerdos sociales actuales en las estructuras de toma de decisiones del futuro. Dada la fractura política que actualmente ocurre en todo el mundo, éste parece ser un buen momento para escribir un nuevo guión.