Ayer miércoles contamos en nuestras clases sobre Ética y Datos en el grado de Business Data Analytics con Lorena Fernández, directora de identidad digital en la Universidad de Deusto… y muchas cosas más. Cuando preparaba cómo iba a presentarla en clase empecé a tomar conciencia de su poliédrica actividad. Sí, porque al cargo «oficial» en Deusto hay que añadir su papel en Doce Miradas, su participación en el grupo experto de la Comisión Europea Gendered Innovations, su colaboración semanal con la sección «De las ondas a la red» del espacio «Hoy por hoy» de la Cadena Ser o su labor como mentora en Inspira Team para promover vocaciones científicas en las niñas y desarrollar su autoestima. Ya os digo que podría continuar con algunas cuantas ocupaciones más, pero un post es un post.
En las clases quiero incorporar de vez en cuando voces externas sensibles en materia de ética relacionada con la inteligencia artificial y la analítica de datos masivos. Con Lorena lo tenía fácil porque conozco su trabajo desde hace mucho tiempo. Ella nos contaba al principio que estudió Ingeniería Informática para vérselas con las máquinas –el mismo output si introducimos el mismo input– pero que ha acabado en terreno de personas. Claro, son las que manejan las máquinas. Aunque a veces nos entran dudas de hasta qué punto no caminamos, en algunos aspectos, en sentido contrario. El caso es que hemos aprovechado las dos horas de clase para aprender que los puentes también tienen ideología.
La sesión nos ha hecho pensar de dónde vienen los sesgos: ¿de una muestra de datos ya sesgada o quizá de una sociedad en la que los sesgos existentes se trasladan sin más a los algoritmos? ¿O quizá de ambas procedencias al mismo tiempo? Lorena repasaba caso tras caso y mostraba cómo Google, Amazon o Facebook incorporan sesgos flagrantes en sus algoritmos. Sea con software de traducción, con sistemas de reconocimiento facial, con asignación por defecto de profesiones a hombres y mujeres o en otros aspectos. El gran problema puede estar en no ser conscientes de que sí, de que los sesgos están también en los algoritmos. Y ya se sabe que cuando no hay conciencia de problema, ¡ese es el verdadero problema!
Pasa el tiempo y todavía hoy es el día en que una simple búsqueda en Google con el texto «una mujer debe estar» desencadena una retahíla de otras búsquedas sugeridas por su algoritmo que son de caerse de espaldas. Lo mismo acontece con las ya famosas traducciones de español a turco y luego de turco a inglés en Google Translate. El arte de magia ha conducido a los hombres a ser doctores y a ellas a ser enfermeras. Los robots de asistencia usan por defecto voz de mujer. Ya se sabe: «ellas ayudan, ellos mandan». La «inteligencia» artificial para interpretar imágenes digitales define el rol: ellas cocineras (en casa, por supuesto) y ellos cualquier cosa por encima.
En una diapositiva Lorena nos preguntaba: ¿Y quién está diseñando la tecnología actual hoy en día en su inmensa mayoría? Acertaste: hombres blancos de cierta edad, con una determinada cultura, en un contexto social bastante homogéneo… Suena a más de lo mismo, ¿verdad? Recuerda el problema al que nos enfrentamos ahora mismo con estas nuevas elecciones. Un poco más diversidad no nos vendría nada mal, ¿verdad? Podría haber sido una buena conclusión de la clase de hoy. Gracias, Lorena. Y ya sabes, ojo si sufres una tendinitis en la rodilla. Tú ya me entiendes 🙂
In the Spanish elections, apart from what degree of Catalan-bashing you prefer, you’ll also be able to choose between a 40-year-old white man, a 40-year-old white man, a 40-year-old white man, a 40-year-old white man, or a 40-year-old white man without a tie. pic.twitter.com/SQlLxsNUFo
— Brian Cutts (@brian_ebre) October 29, 2019
8 comentarios
Hola, Julen:
Pues sí, el mayor problema es no ser conscientes de que los algoritmos no son una ciencia exacta, unos artefactos objetivos, sino que contienen sesgos, porque esos dispositivos matemáticos están hechos por humanos, con sus sesgos.
Ahora bien, tengo mis dudas en relación con esto que dices (te quejas) aquí: «una simple búsqueda en Google con el texto «una mujer debe estar» desencadena una retahíla de otras búsquedas sugeridas por su algoritmo que son de caerse de espaldas». A ver, ¿es un problema del algoritmo, o sea, de quien lo diseñó, o es un reflejo de lo sesgada, o sea, machista, que es la sociedad? Debe haber seguramente un poco de los dos, pero me inclino a pensar que, en este caso concreto, pesa más lo segundo. Y si fuera así, pregunto: ¿sería correcto que el algoritmo introduzca un ajuste para corregir el sesgo? Tengo mis dudas al respecto. Podría ser algo parecido a la «discriminación positiva», pero llevada a algoritmos, pero, si hablamos de un cacharro que nos dice «las búsquedas más buscadas» (con perdón de la redundancia), a mí me parece que ese mecanismo anti-sesgo nos llevaría a resultados que no se corresponden a la realidad, serían (más) engañosos (de lo que ya son). Vale, OK, unos resultados más políticamente correctos tal vez ayudarían (y no estoy tan seguro de eso) a influir positivamente en la percepción social, pero entonces confundiríamos lo «objetivo» con lo «normativo», y eso me preocupa. A mí me puede interesar precisamente que el buscador me diga lo que la gente asocia más a la mujer, y aflorar ese machismo, sin esconderlo, ni corregirlo falsamente, para saber que ese problema existe, y poder ponerlo en evidencia. O sea, como bien sabes, el tema es muy complejo. En el resto de los ejemplos que pones, estoy de acuerdo (enfermeras, doctores, voz de los asistentes, traducciones, etc.). También de acuerdo con que el problema de fondo es entender a gestionar la diversidad de un modo mucho más saludable… y, sobre todo, que esa diversidad se vea representada en la gente que fabrica esos algoritmos…
«La mujer debe estar» es la simple consecuencia de recoger lo que la gente busca. ¿Por qué entonces decir que el algoritmo tiene un sesgo? Porque reproduce directamente el sesgo de los humanos. ¿Los humanos hacemos algo para intentar minimizar los efectos que pueden causar los sesgos que acarreamos? Entonces, ¿por qué no trabajar para corregir el sesgo del algoritmo? La procedencia del sesgo es diferente: puede que provenga de una muestra no representativa, de los sesgos que poseen los datos o de los sesgos de quienes diseñan los algoritmos. Aunque, por supuesto, no da igual la causa, el algoritmo sí que tiene sesgo.
Todos sabemos que la inercia es un poderoso factor para mantener e incluso fortalecer una conducta. Los humanos en ocasiones trabajamos para cambiar la realidad. ¿Los algoritmos no deben hacerlo? Es una intervención política, más necesaria que nunca. Si el algoritmo -como sucede en traducciones del español al turco y luego del turco al inglés- estaba cambiando género y la doctora acababa siendo enfermera mientras que el enfermero se convertía en doctor, también lo hacía porque en la sociedad mayoritariamente hay empleos asociados a hombres y otros a mujeres. ¿No debemos cambiar el algoritmo y mantener las diferencias por sexo?
Creo que la tecnología, evidentemente, tiene ideología. El algoritmo que refleja cómo «la mujer debe estar», según Google, tiene tecnología. Imagina que quieres cambiar conductas machistas en un país que mayoritariamente lo es: ¿dejarías que una poderosa arma de construcción de realidad como son los algoritmos «reflejaran» sin más la opinión mayoritariamente machista? Entonces el algoritmo no es «neutro»: está ahondando en la brecha.
No se mi explico…
[…] no hay corrección. En las clases de ética del grado en Business Data Analytics hace poco Lorena Fernández nos hacía reflexionar sobre si los objetos tienen ideología. Para ello nos contaba el caso de unos puentes para acceder a Long Island allá cerca de Nueva York […]
[…] No seré yo quien diga que no necesitamos de la ciencia de datos para contribuir a solucionar este follón en el que nos hemos metido. Es más, creo que esta es una de las mejores armas. Pero también soy consciente de que la opinión pública se alimenta de titulares y hay mucha psicología de masas en juego. En cada rueda de prensa las autoridades pasarán el filtro de qué debemos decir y cómo. Una cosa son los datos que (creen que) manejan y otra la forma en que esos datos se interpretan para comunicar a la sociedad en su conjunto cierto tipo de mensaje. No importa el dato; importa cómo influimos en la sociedad con el dato que comunicamos. Aquí en esta parte del sur de Islandia, el Gobierno Vasco parece dar un paso en la transparencia de los datos y sabemos pueblo a pueblo y franja de edad a franja de edad cómo están las cosas. Se dan cifras y más cifras en una bacanal de datos para alimento de algoritmos. Recordemos: los datos tienen, siempre, ideología. […]
[…] sé por qué me suelo equivocar con el teclado y escribo con cierta frecuencia algortimos) porque la tecnología, por supuesto, tiene ideología. Los índices de digitalización de países, de sectores económicos o de empresas individuales […]
[…] No seré yo quien niegue la mayor. En realidad me lo creo a pies juntillas. Lo que pasa es que los datos siempre cargan ideología y esto es algo que demasiadas veces se obvia. Cualquier recogida de datos es esclava de la […]
[…] Pero no podemos no tener en cuenta este punto de vista. Necesitamos un posicionamiento crítico. La tecnología, no hay que olvidar, es ideología. Y es una ideología que a veces no es tan fácil de detectar. Va subsumida en los algoritmos, en […]
[…] pero conviene desarrollar las defensas del pensamiento crítico. Los algoritmos son ideología, la tecnología es ideología, no nos cansaremos de repetirlo. Por eso un modelo de negocio digital también tiene que apoyarse […]