¿Quién debe auditar los algoritmos?

Este año, con chicas y chicos ya en tercero de nuestro grado en Business Data Analytics, vamos a tratar de sensibilizar sobre el concepto de auditoría algorítmica. Ya escribí en su día sobre este asunto a partir de la propuesta que Eticas Consulting ha puesto sobre la mesa. Se trata de una guía de gran utilidad que entiende las auditorías algorítmicas como «una forma necesaria de hacer que esta tecnología sea más explicable, más transparente, más predecible y más controlable por la ciudadanía, las instituciones públicas y también las empresas, ya sea antes del desarrollo del sistema, durante su desarrollo o a posteriori.»

Preparando algunos materiales para una clase que tengo en octubre, se me ha planteado la cuestión de quién debe auditar los algoritmos. En principio, hay que decir que la propuesta de Eticas Consulting mira sobre todo a aquellos en los que se tratan datos personales. Sin embargo, es evidente que, más allá de que un algoritmo use en su construcción datos sensibles, finalmente las consecuencias de su aplicación conducirán, sí o sí, tendrán un determinado impacto social. Habrá una graduación, pero me temo que este impacto social se puede generar sin necesidad de que, en principio, se hayan usado datos de carácter personal para su elaboración.

Cuando escríbía ¿Qué máquinas queremos? ya pensaba en que los algoritmos que estén detrás del diseño de las máquinas actuales —a priori sin dato de carácter personal por detrás— influirán decisivamente en lo que somos como personas y también, claro está, como trabajadores. El impacto social no se puede obviar.

Ahora bien, volviendo al motivo de este post, ¿quién debería auditar un algoritmo? Después de darle unas cuantas vueltas, creo que al final hay cuatro grandes perspectivas que entiendo como complementarias. Un algoritmo debería ser auditado por:

1. El propio equipo de trabajo que está trabajando en su confección. Esto quiere decir que, en origen, hay que pensar en la forma en que el propio equipo genera competencias para llevar a cabo una auditoría. De esta forma buscamos sensibilizar sobre la cuestión.
2. Entidades externas «certificadoras», avaladas por su conocimiento y su experiencia. No tengo duda de que este mercado va a crecer en los próximos años. Es muy probable que se configure como un subsector específico… si es que no lo es ya. Como en otros ámbitos, su independencia será fundamental.
3. Las administraciones públicas deberían dotarse de recursos en este campo. Ya sé que es complicado por ese afán sin fin de ahuecarse y privatizar, pero no dejaría solo en manos del mercado esta labor. De la misma forma que entidades como las agencias de protección de datos deben mantenerse como garantes de nuestros derechos desde el ámbito público, entiendo que a su amparo deberían disponer de competencias en este ámbito.
4. La ciudadanía, en un modelo en el que se exigiera transparencia en la explicación del funcionamiento de los algoritmos, debería tener la posibilidad de auditar. Sí, habrá cosas más sensibles, pero no está de más que, al igual que en otros ámbitos, intentáramos evitar las cajas negras.

Estaremos atentos a cómo evoluciona este «mercado». Como explica Gemma Galdón en esta entrevista en Forbes, lo que necesitamos no es tanto la teoría, sino aterrizarla:

Over the last 3 years, the debate space has matured, but still, it often does not translate into action. I think one of the problems is that the debate on bias and tech is often limited to abstract notions of fairness and non-discrimination. What we need is to land these into technical specifications. We don’t need good intentions, we need good practices.

Imagen de chenspec en Pixabay.