En una gran ciudad la administración toma cada día centenares de decisiones que afectan a las vidas de las personas: desde los puntos para las ayudas al alquiler a la concesión de plaza en el colegio o las rutas de los camiones de basura. La aparición de los sistemas de decisión automatizada, mediante algoritmos capaces de aprender, ha hecho que muchas de estas decisiones las tome parcialmente la máquina, sin que se conozcan bien los criterios. No se trata de perversos entes robóticos que quieren tomar el control, sino de simples programas diseñados por personas que gestionan los datos para decidir si se te concede una plaza de aparcamiento o si una línea de autobús pasará cerca de tu calle, pero pueden cometer errores y contener sesgos que afecten a tu vida. Para abordar este problema, la ciudad de Nueva York acaba de aprobar un plan para revisar estos sistemas de decisión y abrirlos al escrutinio de los ciudadanos. “Si vamos a ser gobernados por máquinas, algoritmos y datos es mejor que sean trasparentes”, explica James Vacca, el concejal que lidera la aprobación de esta norma.
“Si vamos a ser gobernados por máquinas, algoritmos y datos es mejor que sean trasparentes”
En España, las autoridades de Madrid y Barcelona también exploran la manera de regular este fenómeno e impedir que la información sobre las decisiones no quede en una “caja negra”. “Es verdad que se va hacia algoritmos que implementan la inteligencia artificial o el machine learning, que ayudan a tomar mejores decisiones, pero que al mismo tiempo dificultan las trasparencia”, asegura Pablo Soto, concejal del Ayuntamiento de Madrid a cargo del área de participación ciudadana y que colabora de cerca con Nueva York. “Nosotros queremos implementar la idea de “ciudad inteligente”, pero construirla de abajo a arriba, es decir, a partir de lo que necesitan los ciudadanos para ver cómo gobernamos nosotros esa tecnología”, explica Francesca Bria, responsable de Tecnología e Innovación Digital en el Ayuntamiento de Barcelona. Para este consistorio, insiste, no se trata solo de un problema de privacidad sobre nuestros datos, sino de “controlar el poder en la era digital”.
Esta “lucha de poder” se está manifestando de manera más evidente en EE.UU., donde se externalizan algunos servicios a empresas privadas que manejan los programas de gestión. “Aquí no tenemos procesos de decisión algorítimica pura, pero allí se despide a los docentes porque lo dice una máquina”, explica Gemma Galdón, analista de políticas públicas especializada en el impacto de la tecnología. “La posibilidad de aprender de forma automática y automatizar decisiones tiene un impacto brutal sobre muchos procesos y ese impacto será aún mayor en el futuro”, añade. “Pronto nos vamos a encontrar con que hay escenarios de decisión que no controlamos ni los ciudadanos ni los políticos”. Para entenderlo, el caso que las personas tienen más cercano es el de las hipotecas. Cuando uno acude al banco, el oficinista tiene un margen limitado de decisión. Un programa informático ha analizado previamente nuestros datos y estipula si tenemos un perfil de riesgo y si somos fiables para la entidad. Y puede que ningún humano te pueda dar el motivo concreto. “Otro ejemplo muy bueno es el que se produce cuando te cancelan la tarjeta de crédito por uso indebido”, explica Galdón. “Si vas al banco no te saben decir por qué, porque ni ellos los saben; el algoritmo ha aprendido qué es lo que tiene riesgo”.
“Pronto nos vamos a encontrar con que hay escenarios de decisión que no controlamos ni los ciudadanos ni los políticos”
“Tienes una idea de qué variables puede estar utilizando el algoritmo, lo que no tienes una explicación trasparente”, asegura Amparo Alonso Betanzos, catedrática de Ciencias de la Computación y presidenta de la (Aepia). “Y esto se produce porque, aunque los sistemas funcionan muy bien, la parte matemática es tan compleja que es difícil dar una explicación de por qué hace las cosas”. Las administraciones se están haciendo conscientes de este resquicio y la propia Unión Europea pretende incluir un “derecho de explicación” en el Reglamento General de Protección de Datos (GDPR) que entrará e en vigor el 25 de mayo 2018. “Hemos creado los mecanismos algorítmicos pero no hemos creado el mecanismo para deshacer los errores, es decir, qué hacer cuando la máquina se equivoca, porque nunca tenemos en cuenta que se puede equivocar”, asegura Galdón.
Como analista, ella y su equipo han participado en el diseño de los sistemas automatizados de control de fronteras de la UE y han comprobado las consecuencias que pueden tener estos fallos en las personas. “Estamos encontrando gente que quiere cruzar la frontera y que les sale una prohibición de Schengen y no sabemos por qué”, indica. “Como lo puede meter cualquier país miembro, y no hay que dar ningún detalle, la persona totalmente colgada y sin armas para rebatirlo”. El asunto es de tal magnitud que en Estados Unidos tuvieron que crear una ley para revertir este tipo de situaciones, que no siempre son culpa del algoritmo. “A veces es implemente un problema de la mala calidad de los datos, o que están mal codificados”, explica Galdón. “Nos encontramos, por ejemplo, en la concesión de visados de viaje en el sur del área Schengen, como hay subcontratas y presión para hacerlo muy rápido, hay muchos nombres en alfabetos diferentes al inglés- en árabe, en chino o en tailandés - que están mal codificados, es decir, se transcribe mal a nuestro alfabeto, con lo cual esa persona por un error de entrada de datos llega a la UE y se encuentra con que no puede entrar”.
“En ocasiones el ingeniero se ha codificado a sí mismo como la normalidad”
En otras ocasiones el sesgos que se le atribuye a la Inteligencia Artificial son simplemente un sesgo de quien introduce los datos. “Si no eres consciente de que tus propios valores terminan formando parte de lo que piensa el algoritmo pasan estas cosas”, cuenta la analista. “En videovigilancia en aeropuertos nos hemos encontrado con que el sistema identifica a gente mayor porque se mueve más lenta, porque al final el ingeniero entiende que la normalidad es él, la persona de clase media, blanquita, que va a un aeropuerto y que va rápido porque no tiene tiempo. Y cuando le dices al ingeniero “oye, te has codificado a ti mismo como la normalidad”, abre los ojos porque nadie se lo había explicado ni le había enseñado a pensarlo”. La discriminación por parte de los algoritmos se ha convertido en un tema recurrente en los últimos meses y se ponen de manifiesto a menudo por lo que se conoce como “ataques adversarios”, introducirse en el sistema con un usuario falso para poner a prueba sus “prejuicios”.
La estudiante del MIT Joy Buolamwini se dio cuenta un día, mientras trabajaba en programas de reconocimiento facial, de que el sistema no detectaba su cara debido a su color de piel. El ingeniero que lo había diseñado, probablemente blanco, no había codificado otros tonos y rasgos más oscuros, hasta el punto de que el programa sí reconocía una señal si ella se colocaba una máscara blanca. A partir de la experiencia Buolamwini creó la llamada Liga de la Justicia Algorítmica donde recoge experiencias de otros usuarios para denunciar este fenómeno de forma colaborativa. Hace unos meses, también se descubrió que Facebook protegía preferentemente a los hombres blancos de los mensajes agresivos o insultantes, y que la plataforma de alquiler Airbnb facilita la discriminación racial por el diseño de sus sistema.
VIDEO https://www.youtube.com/watch?v=KB9sI9rY3cA
La forma en que compañías tecnologías como Airbnb intervienen en las ciudades preocupa particularmente a las autoridades de Barcelona, que están desarrollado un plan integral de digitalización. “La economía de estas plataformas está basada en la toma de decisiones automáticas” explica a Next Francesca Bria. “Si miras al modelo de negocio de compañías como Airbnb o Uber se trata de “cajas negras”, lo que significa que usan algoritmos opacos que manejan datos que pertenecen a los ciudadanos, no puedes consultarlos, no sabes sus metadatos ni lo que entra y sale, y ellos toman decisiones que afectan a los precios de las casas y el precio del transporte”. Por eso la ciudad trabaja junto a la ciudad de Amsterdam en un proyecto piloto llamado Fairbnb, que pretende ser un Airbnb gestionado de forma abierta y justa por los ciudadanos y, sobre todo, que no vulnere la normativa municipal en materia de alquileres. “La diferencia es que puedes controlar desde el ayuntamiento que esta plataforma cumple con la legalidad de la ciudad”, explica Bria. “El problema con Airbnb es que tienes una ley que obliga a alquilar tu casa solo por 30 días y no tienes manera de controlar si cumple. Con este sistema de registro, la ciudad se asegura de que no crea una burbuja en el mercado, que los alquileres sean asequibles y de que no se salten las leyes locales”.
Barcelona obligará también a todas las empresas que contraten con el ayuntamiento a ser trasparentes con los datos, que pasarán a depender de los ciudadanos y no a las compañías. “Lo que pasaba antes era que los empleados públicos que gestionaban estos temas no miraban estos detalles”, indica Bria, “así que contratabas a una empresa de recogida de basuras y se quedaba con todos los datos. Ahora decimos: la información es materia pública y esto pertenece a Barcelona, eso es una gran transformación”. A Galdón también le sorprende que durante mucho tiempo las administraciones hayan mirado para otro lado mientras las tecnológicas sacaban partido. "La innovación está creciendo a las espaldas del legislador y del regulador”, asegura. “Parece que todo el mundo ha abandonado, nos sorprende que muchas veces los temas de tecnología se introducen sin control, como pasó con la automatización del control de fronteras que no se debatió en el Parlamento Europeo porque se consideró una enmienda técnica”.
Para la responsable de Innovación Digital de Barcelona, si no hacemos nada ahora seguiremos profundizando en un modelo que algunos han bautizado como capitalismo de vigilancia en el que “cuatro grandes multinacionales del mundo, la mayoría en EE.UU.,como Apple, Amazon y Google tendrán todos los datos que les permitirán ofrecer servicios de inteligencia artificial, lo que desembocaría en un colonialismo digital”, según Bria. “Ese es el camino por el que parece que vamos, con lo cual la necesidad de empezar a regular es más urgente que nunca”, añade Galdón. “No podemos esperar a que el mercado haya creado un estándar y luego decir “mercado, lo has hecho mal”, no es una forma muy responsable de proceder”.
“Los algoritmos no han tomado el control, de momento los que mandamos aquí somos los humanos”
Pablo Soto, en cambio, cree que estos temas se llevan a un terreno distópico, cuando la realidad menos excitante. “Los algoritmos nacen de las normas y los pliegos, de documentos públicos y que emanan con una cierta legitimidad, pero al mismo tempo siempre hay márgenes en la aplicación”, explica a Next. “Estas empresas tienen un margen de discrecionalidad para gestionar los servicios para alcanzar los indicadores con el menor coste y ahí es donde pueden estar usando algoritmos que nadie conoce”. Para Amparo Alonso Betanzos, está claro que cada vez vamos utilizar más los algoritmos inteligentes en nuestra vida diaria, y es importante no perder de vista la regulación, pero cree que la propia ingeniería encontrará manera de hacer trasparentes estos procesos. “La legislación ha ido por muy detrás, podemos hacer muchas cosas que los políticos no han pensando en reglamentar y nos encontramos en una situación en la que necesitamos que la IA sea mucho mas interdisciplinar”, advierte. “Pero los algoritmos no han tomado el control, de momento los que mandamos aquí somos los humanos. No tenemos que defendernos de ellos, sino integrar eso en nuestra vida de una manera regulada y que nos permita mejorar la toma de decisiones”.
Imagen: JCT 600 (Flickr, CC BY-SA 2.0)
