La opinión de un periódico británico sobre la injusticia digital: cuando los ordenadores empeoran las cosas.

El software comete errores más grandes y más rápido que los humanos. No se le debe confiar decisiones vitales

Anatomía, La Biología, Cerebro

La noticia de que el Ministerio del Interior de Reino Unido está clasificando las solicitudes de visas con algoritmos secretos aplicados a las solicitudes en línea es un recordatorio de uno de los legados más tóxicos y duraderos de Theresa May: sus políticas de inmigración como Ministra del Interior. Sin embargo, incluso si los objetivos del Gobierno en materia de política de inmigración fueran justos y equilibrados, seguirían existiendo serios problemas de principio en la digitalización del proceso.

La entrega de decisiones que cambian la vida a los algoritmos de aprendizaje de máquinas siempre es arriesgada. Los pequeños sesgos en los datos se convierten en grandes sesgos en el resultado, pero son difíciles de cuestionar porque el uso de software los envuelve en nubes de ofuscación y supuesta objetividad, especialmente cuando su funcionamiento se describe como “inteligencia artificial”. Esto no quiere decir que sean siempre perjudiciales, o que nunca sirvan para nada: con una formación cuidadosa y problemas bien entendidos y claramente definidos, y cuando funcionan con buenos datos, los sistemas de software pueden funcionar mucho mejor de lo que los humanos podrían hacerlo.

La noticia de que el Ministerio del Interior está clasificando las solicitudes de visas con algoritmos secretos aplicados a las solicitudes en línea es un recordatorio de uno de los legados más tóxicos y duraderos de Theresa May: sus políticas de inmigración como Ministra del Interior. Sin embargo, incluso si los objetivos del Gobierno en materia de política de inmigración fueran justos y equilibrados, seguirían existiendo serios problemas de principio en la digitalización del proceso.

La entrega de decisiones que cambian la vida a los algoritmos de aprendizaje de máquinas siempre es arriesgada. Los pequeños sesgos en los datos se convierten en grandes sesgos en el resultado, pero son difíciles de cuestionar porque el uso de software los envuelve en nubes de ofuscación y supuesta objetividad, especialmente cuando su funcionamiento se describe como “inteligencia artificial”. Esto no quiere decir que sean siempre perjudiciales, o que nunca sirvan para nada: con una formación cuidadosa y problemas bien entendidos y claramente definidos, y cuando funcionan con buenos datos, los sistemas de software pueden funcionar mucho mejor de lo que los humanos podrían hacerlo.

Pero no pueden manejarlo todo. Es mucho más fácil definir el éxito y capacitar a los programas para lograrlo, cuando se trata de una medida numérica simple y unidimensional, como la reducción del fraude con tarjetas de crédito. Si en cambio el software se establece para maximizar algo tan difícil de definir como la justicia, es mucho menos probable que tenga éxito. Y si es fijado como objetivo por un político ambicioso que está decidido a reducir el número de inmigrantes admitidos en este país, es casi seguro que será parcial e injusto.

Esto no es sólo un problema de software. Hay un sentido en el que toda la función pública, como cualquier otra burocracia, es una máquina algorítmica: trata los problemas de acuerdo con un conjunto de reglas determinadas. El buen funcionario, como un programa de ordenador, ejecuta sus instrucciones fielmente y hace exactamente lo que se le dice. Se supone que el funcionario debe tener una idea más clara de lo que su instrucción humana significa y lo que realmente quiere que cualquier computadora pueda hacer. Pero cuando las instrucciones son claras, la maquinaria del gobierno -una metáfora elocuente- está destinada a ponerlas en práctica.

Los algoritmos digitales hacen que sea fácil cometer errores más grandes, más rápido y con menos responsabilidad. Una diferencia clave entre la burocracia analógica de la administración pública tradicional y la burocracia digitalizada de la inteligencia artificial es que es mucho más fácil responsabilizar a una organización humana y volver sobre el proceso por el cual tomó una decisión. El funcionamiento de las redes neuronales suele ser opaco incluso para sus programadores.

Sin embargo, la tecnología promete tanto a los gobiernos que sin duda la desplegarán. Esto no significa que seamos impotentes. Existen pruebas sencillas y no técnicas que pueden aplicarse a la tecnología gubernamental: podemos preguntarnos fácilmente si la digitalización de un servicio en particular mejora la vida de los ciudadanos que deben utilizarlo o si es simplemente más conveniente para la función pública. En algunos casos, estos objetivos se oponen directamente. Obligar a los solicitantes de crédito universal a solicitar crédito en línea perjudica directamente a cualquiera que no tenga conexión a Internet, y es probable que estas personas sean las que más lo necesiten. Del mismo modo, la digitalización de los servicios de inmigración hace que sea más difícil y costoso conseguir una entrevista cara a cara; una vez más, algo que probablemente perjudicará a quienes más lo necesitan.

El software nunca se implementa de forma aislada. Incluso cuando su funcionamiento interno es imposible de escrutar, los motivos de quienes lo despliegan pueden ser examinados y deben ser criticados, y deben ser considerados responsables de los efectos de sus algoritmos.

Esta es la opinión de un famoso periódico de nuestros vecinos del norte.

¿Que opinas tú?