01La pregunta que abre esta conversación
Hoy, una persona puede decidir si alguien recibe un beneficio, accede a un servicio, obtiene un crédito, es considerado para un empleo o requiere una determinada intervención.
Pero los sistemas tecnológicos ya participan, cada vez más, en este tipo de decisiones.
Entonces aparece una pregunta que todavía no hemos discutido lo suficiente:
¿Qué ocurre cuando una decisión sobre una persona deja de depender solamente de otra persona y comienza a depender de un algoritmo?
Esa es la pregunta que abre esta conversación. Y la tesis de este primer cuaderno es la siguiente:
02¿Qué es realmente un algoritmo?
Para poder discutir esto con seriedad conviene empezar por lo más simple, sin convertir al algoritmo en algo misterioso.
Un algoritmo es, en términos generales, un conjunto de instrucciones o reglas que permiten procesar información para obtener un resultado.
El algoritmo no aparece de la nada. Alguien decidió:
- qué datos utilizar;
- cuáles considerar relevantes;
- cuáles excluir;
- qué variables ponderar;
- qué resultado considerar correcto;
- qué nivel de riesgo aceptar;
- qué decisión tomar ante determinados resultados.
Y aquí aparece el primer cuestionamiento: si una decisión produce consecuencias sobre una persona, ¿podemos decir que la responsabilidad también pertenece al algoritmo?
03El problema comienza con los datos
Los sistemas trabajan con representaciones de la realidad, no con la realidad misma.
Un expediente no es una persona.
Una puntuación no es una persona.
Un historial no es una persona.
Una variable no explica por completo una trayectoria de vida.
Esto es particularmente importante cuando hablamos de personas en situaciones de vulnerabilidad, donde intervienen factores como:
- pobreza;
- acceso a servicios;
- historial laboral;
- educación;
- territorio;
- género;
- situación familiar;
- salud;
- comportamiento digital.
Los datos pueden ser útiles. Pero un dato siempre es una selección de la realidad.
04Cuando los datos reproducen desigualdades
El algoritmo puede parecer neutral porque utiliza matemáticas. Pero:
Si los datos históricos contienen desigualdades, discriminaciones o exclusiones, un sistema puede aprender patrones que reproducen esas mismas desigualdades.
Aquí entran fenómenos como:
- sesgo de datos;
- sesgo histórico;
- variables proxy;
- discriminación algorítmica;
- errores de clasificación.
Autoras como Virginia Eubanks y Cathy O’Neil han documentado ampliamente estos casos, conectando esta reflexión con una literatura especializada cada vez más sólida.
05El caso que debería preocuparnos: cuando el algoritmo decide sobre personas
Basta con mirar distintos sectores para ver un mismo patrón repetirse:
Sistemas utilizados para identificar posibles casos de fraude o determinar quién requiere atención.
Sistemas utilizados para filtrar candidatos o evaluar desempeño.
Modelos que estiman riesgo y capacidad de pago.
Sistemas que clasifican o predicen desempeño.
Herramientas utilizadas para evaluar determinados riesgos.
No se trata de convertir este texto en una lista de casos. Se trata de ver el patrón de fondo: la tecnología está pasando de ayudarnos a procesar información a participar en decisiones que tienen consecuencias humanas.
06El verdadero problema: ¿quién responde?
Podemos automatizar una decisión, pero no deberíamos automatizar la responsabilidad.
Preguntas que vale la pena desarrollar:
- ¿Quién diseñó el sistema?
- ¿Quién eligió los datos?
- ¿Quién estableció los criterios?
- ¿Quién valida los resultados?
- ¿La persona afectada puede cuestionar la decisión?
- ¿Puede conocer las razones?
- ¿Existe revisión humana?
- ¿Quién responde cuando el sistema se equivoca?
Aquí el artículo deja de hablar solamente de tecnología para hablar de poder, derechos y responsabilidad.
07No se trata de estar a favor o en contra de la tecnología
Esta no es una discusión de tecnología buena contra tecnología mala.
La tecnología puede mejorar procesos, detectar patrones, reducir tiempos y apoyar decisiones. Pero precisamente porque puede hacerlo, necesitamos preguntarnos bajo qué condiciones debe utilizarse.
Un sistema puede ser muy eficiente para clasificar personas y, al mismo tiempo, producir decisiones injustas.
Por eso la pregunta no debe ser únicamente:
“¿Funciona?”
También:
¿Para quién funciona?
¿Qué consecuencias produce?
¿A quién puede perjudicar?
08¿Qué necesitamos entonces?
Cinco condiciones que, desde PRAXIS, consideramos indispensables:
- 1TransparenciaSaber cuándo una decisión está siendo apoyada o producida por un sistema automatizado.
- 2TrazabilidadPoder identificar cómo se llegó a determinado resultado.
- 3Supervisión humanaQue existan mecanismos reales de revisión.
- 4Derecho a cuestionarQue una persona pueda impugnar o solicitar revisión de una decisión automatizada.
- 5ResponsabilidadQue siempre exista una persona, institución u organización responsable.
09La pregunta no es si los algoritmos llegarán
Porque ya están aquí.
La discusión importante es:
¿Qué tipo de decisiones estamos dispuestos a delegar en ellos?
Y todavía más:
¿Qué decisiones nunca deberíamos delegar completamente?
Las ciencias sociales tienen mucho que aportar a esta discusión porque estudian precisamente aquello que los datos no pueden explicar por sí solos:
- contexto;
- relaciones;
- desigualdad;
- comportamiento humano;
- instituciones;
- poder;
- derechos;
- territorio;
- cultura.
Comprender la tecnología también es una forma de defender la capacidad de cuestionarla.