Es el final de una tarde de viernes de verano. Lima viene experimentando una ola de calor sin precedentes. Nada de esto, sin embargo, afecta a Daniel quien va quedándose dormido en el asiento posterior de su vehículo autónomo con dirección a su casa de playa. Mientras a lo lejos escucha muy suavemente una música que lo adormece y la computadora de a bordo mantiene la temperatura interior a un nivel agradable, el auto recorre las pistas de Lima con una seguridad que ya no sorprende.
Al llegar a un cruce, un niño que procuraba alcanzar una pelota que se le había escapado invade la pista saliendo por detrás de un auto mal estacionado. El procesador del auto, conectado a una plataforma que haciendo uso de la tecnología 5G le proporciona información en tiempo real de diferentes otros autos y cámaras de la zona, no tiene otra opción que enfrentarse solo al dilema: puede intentar aplicar toda la potencia a los frenos, pero las probabilidades de éxito son nulas y sin duda ello lastimará a Daniel aunque no de gravedad. Si se desvía a la derecha, colisionará con algunas personas paradas en el cruce entre ellas ancianos y una madre con un coche con un 80% de probabilidades de contener a un bebé. Si se desvía a la izquierda e invade el carril contrario se chochará con un camión generando un 85% de probabilidades de matar a Daniel y un 10% de probabilidades de causar daños menores al otro conductor. Nuevamente el viejo problema moral del tranvía sin frenos.
Si Daniel hubiera estado manejando el auto a la velocidad reglamentaria, cualquiera de las decisiones sería analizada a la luz del derecho como una reacción emocional no premeditada y cualquier daño causado podría eventualmente ser entendido y quizá Daniel sería eximido de responsabilidad. Tratándose de la decisión matemática de un algoritmo, ese análisis no cabe. ¿Tienen ética los algoritmos?
Ciertamente la respuesta es negativa. El algoritmo solamente procesa los inputs y toma una decisión sobre la base de la programación efectuada “if…then”. En la frialdad de las líneas de código subyacente y la base de datos a disposición, el algoritmo interpreta las circunstancias y genera un resultado con el que eventualmente podemos discrepar o no pero que no depende de una consciencia ética como tal.
Como hemos anticipado, los algoritmos dentro de un código no actúan solos. Son una pieza más del conjunto que ayuda a entender una determina circunstancia y resolverla conforme a la lógica programada. Para poder funcionar adecuadamente, el algoritmo necesita de una base de datos muy poderosa que lo alimente y le haga “comprender” el mundo al que se enfrenta.
Imaginemos, en el mismo ejemplo de Daniel dormido en su auto autónomo que el programa tuviera un algoritmo diseñado de tal modo que en un caso como el planteado prefiere salvar la vida de muchos que la de pocos. Eso descartaría la opción de desviarse hacia la derecha y atropellar a la gente parada en el cruce. La duda siguiente sería ¿cuál es la vida a salvar: la de Daniel o la del niño?
En ese mismo escenario, supongamos que dicho algoritmo estuviera programado de modo tal que ante un caso así prefiere salvar la vida de un ser humano joven que la de uno mayor. En dicho escenario. ¿Qué ocurriría en el caso que al momento de alimentar la base de datos del programa para que éste pudiera aprender adecuadamente cómo distinguir un caso de otro, los responsables (científicos de datos) hubieran introducido, como ejemplos de niños, imágenes caracterizadas por la siguiente consistencia de patrones: seres pequeños, bípedos, pelo rubio, tez blanca, ojos azules y ropa de colores brillantes?
Volvamos a nuestro ejemplo: el niño que va detrás de su pelota sale detrás del auto casi a gachas, es un niño que viste pobremente y se encuentra sucio, su pelo es negro, su tez es negra y sus ojos son negros. ¿Estamos cien por ciento seguros que el algoritmo identificará la imagen que recibe como la del niño que ha aprendido a reconocer?
En el 2015, Google tuvo que enfrentar la queja de un programador negro (Jackie Alciné) que advirtió que las fotos que él se tomaba y colgaba eran clasificadas por el software de Google como si fueran las fotos de un gorila. Tres años después, Google no habría cambiado estructuralmente el defecto sino que, al parecer, había simplemente eliminado las etiquetas de “gorila”, “chimpancé” y “mono” de tal modo que estas categorías no serían utilizadas para clasificar fotos[1].
Volviendo a nuestro ejemplo, ¿qué ocurriría si el programa no reconoce al niño como tal? Ciertamente el resultado o output del algoritmo sería diferente a que si lo reconociera como un humano joven y la opción de quién debería vivir sería completamente otra.
Si bien estamos a muchos años de una realidad como la descrita, el problema no es de ciencia ficción y las aplicaciones prácticas derivadas del uso de algoritmos y programas de computación son enormes, reales a la fecha y exceden el ámbito de interés de nuestros profesionales jurídicos especializados en la responsabilidad civil.
Imaginemos el caso de una empresa que contrata los servicios de otra que ha desarrollado un programa de selección de personal que busca anticipar el rendimiento probable de ciertos trabajadores para ciertas posiciones de mando medio; por ejemplo, la contratación de personas que ocupen el cargo de “asistentes de oficina”. Si el programa es alimentado de tal manera que asume que los mejores casos de éxito son aquellos en los que tales posiciones fueron ocupadas por personas con los siguientes rasgos: mujeres, caucásicas, entre 28 y 35 años, con educación escolar completa y estudios técnicos en secretariado, nivel de inglés avanzado, etc.; el programa estará utilizando data histórica (quizá además incompleta) para perpetuar una realidad que no necesariamente será la mejor. ¿Qué ocurriría con aquellos hombres trigueños que deseen ocupar dicha posición? Bajo estas condiciones tendrían menos probabilidades de tener éxito en el proceso de contratación.
Pensemos en otro ejemplo. Imaginemos el caso de un proceso de selección para ocupar la posición de CEO en una empresa transnacional. Se utiliza en tal sentido el mismo programa que ayuda a filtrar las hojas de vida y recomendar la mejor persona para el cargo. Algunas de las variables utilizadas por el programa son: hombres, caucásicos, entre 40 y 50 años, con estudios de maestría en una universidad de prestigio (Ivy League), experiencia anterior como gerente comercial o como gerente de operaciones, casado con hijos, etc.
Un programa estructurado con estas variables (además de muchas otras claro está), complicaría la selección de una mujer soltera y trigueña como candidata a CEO de la referida empresa perpetuando una realidad claramente insatisfactoria.
La realidad nuevamente es que los algoritmos no tienen ética, pero quienes realizan la programación del proceso entendido en su conjunto, sí y esa ética puede ser trasladada e impactar en el futuro que deseamos construir.
HARARI (2018), refiriéndose a los autos autónomos, se pregunta agudamente cómo se resolvería un problema como el descrito al inicio de esta nota y señala que una opción quizá sea dejar todo en manos del mercado permitiendo entonces que los fabricantes de autos diseñen dos modelos de autos autónomos: uno al que él llama “altruista” y que sacrifica a su dueño por un bien mayor y otro al que denomina “egoísta”, que hará cuanto esté en sus manos para salvar a su dueño, incluso si eso significa matar al niño o a los peatones en el cruce[2]. Cada cliente elegiría qué auto comprar y sería el mercado el que regule qué tipo de auto se fabricará más. La pregunta natural, por supuesto, es ¿quién estaría dispuesto a comprar y dejar la conducción de su vehículo a la versión “altruista” descrita por Harari? Realmente esta solución es provocadora pero pareciera no satisfactoria al menos para una gran mayoría. La inacción, sin embargo, no es una opción claramente.
Y qué ocurre en el caso de la selección de personal. O en otras decenas de casos menos lejanos. Los pensadores y operadores del derecho ciertamente tienen mucho trabajo al frente y un esfuerzo de sinceramiento real que realizar si es que queremos ser coherentes entre lo que decimos que deseamos para este mundo y lo que venimos haciendo para lograrlo.
Imaginemos, por ejemplo, que dos partes deciden someter la redacción de un contrato complejo a un programa de IA. Actualmente, los abogados utilizan estándares de contratos o incluso modelos propios a los que han clasificado previamente como “pro- comprador” o “pro-vendedor” existiendo diferencias relevantes entre ellos como por ejemplo la inclusión de posibles ventanas de salida en caso se presenten situaciones no necesariamente reveladas. ¿Estaríamos dispuestos, como abogados, a hacer full disclosure de esas circunstancias y dejarnos regular por un contrato redactado por un programa de IA completamente neutral? ¿Estaríamos dispuestos a mostrar todas las ventanas que queremos dejar a nuestro alcance pero no explícitas?
Los algoritmos no tienen ética, pero los humanos sí debiéramos tenerla. El riesgo y muy grande es evidente: si manejamos varios niveles de ética o varios niveles de discurso, los programas que desarrollemos o utilicemos sólo reflejarán uno de ellos contribuyendo a perpetuar, para bien o mal, la verdadera visión e intenciones humanas.
La reflexión y la tarea, por lo tanto, no pareciera venir tan solo por regular la codificación o hacer responsables a los algoritmos o a los matemáticos o programadores que diseñen los programas por los daños que pudieran los algoritmos ocasionar. La verdadera tarea, en mi opinión, consiste en buscar encontrar en lo más profundo de nosotros aquello que realmente es valioso de nuestra humanidad y tener el coraje de ponerlo al frente de manera consistente y defenderlo sin temor a fin de lograr, si todavía es posible, un mejor mundo para nuestros hijos y nietos.
Imagen obtenida de: https://www.technicon.com.mx/noticias/el-big-data-con-los-algoritmos-en-la-era-digital-cambia-los-paradigmas-en-la-seleccion-de-los-talentos/
[1] https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai
[2] Harari, Yuval Noah; 21 lecciones para el Siglo XXI; Penguim Random House Grupo Editorial S.A.U., página 83; 2018.
