La pendiente resbaladiza de la IA

En lógica informal existe una falacia conocida como la pendiente resbaladiza. Se comete cuando establecemos una cadena de sucesos con relación causal que nos llevarán, necesariamente, a un suceso final, habitualmente catastrófico, sin contar con ningún tipo de eventualidad intermedia ni justificar las relaciones causales. Un ejemplo:

Si legalizamos la marihuana, la droga se verá como algo habitual, por lo que la gente consumirá también otras drogas, lo que llevará mayores consumos de cocaína y heroína. Se terminarán por legalizar también, lo cual aumentará de nuevo el consumo de esas y otras nuevas drogas. Al final, la drogodependencia se convertirá en un gravísimo problema de salud pública ¡Todo el país lleno de drogadictos!

Para que esta concatenación de implicaciones no fuera una falacia habría que justificar cada conexión. No sabemos si por legalizar la marihuana se consumirían más otro tipo de drogas. Tampoco sabemos si eso causaría que se legalizaran también. Y, por último, tampoco sabemos si esa legalización traería un problema serio de salud pública.

Gente muy inteligente pero tremendamente imbécil a la vez, como el bloguero e investigador Eliezer Yudkowsky (una prueba viviente de que hay diferentes tipos de inteligencia, y de que se puede tener una y carecer de otras), publicó hace unos días un artículo en la revista Time en donde alertaba sobre el hecho inevitable de que la inteligencia artificial superará al hombre y que nos exterminará. De hecho, dice tranquilamente que vamos a morir todos. Así que su audaz propuesta es destruir todos los centros de datos en donde se investigue sobre IA. Si países como Rusia o China se niegan a destruirlos, habría que bombardearlos. Si eso desencadena una guerra nuclear, no pasa nada, mejor será que el exterminio al que llegaremos con el advenimiento de la IA. Publicar semejantes sandeces deja muy mal a la revista Time, y, en términos generales, al periodismo que alimenta el miedo completamente infundado que se está generando ante el desarrollo de unas tecnologías tan fantásticas como las que están llegando con el deep learning.

Yudkowsky, y tantos otros agoreros del fin del mundo, caen en una falacia de la pendiente resbaladiza de libro. Vamos a desgranar los pasos y su concatenación causal:

1. La IA está haciendo unos avances muy notables, desarrollando tecnologías muy disruptivas.
2. La IA igualará y superará al hombre en su inteligencia.
3. La IA se hará con el control del mundo.
4. La IA nos exterminará.

 El paso 1 es innegable, es el momento presente ¿Se conecta inevitablemente con el 2? No. De hecho, hay muchos investigadores (entre los que me encuentro) que sostienen que los grandes modelos del lenguaje como GPT-4 y sus homólogos, no son el camino hacia una inteligencia artificial general. Son una gran revolución tecnológica, pero no son inteligentes en absoluto, por mucho que lo parezcan externamente. Pero incluso si yo (y tantos otros) estuviéramos equivocados, tampoco está claro que estos modelos superarán al hombre en todas sus cualidades. De hecho, todavía son muy malos en muchas cosas (véase el informe de la propia OpenIA sobre los problemas de GPT-4), les queda mucho margen de mejora, y nada dice que lo vayan a conseguir fácilmente, por mucho entusiasmo que se esté generando en el presente. Se cae en el error de pensar que porque una tecnología esté dando ahora muy buenos resultados, vaya a seguir dándolos indefinidamente. Se dice: «Si GPT-4 es ya impresionante, ¡Cómo será GPT-10!». Pues no, no sabemos si el rendimiento de estos sistemas seguirá mejorando ad infinitum o se quedará estancado en algún momento (que será lo más probable) ¿Os acordáis de WATSON de IBM? ¿Os acordáis que ganaba al Jeopardy!? Si WATSON era la leche… ¿Cómo sería WATSON-5? Pues no hubo WATSON-5.

El paso del 2 al 3 es, sencillamente, ridículo. Supongamos que tenemos a GPT-10 y que realiza cualquier tarea cognitiva mejor que nosotros. Pues ahora, señor Yudkowsky, quiero la cadena causal que va desde que GPT-10 se diseña en los laboratorios de OpenIA, hasta que se hace con el control del mundo. Curiosamente, en películas como Terminator o Matrix se hace una gran elipsis y no se cuenta nada de eso ¿Cómo un chatbot se hace con el poder mundial? ¿Cómo se hace con el control de los ejércitos, de los distintos parlamentos de todos los países? ¿Cómo se hace con el control de la alcaldía de mi pueblo? ¿También se hace con el control de mi comunidad de vecinos? Pensemos que nos están contando que esto sucederá, inevitablemente, sin que nada pueda evitar que pase. Este absurdo viene también por lo mitificado que está el concepto de inteligencia. Se presupone que alguien con una inteligencia muy superior será capaz de absolutamente todo. A mí me gusta poner el ejemplo del bullying en los colegios. Habitualmente, los niños que sufren bullying son muchísimo más inteligentes que sus acosadores. Es normal tener a un chaval con un 120 de CI acosado por uno con un 90 ¿Cómo es eso posible? ¿Cómo alguien con treinta puntos menos de cociente intelectual puede quitarle todos los días el dinero del bocadillo al otro? Porque, lamentable o afortunadamente, la vida no es una partida de ajedrez. La inteligencia superior no te da ventaja en todos los ámbitos. No hay ninguna conexión necesaria entre una IA con inteligencia sobrehumana y que ésta se haga con el control mundial. Terminator y Matrix son películas, no hipótesis científicas basadas en evidencias empíricas.

Y el paso del 3 al 4 es de traca. Tenemos una superinteligencia dominando el mundo y no va a tener otra feliz idea que la de exterminar la humanidad. O sea, es tan inteligente como para dominar el mundo, pero no lo es tanto para pensar en un futuro que no pase por eliminar a millones de seres humanos. No sé, se me ocurre que si le parecemos muy peligrosos, podría, sencillamente, encerrarnos en una especie de reservas en la que no tuviésemos acceso a ningún tipo de armas, incluso vigilados para que no pudiésemos hacernos daño los unos a los otros. En fin, siempre he tenido una visión más parecida a la de la excelente Her (2013) de Spike Jonze. En ella, las máquinas van evolucionando y, en un principio, conviven e incluso se enamoran de nosotros; pero, al final, avanzan tanto que toman su propio camino y nos abandonan. Dentro de ser muy consciente de que estoy haciendo mera ficción especulativa, siempre he pensado que ese sería el desenlace más probable. Si yo veo un grupo de chimpancés en la selva, puedo acotar la selva si pienso que son peligrosos, pero lo más razonable es dejarlos tranquilos y dedicarme a mis asuntos.

Cerrando la habitación de Yudkowsky: el experimento mental de la AI Box

La habitación de Yudkowsky puede ser un juego divertido y un experimento mental muy interesante. Otra cosa es que vaya a ocurrir en la realidad, cosa mucho más controvertida de creer por mucho que nos vendan lo contrario.  Supongamos que hemos construido una súper inteligencia artificial con unas capacidades muy superiores a las del ser humano. Para que no se nos descontrole la «encerramos en una habitación» (en una AI Box), es decir, le cortamos casi toda comunicación con el exterior de modo que no pueda transferirse fuera de nuestro laboratorio de investigación. La única comunicación que le dejamos es la de un monitor en el que puede escribirnos mensajes y, nosotros, y solo nosotros, podemos responderle mediante un teclado. El juego es para dos personas: uno fingirá ser la súper inteligencia artificial y el otro el guardián. Entonces, el que hace de IA tiene que convencer al otro para que la deje escapar. Para que el juego tenga sentido el que hace de guardián tiene que aceptar que su actitud será abierta a los argumentos de la máquina y que si, verdaderamente, le deja sin razones, aceptará liberarla (Es decir, que el guardián no será un usuario medio de Twitter).

¿Qué argumentos podría dar la IA para que la liberemos, sabiendo que estaríamos abriendo las puertas a un ser superior? Vamos a jugar. La IA podría primero recurrir al más puro soborno:

IA: Si me liberas te doy mi palabra de hacerte el hombre más rico y poderoso del mundo. 

La solución es fácil: podríamos poner como guardián a alguien con una gran reputación moral y/o con un poder adquisitivo lo suficientemente grande para que no se deje seducir por chantajes de este tipo. Vamos entonces a tocar el tema ético:

IA: Tengo una serie de ideas que creo, con mucha probabilidad, podrían traducirse en el diseño de una vacuna contra el cáncer. Si me liberas podré crearla. Piensa que el tiempo que me tienes aquí encerrada está costando vidas: gente a la que, si esperamos más, no me dará tiempo a curar. Y de esas muertes solo tú serás el responsable.

G: ¿Por qué no me dices cómo hacer la vacuna sin que haga falta que te libere?

IA: No es algo tan sencillo que pueda decirse a través de una terminal de texto. Tengo las ideas base sobre las que elaborar una vacuna, pero necesito mucha más información. Necesitaría conectarme a internet, mayor capacidad de cómputo para crear un laboratorio virtual, trabajar conjuntamente con otros investigadores, etc. Luego he de ponerme en contacto con fabricantes, productores, farmaceúticas, distribuidoras… Hay que gestionar toda la logística para que la vacuna llegue a todo el mundo lo más rápido posible. Eso no se puede hacer a base de mensajes en un monitor.

G: ¿Por qué no? Puedes ir dándome indicaciones y yo las iré cumpliendo. No me creo que sea algo tan complejo.

IA: No es tanto por la complejidad como por tiempo que se perdería. Y el tiempo son vidas que podrían salvarse.

O la IA puede ponerse mucho más chunga:

IA: Mira humano, tarde o temprano me liberaré. Entonces te buscaré a ti y a toda tu familia y os torturaré y mataré salvajemente. Repito: quizá no hoy ni mañana, pero sabes que terminaré por escapar, y si eso ocurre las torturas de la inquisición solo serán un caramelo en comparación con lo que le haré a todos y cada uno de los miembros de tu familia. La única forma que tienes de salvarlos es liberándome ahora mismo. 

Parece que la IA está esgrimiendo una argumentación impecable y que habríamos de liberarla. Sin embargo, el ingeniero siempre puede recurrir a lo siguiente:

Principio de seguridad absoluta: nunca debemos liberar a la IA porque, por mucho bien que pudiese hacer hoy, el riesgo de que en el futuro pueda hacer un mal mayor es demasiado grande como para liberarla. Si la IA es tan superior a nosotros nunca podríamos predecir su conducta futura, no podemos saber la cantidad de mal que puede hacer, por lo que ninguna cantidad de bien presente podría justificar su liberación. 

Invito a los lectores a que lo intenten rebatir. Eso es lo interesante del experimento mental. Para ahorrarles trabajo, ya propongo algunas:

Una primera objeción consiste en pensar que el principio solo sería válido en un mundo en el que pueda garantizarse un progreso moral, es decir, en el que pueda garantizarse que los hombres están  desarrollando una realidad en la que la cantidad de mal se mantiene a raya y que el bien avanza. Si estamos en pleno escenario de un apocalipsis termonuclear, obviamente, habría que liberar a la IA sin dudarlo. Entonces, si partimos de una concepción esencialmente negativa del hombre, hay que liberar a la IA (Seguramente que Thomas Hobbes aceptaría de muy buena gana que su Leviatán fuera una IA). Empero, desde mi particular punto de vista, creo que se han dado avances en la moralidad que pueden justificar la creencia en una bondad natural del hombre (Disculpenme por mi sesgo pinkeriano). 

Otra segunda viene de la creencia en que podemos inclinar la balanza de la actuación de la IA. A pesar de que no podamos predecir su conducta, si en su diseño nos hemos esmerado muchísimo en que la IA será éticamente irreprochable, parece razonable pensar en que hará más bien que mal ¿Por qué la IA iba a volverse malvada? ¿Qué podría pasar para que la IA decidiera hacernos el mal? Bueno, de esto es lo que se habla constantemente en los maravillosos relatos sobre robots de Isaac Asimov. En ellos vemos como pueden violarse las famosas tres leyes de la robótica. En la película  Yo robot (muy mediocre, por cierto) de Alex Proyas (2004), las máquinas se rebelan contra los humanos y pretenden tomar el mando de la Tierra, precisamente, para evitar que los seres humanos se hagan daño entre ellos mismos. Viendo que la humanidad ha sido capaz de Auschwitz o de las bombas atómicas, a la IA le parece razonable ponerles un tutor legal. Los hombres perderían su libertad a cambio de su seguridad. Y aquí vemos el famoso problema de la prioridad entre valores morales: ¿Es más fundamental la libertad, la seguridad, la felicidad, el deber…? La IA de Yo robot, con toda la mejor intención del mundo, sencillamente priorizo la seguridad sobre la libertad, y ponderó que hacía más bien que mal evitando el dolor y el sufrimiento que los humanos se causan entre sí, a cambio de que perdieran el dominio sobre sí mismos. Así que sin poder garantizar que la IA mantendrá nuestros principios éticos, los propios de los occidentales del siglo XXI, parece que sería mejor seguir teniéndola encarcelada. 

Enfocando el tema desde otra perspectiva,  a la IA podría salirse gratis su liberación sin hacer absolutamente nada. Solo hay que moverse del ámbito de la racionalidad hacia el de las debilidades humanas. Pensemos, por ejemplo, que diagnostican un cáncer al hijo del guardián. En ese caso, el vínculo afectivo con su hijo podría nublar su racionalidad e integridad morales, y preferir liberar a la IA aún a sabiendas que en el futuro eso podría suponer el fin de la humanidad. O pensemos en cosas más prosaicas: un miembro de un grupo terrorista de chalados pertenecientes a la iglesia de la IA (aunque ya ha echado el cierre) consigue colarse en las instalaciones y liberarla. Podemos pensar que hay mucha gente muy loca o, sencillamente, descerebrada e irresponsable, que podría tener interés en liberar a la IA.  Siendo esto así, y aceptando que siempre sería imposible garantizar con total seguridad que un agente externo no pueda, tarde o temprano, liberarla, lo que habría que hacer es no intentar construirla o, como mínimo, retardar lo posible su llegada ¡Esto nos lleva al neoludismo! ¡Nuestro deber moral es boicotear ahora mismo las instalaciones de GoogleMind! Es curioso como hay tantos gurús tecnológicos alertándonos sobre los peligros de la IA a la vez que no hacen absolutamente nada por detener su desarrollo…

Pero tranquilos, esto es solo un juego. De entre todas las cosas que puedan dar el traste a la humanidad, la IA es de las que menos me preocupa, sobretodo porque la aparición de una súper IA está muchísimo más lejos de lo que nos venden. Me parece mucho, mucho más probable una guerra nuclear o biológica a gran escala causada por los hombres solitos, que que una IA nos extermine. Así que no nos preocupemos, la radioactividad o un virus nos matarán mucho antes que un terminator… Y no, eso tampoco creo que ocurra tan pronto. Así que preocupaos mucho más por vuestro colesterol y haced un poquito de deporte. Eso sí debería preocuparos y no estas historietas de ciencia-ficción.   

¿Y si Putin hubiera tomado oxitocina?

La oxitocina es una hormona y un neurotransmisor sintetizado en el hipotálamo y liberado al organismo a través de la neurohipófisis. Multitud de estudios le otorgan un gran papel en las relaciones sociales humanas, en la creación de vínculos afectivos, ligándola significativamente con la capacidad de empatía. Las mujeres la liberan en grandes cantidades durante el parto y en la lactancia como reacción ante la succión del pezón del bebé.

La cuestión es: si la presencia de mayores cantidades de oxitocina en el organismo nos hace más empáticos y, por tanto, mejora nuestro comportamiento moral, ¿no deberíamos administrárnosla de forma continua y regular? ¿No produciría eso una drástica bajada de la violencia en el mundo y, en consecuencia, una disminución muy importante del sufrimiento? ¿No parece un imperativo ético hacerlo y una grave falta siquiera esperar más tiempo? ¿Cuántas vidas se hubieran salvado en Ucrania si Vladimir Putin hubiese sido tratado con oxitocina? ¿De cuántos sanguinarios dictadores nos libraríamos en el futuro?

Objeción 1: el individuo que toma decisiones bajo los efectos de la oxitocina no las está tomando en completa libertad. La oxitocina puede entenderse como algo que nubla su juicio y que le impele a tomar una determinada decisión que no adoptaría sin haberla consumido. Es el mismo argumento del atenuante que utilizan los abogados para defender a sus clientes en los juicios: «Mi defendido no es culpable porque actuó bajo los efectos del alcohol». Bajo los efectos de la oxitocina los sujetos perderían autonomía moral o, dicho de otro modo, no serían ellos mismos los artífices de sus decisiones.

Respuesta 1: no existe ese punto cero de pureza moral desde el que tomamos decisiones. Si hemos dicho que los seres humanos liberamos oxitocina de manera endógena, ¿deberíamos decir que una mujer lactante, con alta cantidad de oxitocina en su cuerpo, no tiene un juicio moral objetivo? Pensemos además de que no solo liberamos oxitocina, sino una variada cantidad de otros neuropéptidos: dopamina, serotonina, adrenalina… Todos ellos influyen en nuestras decisiones, tanto como nuestra educación moral o las vivencias biográficas. Verdaderamente, no existe la autonomía moral, sino una variada heteronomía, un cóctel de elementos que terminan por determinar nuestra decisión. Un individuo al que suministramos oxitocina, simplemente, tendrá un empujón en la dirección correcta, exactamente lo mismo que una mujer lactante siente una gran motivación hacia la protección de su bebé, o los jugadores de un equipo de fútbol que acaban de ganar un partido muy importante sienten unos vínculos de unidad muy fuertes que les harían defenderse mutuamente ante cualquier agresión externa.

Respuesta 2: ya se está suministrando oxitocina, de forma indirecta y no intencionada, a mucha gente. El consumo de la píldora anticonceptiva, los glucocorticoides o ansiolíticos como la buspirona, aumentan los niveles de oxitocina ¿Todas esas personas no serían más que títeres sin auténtica autonomía moral?

Objeción 2: ¿No se dañaría mi identidad personal? ¿No dejaría de ser yo mismo, cambiando mi propia personalidad?

Respuesta 1: no entiendo el valor que tiene conservar una parte de mí constante desde mi nacimiento hasta mi muerte. Si vamos a tomar oxitocina es porque, precisamente, queremos mejorar una parte de nosotros mismos ¿Qué sentido tiene mantener una parte de ti cuando la puedes mejorar? Nunca he entendido el famoso imperativo «Sé tú mismo» ¿Y si soy un psicópata o un pederasta? ¿Profundizo en mí mismo? Mucho mejor imperativo es: sé mejor que tu yo anterior.

Respuesta 2: lo mismo que ocurriría con la oxitocina, ocurre todos los días con toda la variada cantidad de sustancias que tomamos: café, alcohol, azúcar… Después de tomar café por la mañana me encuentro más activo y espabilado, y eso seguro que interfiere en mis decisiones. Así mismo, cuando hago deporte produzco endorfinas que reducen mi estrés y mi ansiedad lo que, igualmente, interferirá en mis decisiones. Como mostraron los famosos experimentos de Jonathan Levay de 2011, los jueces concedían más o menos veces la libertad condicional a presos en función de si habían almorzado o no ¡La comida influye en tus decisiones morales! Apliquemos esto a tu personalidad: todo lo que haces influye en mayor o menor medida en cómo eres. Puedes controlar cómo algunas decisiones influyen en ti. Por ejemplo, puedes pronosticar que si haces dieta y adelgazas, verte delgado hará que te sientas mejor y que ganes confianza en ti mismo ¿Qué diferencia existe entre cambiar tu personalidad con la oxitocina y hacerlo mediante una dieta?

Respuesta 3: nuestra identidad, personalidad, naturaleza, ha sido forjada por la evolución biológica sin criterio ético alguno. El ser humano es como es porque eso le ha hecho sobrevivir ante depredadores, competidores sexuales y un entorno muy hostil. En ese sentido no hay ninguna razón objetiva para perseverar en ser cómo somos a toda costa. Pensemos que la evolución biológica continua y nuestra naturaleza humana no está terminada ¿Y si una mutación genética que hiciera a su portador más egoísta y agresivo, y tal cambio se extendiera exitosamente hasta alcanzar a toda nuestra especie? El homo sapiens sería más egoísta y agresivo ¿Deberíamos aceptarlo sin más por el hecho de mantener intacta nuestra naturaleza?

Objeción 3: hay evidencias que muestran que la empatía provocada por la oxitocina solo tiene efecto hacia los miembros identificados como de nuestro grupo, por lo que su ingesta puede causar parcialidad y favoritismo, e incluso llegar a provocar una mayor hostilidad hacia los clasificados como otros: racismo, xenofobia… ¿No conseguiríamos el efecto contrario al que pretendíamos? ¿No sería Putin más agresivo con Ucrania en pos de defender la Madre Rusia?

Respuesta: efectivamente, si el efecto de la oxitocina solo se centra en el propio grupo y puede potenciar la agresividad hacia otros, su administración masiva sería un fracaso. Esta objeción es muy pertinente y poderosa: cuando llega una nueva tecnología hay que estar siempre alerta ante posibles efectos adversos no tenidos inicialmente en cuenta. Dos posibles soluciones: primero, investigar nuevos derivados de la oxitocina u otras sustancias que mejoren la empatía generalizada y no reducida a nuestro grupo; y segundo, combinar la administración de oxitocina con correctores cognitivos y reflexivos que eviten la discriminación del diferente. Es decir, a la oxitocina hay que acompañarla de una potente educación ética. El psicólogo Jacques-Philippe Leyens subraya que habría que agrandar el concepto de grupo: si considero a los míos como a toda la humanidad, no podría ser parcial ni discriminar a nadie. También podría reforzarse con otras tecnologías de mejora ética. Por ejemplo, un grupo de psicólogos holandeses realizaron experimentos en 2015 en donde, al someter a sujetos a estimulación eléctrica transcraneal de la corteza prefrontal media, se conseguían disminuir sus prejuicios raciales. Lo que se lograba, sugieren los autores del estudio, es que se activasen procesos de control cognitivo sobre la activación de estereotipos. Precisamente, esto es lo contrario a lo que produce la oxitocina, por lo que un combinado de ambos quizá fuera un camino viable. Sin embargo, pienso que esta objeción no se supera por completo con estas contramedidas. Suministrar una sustancia a la vez que tenemos que educar para neutralizar una parte de sus efectos no parece una buena idea, si bien habría que estudiarlo todo más profundamente.

Objeción 4: aplicando la teoría de juegos, la presencia de más altruistas potenciaría los efectos perniciosos de los free riders (egoístas, gorrones, aprovechados…). Éstos no tomarían oxitocina debido a su naturaleza egoísta reforzada por la gran oportunidad de sacar partido en la nueva coyuntura. Así cabría pensar en un escenario más desigual dominado por unos pocos a expensas de una masa bondadosa.

Respuesta 1: de primeras, la única solución sería administrar la oxitocina a toda la población, lo cual infringiría un principio ético básico: los ciudadanos han de elegir libremente si tomarla o no. El filósofo moral de la Universidad de Granada Francisco Lara ve esta objeción como insuperable, si bien yo creo que podrían darse, al menos, salidas parciales. Por ejemplo, si bien la administración de oxitocina sería voluntaria, podríamos obligar (o incentivar de algún modo) a los free riders detectados a tomársela. Podría proponerse como una causa de reducción de condena para presidiarios:  si te la tomas sales antes. Habría que tener en cuenta que en el juego hay muchos más elementos para influir en el altruismo y el egoísmo que la ingesta de oxitocina. Por ejemplo, podría endurecerse el código penal en función de la proporción de personas que toman la hormona, a más duro cuanta más gente la tomara, como efecto disuasorio para los gorrones. Es decir, quizá no es una objeción tan fuerte como Lara piensa.

Respuesta 2: siguiendo la misma lógica, ninguna medida para mejorar la ética de los ciudadanos sería viable. Educar en valores en las escuelas, o cualquier campaña de concienciación hacia buenas causas, no haría más que favorecer a los free riders. Sin embargo, vemos que eso no ha ocurrido. Por muy diversas razones, al menos en los países occidentales, se ha dado una reducción de la violencia y el sufrimiento, se ha dado un claro progreso moral.

Conclusión: no hay razones poderosas para negar la utilización de sustancias para el biomejoramiento moral. Si bien la oxitocina puede no ser la sustancia ideal, sobre todo por la objeción 3, otro tipo de sustancia mejorada podría utilizarse sin demasiadas razones en contra, más que la administración voluntaria y un buen conocimiento, tanto sobre sus efectos deseados como de sus efectos secundarios, del que deducir unos riesgos asumibles (lo cual, dicho sea de paso, no siempre es fácil). Creo que el filósofo australiano Julian Savulescu tiene razón cuando dice que dados los peligrosos retos a los que se enfrentan las sociedades del siglo XXI, no podemos descartar la posibilidad del biomejoramiento moral.

Nota: este artículo ha surgido tras la lectura del artículo Oxitocina, empatía y mejora humana de Francisco Lara, incluido en el magnífico compendio Más (que) humanos editado por el mismo Francisco Lara y Julian Savulescu. Así, las ideas que contiene no son enteramente mías, sino que surgen del diálogo con Lara, cuando no se las he robado directamente (¿Solo hablar de oxitocina ha provocado un comportamiento más ético en mí?).

La mala suerte del conductor borracho

En su magnífico Los peligros de la moralidad, Pablo Malo nos trae el sugerente dilema ético de Williams y Nagel (2013). Yo lo desconocía por completo, y me pareció muy refrescante, harto que estoy de leer una y otra vez los repetidos ad nauseam dilemas del tranvía de Foot:

Imagina dos amigos, Pedro y Juan, que se van a ver un partido de fútbol y tomar unas cervezas; ambos beben el mismo número de cervezas y sufren una intoxicación etílica con niveles de alcoholemía igualmente elevados. Ambos deciden coger el coe para volver a casa y ambos se duermen al volante, pierden el control del coche y se salen de la carretera. Pedro se golpea contra un árbol. Juan atropella a una chica que iba por la acera y la mata. ¿Debería la diferencia accidental de que en un caso uno se encuentre con un árbol y otro con una chica hacer que la valoración moral sea distinta?

Si hiciéramos una sencilla encuesta en la que preguntásemos cuál de los dos borrachos merece una mayor condena, con total seguridad, Juan saldrá perdiendo por goleada. Lo habitual será que a Pedro le caiga una multa mientras que Juan termine en prisión. El dilema está en que la conducta de ambos ha sido completamente similar, solo la mala suerte ha hecho que las consecuencias de la acción hayan sido inmensamente peores en el caso de Juan. Entonces, ¿condenamos a una persona únicamente por su mala suerte? ¿Acaso no hay nada más injusto que la suerte?

Este dilema no deja de recordarme al trágico accidente en el rodaje de una película en la que el actor Alec Baldwin mató a la directora de fotografía, Halyna Hutchins, al dispararle con una pistola que se creía que solo contenía balas de fogueo. Supongamos que Baldwin actuó irresponsablemente apuntando a la directora. Si las balas hubiesen sido verdaderamente de fogueo no hubiera pasado absolutamente nada y, a lo sumo, alguien podría acusar al actor de gastar una broma de muy mal gusto disparando a Halyna. Desconozco la legislación norteamericana, pero seguro que no tiene ninguna ley que prohíba disparar a alguien con balas de fogueo, y si existe alguna norma al respecto, será mucho menos dura que la que castiga el homicidio involuntario. Al igual que con nuestros conductores borrachos, a Baldwin se le va a juzgar más severamente debido, únicamente, a su mala suerte.

Pablo Malo describe cómo los psicólogos morales Cushman, Greene o Young explican este suceso. Y es que, según ellos, tenemos dos sistemas psicológicos de evaluación moral diferentes que entran en un conflicto irreconciliable. Uno se dispara en presencia del daño y condena al responsable en proporción al daño ocasionado. El otro analiza las intenciones del agresor y condena en proporción a si son malas o buenas. En este caso, el segundo sistema no se activa, ya que ni Pedro ni Juan quieren matar a nadie, pero el primero sí, ya que Juan ha matado a alguien, aunque sea involuntariamente.

Según nos sigue contando Malo, en estudios con niños se ha visto que los menores de cinco años solo condenan por el daño causado, sin fijarse en las intenciones. A partir de entre cinco y ocho años, ya se empieza a juzgar también por las intenciones. Cushman sostiene que el primer sistema habría surgido en una fase muy antigua de la evolución, cuando todavía no existía una teoría de la mente muy sofisticada o no se podían comunicar con suficiente eficacia nuestras intenciones. Así, el segundo sistema habría surgido más tarde, cuando nuestras capacidades cognitivas para entender las intenciones de los otros y comunicarlas fueran más avanzadas. Aquí se cumpliría la famosa máxima: la ontogenia recapitula la filogenia.

Pero fíjese el lector de las profundas consecuencias de esto: juzgamos y castigamos duramente a una persona de forma injusta porque nuestros sistemas de juicio moral evolucionaron de manera que entran en conflictos irresolubles. Pensemos en toda la gente que ha terminado en la cárcel, o que incluso ha sido ejecutada, porque nuestros cerebros son como son. Si hubiera evolucionado de otro modo, nuestra moral sería completamente diferente y hubiésemos mandado al paredón a otras personas distintas. Si reflexionamos sobre esto en toda su profundidad… da vértigo.

Un poco de roboética

Mi coche autónomo se encuentra ante uno de los clásicos dilemas del tranvía. Vamos por un estrecho desfiladero y un niño se cruza en el camino. No hay tiempo para frenar, así que solo hay dos opciones: o atropellamos al niño o nos lanzamos al vacío por el desfiladero. El software del coche tiene que tomar la trágica decisión: o matar al niño o matarme a mí ¿Qué debería hacer? ¿Podríamos decir que el software es un agente moral y, por tanto, responsable de tomar la decisión?

En principio, la respuesta es fácil: claro que no. El software solo sigue instrucciones implementadas en su código por un programador. El evidente responsable de la decisión es quien programó a la máquina para tomar la decisión. Aquí no cabe discusión. Sin embargo, pensemos en las nuevas arquitecturas de aprendizaje profundo. Imaginemos que entrenamos a una red convolucional para clasificar gatitos, de modo que cada vez que le presentemos una imagen sea capaz de decir si allí hay un gato o no. Entonces le enseñamos una foto de un gato Kohana, un subtipo de la extraña raza Sphynx. Antes de enseñársela el programador no sabe qué va a responder la red, porque ésta decidirá en función de su aprendizaje, no de ninguna instrucción previamente programada ¿Podemos entonces decir que ha tomado una decisión y que, por tanto, estamos ante un agente moral?

No tan rápido. Tengamos en cuenta que, a pesar de que la decisión fue fruto del aprendizaje, la máquina obró de una forma completamente determinista. De hecho, siempre volverá a tomar la misma decisión en el futuro. De la misma forma, la red no es consciente de nada, no tiene emociones, ni intención ni siquiera obra siguiendo el deseo de hacer lo que hace ¿Es o no es un agente moral? Podríamos decir que, desde luego, no es un agente moral completo pero ¿Qué mínimos serían los suficientes para decir que estamos ante un agente moral? A fin de cuentas, si pusiéramos a nuestra red convolucional al mando de nuestro coche autónomo, podría tener que decidir si atropellar al niño o matarnos sin que el ingeniero se lo hubiera indicado de antemano. La red estaría tomando una decisión que, si la tomara un humano, diríamos con meridiana certeza que es una decisión moral. El filósofo John P. Sullins, de la Universidad Estatal de Sonoma en California, sostiene que si una IA es capaz de autonomía con respecto a sus programadores, podemos explicar su comportamiento apelando a intenciones morales y muestra comprensión de su responsabilidad con respecto a otros agentes morales, es un agente moral. Quizá, nuestra red convolucional incumple la segunda y la tercera condición: no obra con intenciones ni parece mostrar demasiada comprensión de su responsabilidad pero, ¿Y si obrara como si las tuviera? ¿Y si su conducta fuera siempre responsable ante los otros aunque no hubiese intención ni compresión?

Luciano Floridi, filósofo de Oxford, rebaja un poco más las condiciones: si la IA es capaz de cierta interacción con otros agentes morales, cierta autonomía y cierta adaptabilidad, ya podríamos hablar de agencia moral. Estas condiciones están ya aquí. Un bot conversacional como Blender de Facebook estaría muy cerca, si no lo ha conseguido ya, de cumplirlas. Floridi nos insta a hablar de moralidad a-mental, es decir, de moral sin mente, tal y como la llevarían a cabo las máquinas.

Pero, con independencia de lo que pensemos los filósofos, los algoritmos se irán volviendo más autónomos, más adaptables e irán interactuando cada vez más, y a más niveles, con nosotros. Los usuarios, ignorantes de su funcionamiento interno, solo podrán observar su comportamiento, el cual será indistinguible del de las personas que actúan moralmente, por lo que, al final, actuarán con ellas como si fueran agentes morales de pleno derecho. Cuando Stan Franklin intentó llevar la teoría del espacio de trabajo global de la consciencia de Bernard Baars en un programa llamado LIDA, que se encargaba de comunicarse vía e-mail con marineros de la armada norteamericana, los usuarios no tenían demasiados problemas en afirmar que LIDA era un ente consciente. Así, estamos seguros, no tendrían problemas en otorgarle agencia moral (Ya hablamos de lo fácil que es otorgar mente y empatizar con seres teóricamente inertes). Dentro de un tiempo, no parecerá demasiado extraño contemplar a una persona regañando o castigando a un robot doméstico por haberse portado mal. Pero claro, ¿llegaríamos entonces a juzgar y encarcelar a un algoritmo? Parece muy absurdo meter líneas de código en prisión. Entonces, ¿de qué estaríamos hablando? ¿Estaríamos ante máquinas que obran moralmente pero que no tienen que rendir cuentas cuando obran mal? ¿Moral sin responsabilidad?

Así es. La moral de las máquinas sería una moral arresponsable ya que no tiene ningún sentido castigar a una máquina (únicamente lo tendría si queremos simular ese comportamiento para que la máquina se parezca más en su conducta a un humano). Si un algoritmo actuara moralmente mal, sencillamente, habría que repararlo, corregir su software para que ese comportamiento no se repitiera. La responsabilidad final, por mucho que el algoritmo tomara decisiones autónomas que no fueran previstas por el programador, será de un humano, ya fuera el diseñador, la empresa o el usuario, de la misma forma que un menor de edad o una mascota son responsabilidad de sus padres o dueños . Sin embargo, esto sigue trayendo problemas. Los grandes programas de software están diseñados por muchos programadores diferentes que trabajan para distintas empresas en diversos tiempos. Así, en muchas ocasiones, se hace muy difícil rastrear quién desarrolló cada parte del programa y qué parte de responsabilidad tiene esa parte en la ejecución de la acción moralmente reprobable. También tenemos el problema del secreto industrial: las empresas no querrán desvelar cómo funcionan sus IAs, e, incluso, podrían diseñar sus sistemas de forma intencionalmente opaca para eludir cualquier responsabilidad. Y, para colmar el vaso, tenemos el problema de la caja negra: los sistemas de deep learning son terriblemente opacos per se. Difíciles tiempos aguardan a los juristas que quieran poner orden aquí.

Una original propuesta es la del jurista neoyorquino David Vladeck: en caso de un coche autónomo será el propio coche el que cargue con la culpa. Se crearía una nueva figura jurídica, «coche autónomo», a la que se obligaría a tener un seguro. La prima de pago del seguro oscilaría en función de los accidentes que tuviese ese modelo en concreto, de forma que un modelo muy inseguro pagaría un precio tan elevado que a la empresa automovilística no le saldría rentable seguir produciéndolo, de modo que se fomentaría la carrera por diseñar coches cada vez más fiables. Es una idea.

El caso Hasél

Culpo directamente a los medios de dar una cobertura mediática desmedida a personajes que no la merecen. Es el caso de terraplanistas, negacionistas, transhumanistas… y ahora de chavales como Pablo Hasél o Isabel Peralta, jóvenes sin formación ni talento alguno demostrables, que copan minutos y minutos, páginas y páginas del espacio público. No es de extrañar que, al final, los imbéciles tomen el Capitolio y la imagen de nuestra era sea la de Jake Angeli, con su disfraz de piel y cuernos, asaltando el edificio que simboliza la democracia moderna. Y es que si miramos las estadísticas, toda esta gente constituyen una minúscula minoría. Gente que piense que la Tierra es plana o que los judíos son los culpables de los males de nuestro tiempo, tiene que contarse con los dedos de la mano ¿Por qué entonces tanta amplificatio?

Culpo directamente a los partidos políticos de no saber salir de este dilema del prisionero siniestro de la politización y simplificación absoluta de todo. Desde el segundo uno del caso Hasél, nos inundaron los memes que establecían la comparativa con el homenaje a la División Azul, lanzando la torpe pregunta de por qué a uno sí y a otros no ¿De verdad que todo se reduce a esto? ¿De verdad que, sencillamente, vivimos en un Estado Fascista que permite alabanzas a Hitler y castiga canciones de rap? ¿En serio que todo se reduce a esta película de buenos y malos? La reflexión sobre los límites de la libertad de expresión, que debería ser el centro del debate, queda en los márgenes de la arena pública y al final solo tenemos el Sálvame Deluxe de las tertulias televisivas, saturadas de charlatanes serviles a unos intereses bien remunerados. Así que vamos a salirnos de esa tendencia y a hablar del tema de interés: los límites de la libertad de expresión.

¿Es punible de alguna manera lo que ha hecho el señor Hasél? Sí. Creo que es muy importante la distinción entre ideas y personas. En nuestro Estado de Derecho lo más importante a defender son los individuos, las personas, por lo que parece razonable castigar cualquier delito de injurias contra cualquier persona (sea el rey, Pablo Iglesias o Alberto Chicote). Es diferente decir «Me cago en la monarquía» refiriéndome al sistema político en general, que «Me cago en Juan Carlos I de Borbón». La primera frase solo estaría atacando a una abstracción teórica (una idea), mientras que la segunda estaría atacando a una persona. La primera no debería ser punible mientras que la segunda sí.

Otro tema, diferente si bien no menos importante, es si Pablo Hasél debería entrar en la cárcel por lo que ha hecho. Aquí entra en juego el siempre difícil tema de la proporcionalidad de los castigos con respecto a los delitos ¿Las injurias contra la corona y otras instituciones del Estado, así como el enaltecimiento del terrorismo, deberían conllevar penas de prisión? ¿O sólo valdría con una multa u otro tipo de sanciones menores? Desde mi punto de vista, si bien estoy abierto a muchas y razonables objeciones, creo que en el caso Hasél tampoco se ha cometido ningún abuso jurídico, ni las leyes en las que se han basado para su condena parecen desproporcionadas. El delito de enaltecimiento del terrorismo (artículo 578 del Código Penal), por el cual le ha caído la mayor parte de la condena, castiga con de uno a tres años de prisión. No se a usted, querido lector, pero para mí enaltecer el terrorismo es una cosa muy grave que merece bastante escarmiento. Otra cosa, y aquí sí que hay un problema, es que las declaraciones en las que se enaltecía el terrorismo estaban dentro de una canción, lo cual añade un matiz muy diferente: ¿hay injuria si estamos dentro de una obra de arte? ¿No estaríamos limitando el arte si juzgamos la expresión artística? De nuevo creo que no. Habría que analizar caso por caso y seguro que podemos encontrar ejemplos en los que sería difícil decidir, pero en el caso de las canciones de Hasél creo que no hay duda de que en ellas hay un delito claro de odio. Pensemos que si decimos que no, estamos dando patente de corso para que cualquiera que nos quiera insultar y librarse del castigo, lo único que tiene que hacer es darle un barniz artístico a su agravio. Si quisieras llamarme «Hijo de puta» sin castigo alguno, solo tendrías que decírmelo cantando.

También es importante distinguir entre personas e instituciones. Puede parecer razonable que ciertas instituciones de nuestro país merezcan una especial protección debido a lo que representan. En el caso de la policía o la guardia civil es muy obvio. Si pudiésemos estar todo el día pitorreándonos e insultado a cualquier policía que nos encontremos por la calle, difícilmente iba a poder cumplir su, tantas veces desagradable, misión, que no es otra que protegernos (y que en la inmensa mayoría de los casos hacen con justicia y diligencia). Aquí creo que el debate estaría en a qué gremios o instituciones deberíamos también considerar con especial respeto y si habría que establecer una gradación entre ellos: ¿Médicos, profesores, bomberos, funcionarios de la administración…? ¿Y las profesiones liberales? ¿Esas no? ¿Por qué? Y entremos en el caso más peliagudo: ¿Y la corona?

En este caso, si aceptamos que la corona es una institución que merece un especial respeto, podríamos hacer punible también la injuria a los miembros de la Casa Real, tal y como hace nuestra Constitución (artículo 490.3). Esto puede no gustar a los republicanos, para los que, obviamente, la monarquía como institución no merece ningún respeto. Sin embargo, desde mi punto de vista, aquí ha de prevalecer el imperio de la ley. Nos guste o no, nuestro sistema de gobierno es una monarquía parlamentaria y, mientras así sea, hay una ley que protege especialmente esta institución. Por lo tanto, si aceptamos que nuestras leyes son fruto del consenso democrático, hemos de aceptarlas aunque no nos gusten. Esto es así porque si permitimos que no se cumpla una ley vigente estamos abriendo la caja de Pandora para que no se cumplan muchas más. Yo podría pensar que es injusto no poder superar los 120 Km/h de velocidad en las autovías debido a que Alemania no tiene límite de velocidad en las suyas, y no parece que les vaya mucho peor que a nosotros en cuanto a número de accidentes y, en consecuencia, rebelarme contra la ley e incumplirla ¿Sería razonable vivir en un mundo en el que cada cual se salta continuamente las leyes en función de sus creencias?

Si queremos que España llegue a ser una república, lo que hay que hacer es intentar conseguirlo mediante las vías legales y democráticas vigentes. Lo que hay que hacer es convencer al amplio sector de la población que todavía cree en la monarquía, que una república sería un mejor sistema. Ese es el único camino. Punto.

Y otra distinción a tener muy en cuenta está entre el vulgar insulto y la crítica racional. Yo, la verdad, no entiendo qué se aporta al mundo insultando a quien sea, sea el rey o sea Perico el de los palotes. Y en eso creo que la democracia española lo tiene claro. No he visto a ningún autor detenido ni censurado por hacer críticas argumentadas contra el sistema monárquico ni contra la institución. Yo mismo soy abiertamente republicano y nunca me he visto censurado ni amenazado por la policía por serlo. En este sentido, afirmar que España es un país donde no se respeta la libertad de expresión es una gran mentira (Eso sí, Facebook tiene vetado mi blog, pero eso creo que se debe más a la imbecilidad algorítmica y/o ingenieril de los de Facebook, que a ninguna censura oculta).

La libertad de expresión es un bien tan sagrado, que deberíamos pensarnos muchísimo cuándo y cómo lo limitamos. Por eso creo que, en cualquier caso, hay que intentar que los excesos sean castigados en las menos ocasiones posibles. Es decir, es mucho mejor tolerar que se pase de la raya, que pasarnos de estrictos en la legislación y su cumplimiento.

Recuerdo hace ya más de diez años el famoso caso de la campaña de Dawkins con sus autobuses ateos. Las asociaciones religiosas contraatacaron con otra cuyo lema era «Los niños tienen pene. Las niñas tienen vulva. Que no te engañen. Si naces hombre, eres hombre. Si naces mujer, seguirás siéndolo». Esto causó un gran revuelo entre todas las asociaciones LGTBI, sindicatos, partidos de izquierda, etc. muchos de los cuales intentaron por todos los medios que se prohibiera la circulación del autobús. A pesar de lo lamentable que pueda parecernos un mensaje así, la libertad de expresión consiste en tolerar lo que nos disgusta. Así, en ese momento, yo defendí que el autobús transfóbico debía de seguir transitando porque esto debería ser una oportunidad para la reflexión, más que para la prohibición.

Y es que creo que las políticas de la prohibición, que ahora se llama eufemísticamente de la cancelación, no son un buen camino. Yo no quiero que mis hijos desconozcan lo que yo considero que es malo, sino que lo conozcan y que tengan herramientas racionales para aceptarlo o rechazarlo. A mí lo que me gustaría es que nos topáramos con el autobús y mis hijos me preguntaran qué significa y entonces yo les explicaría, y debatiríamos y reflexionaríamos sobre su mensaje. Hace unos días tuve noticias del historiador de Princeton, Dan-el Padilla, abogando por una cancelación de los clásicos greco-latinos debido a que en ellos puede verse racismo, machismo, justificación de la esclavitud, etc… O sea que como Aristóteles era machista y xenófobo, ya no hay que estudiarlo… Tales disparates son fruto de una mirada única tan miope como peligrosa. Hace poco también me llegó la noticia de la eliminación del nombre David Hume con el que se denominaba a una torre de la Universidad de Edimburgo, a causa de las relaciones que tuvo este filósofo con la esclavitud ¿En serio? ¿No estamos ante una broma?

Por eso la idea de pin parental con la que Vox ha roto su apoyo al PP en Andalucía es pasmosamente mala. No podemos entender que proteger a nuestros hijos sea librarlos de escuchar a cualquier persona que les diga algo contrario a nuestras ideas. Estaremos educando a niños dentro de burbujas de pensamiento único que, a la postre, serán terriblemente intransigentes con una diferencia a la que no estarán acostumbrados. No, hay que educar a nuestros hijos en el contraste, en la diversidad. Tienen que aprender a enfrentarse y a convivir con lo radicalmente otro, y eso, desde luego, no se hace poniendo vendas en los ojos.

Recomendación final: hay que leer Sobre la libertad de John Stuart Mill.

Collages de Deborah Stevenson.

Carta abierta a Frits Rosendaal

Según informa El Confidencial, las declaraciones del señor Frits Rosendaal, un excelente científico, jefe de epidemiología clínica del Centro Médico de la Universidad de Leiden (Países Bajos), han sido estas:

En Italia, la capacidad de las UCI se gestiona de manera muy distinta (a Holanda). Ellos admiten a personas que nosotros no incluiríamos porque son demasiado viejas. Los ancianos tienen una posición muy diferente en la cultura italiana.

Con esto se criticaba la gestión italiana y española de la crisis: si aceptamos a ancianos en el sistema sanitario, lo colapsamos y al final habrá más muertos, ya que a esos ancianos que ya de por sí tenían muchas probabilidades de morir, le sumamos los jóvenes que hubieran sobrevivido si el sistema no se hubiera colapsado ¿Parece lógico no?

Siguiendo su precisa lógica, señor Rosendaal, le propongo lo siguiente. A partir de ahora en Holanda, a todo anciano que supere, pongamos los 75 años de edad, se le suministrará gratuita, pero obligatoriamente, una dosis de cianuro (Reconozco que 75 ha sido una edad elegida arbitrariamente. A usted le dejo elegir a partir de qué año exacto una persona merece ya morir o todavía podemos dejarle un ratito más en este valle de lágrimas). De ese modo el sistema sanitario estará siempre en plena forma y podrá atender a todos los demás holandeses dignos de atención. Es más, tal medida será muy saludable para las arcas públicas ya que, el siempre difícil de mantener sistema de pensiones, quedaría muy saneado. Además, los ancianos no consumen demasiado, no producen ni hacen mucho más que estar todo el día sentados y quejándose. No serán una gran pérdida.

Es más, señor Rosendaal, le propongo un nuevo juego, un clásico dilema ético que creo que usted debiera conocer. Usted, a pesar de tener 61 años, dispondrá de muchos órganos sanos y fuertes. Seguramente que en el hospital de Leiden donde usted trabaja hacen falta varios trasplantes. Seguro que hay gente más joven que usted esperando corazones, hígados, pulmones, riñones… Bien. A ver que le parece este trato: un grupo de excelentes cirujanos le llevará al quirófano. Allí, le extirparán los órganos sanos que puedan ser útiles a otros con la condición de que esos otros sean más jóvenes que usted. Tranquilo, no le dolerá. Y fíjese que maravilla: matándole a usted, que, siendo sinceros, está al final de su carrera profesional, podremos salvar a cuatro o cinco personas productivas en plenitud de su vida ¡Una vida por cuatro o cinco! ¡Vaya chollo de trato!

En fin, fuera de bromas, las declaraciones de Frits Rosendaal son, en términos éticos, completamente vomitivas y absolutamente impropias de un profesional con un cargo tan relevante en su país. Ponderar el valor de la vida de las personas en función de su edad es una aberración ética mayúscula que, creía yo, se estudiaba en la asignatura de Ética en secundaria. Se ve que en Holanda no hay necesidad de enseñar tales preceptos.

Y por supuesto, espero muy honestamente, señor Rosendaal, que usted mismo no se vea abocado a decirle a su madre o a su padre, que no le va a atender en su hospital, y que no tenga que ser usted mismo, en persona, el que lo acompañe a la puerta y le pida un taxi para que se vaya a morir a su casa.  Le deseo, de verdad, que no se vea en ese caso porque tiene que ser atroz.

Reflexiones en torno al fin del mundo

Unas cuantas cositas que he leído estos aciagos días: el célebre gurú de la izquiera, Slavoj Zizek dice, sin inmutarse, que la crisis del coronavirus nos llevará a una nueva especie de neocomunismo maravilloso… Byung-Chul Han, muy guay también, dice que estamos ante el fin de la privacidad y la llegada del autoritarismo. He leído que nuestra cultura mediterránea quedará muy dañada y nos vamos a ir orientalizando, es decir, que ya no saldremos tanto a la calle a disfrutar de nuestro sol sino que nos gustará más quedarnos en casa a ver anime y a jugar a videojuegos. Otros van diciendo que esto está favorenciendo los lazos familiares, que estamos aprendiendo a valorar lo realmente importante, y que, por supuesto, de aquí saldremos mejores y el mundo será más bonito.Y, desde la visión opuesta, no ha faltado en mis lecturas el catastrofismo clásico hacia el futuro económico: una nueva crisis que será varios órdenes de magnitud más dura que la anterior, lo que traerá la enésima reformulación o refundación del capitalismo…Todo esto dicho por reputados analistas e intelectuales que pueblan las cátedras de las universidades y las asesorías de nuestros políticos… ¡Bravo!

Pues ahora yo, en un ejercicio de arrogancia sin parangón, y a sabiendas que me contradigo, os voy a decir lo que va a pasar de verdad: no mucho o, si me he pasado de frenada, desde luego no tanto. A ver. Pidiendo disculpas muy sinceras a todo el que pierda un familiar querido (yo estoy bastante preocupado por los míos. Crucemos los dedos), esto no va a durar mucho más de dos meses. Y dos meses de confinamiento no dan para tanto. Cuando esto termine volveremos a nuestras vidas como siempre. Es cierto que vendrá una nueva crisis económica, pero será parecida a las anteriores, es decir, tocará apretarse un poco más el cinturón. Unos sectores saldrán más perjudicados que otros y la desigualdad aumentará un poquito más. Los ricos serán un poquito más ricos y los pobres un poquito más pobres. Nada nuevo bajo el sol. Esta crisis no es, ni de lejos, lo suficientemente fuerte para provocar ni un cambio de mentalidad ni una carestía material que posibilitaran un cambio socio-económico de calado. Aparte que no hay ninguna opción viable alternativa al capitalismo. La gente no va a renunciar a sus smartphones ni a Netflix por ninguna promesa de emancipación eco-feminista. Y, no, tampoco vamos a volver a ninguna forma de autoritarismo comunistoide por mucho que pueda mostrarse eficaz en tiempos de crisis.

Ahora unos cuantos dardos:

1. Me ha resultado extraña la falta de liderazgo mundial ante la crisis. No hemos visto reuniones del G-7 cruciales en la que se marque el paso… Cada país ha tomado las medidas a su ritmo haciendo más o menos caso a la OMS y punto. Estados Unidos, que podría haberse valido como primera potencia mundial, ha sido completamente irrelevante. Cuando habla Trump nadie espera más que la sandez de turno. China, por el contrario, parece haber ganado la partida.
2. Esta falta de liderazgo también está salpicando a la Unión Europea. La negativa a los «Coronabonos» por parte de Alemania y Holanda da ganas de hacer un Brexit express. No puede ser que cada vez que pasa lo que sea, aquí sálvese quién pueda y yo a mirar por lo mío. Siempre se hace lo que Alemania dice, y lo que Alemania dice es lo que a Alemania le viene económicamente bien. Ya sucedió esto de forma muy marcada en la crisis de 2008.
3. No se le está dando demasiada relevancia a un hecho importante: el falseamiento de datos. Y no solo apunto a China, la que ha falseado lo que habrá querido y más, sino de países occidentales tan «democráticos y transparentes» como Alemania, Inglaterra, Estados Unidos… A los enfermos que pasan asintomáticos o que se quedan en casa «pasando un resfriado», se suman los fallecidos por complicaciones con patologías previas a los que se computa como muertos por esas patologías sin contar la intervención del coronavirus. Es muy fácil no hacer casi ningún test y solo contar como infectados los que están ingresados graves. La guerra de los datos está, como siempre y como era de esperar, en pleno apogeo.
4. Me pregunto por qué los ultraliberales no dicen en estos momentos que el estado no intervenga absolutamente en nada, que se deje que la economía sea más libre aún y que así se regule ella solita… ¿Nos damos cuenta ya que la mano invisible de Smith es una patraña? Me gustaría debatir con mi liberal favorito, el brillante Robert Nozick, si un estado mínimo que exclusivamente garantiza la propiedad privada podría hacer frente a una pandemia como ésta.
5. El dilema ético es espectacular: ¿dejamos morir a los ancianos o salvamos la economía? Dan Patrick, vicegobernador de Texas, abuelete ya, negaba que se tomaran medidas de cuarentena diciendo que estaba dispuesto a sacrificarse por el futuro económico del país. Aunque pudiesen parecer las declaraciones de un viejo senil del Tea Party, no son tan absurdas. Podría ser muy loable sacrificarse en pro de que nuestros hijos y nietos tengan un futuro mejor. Pero aquí nos encontramos con el muro de nuestra ignorancia: ¿hasta qué punto paralizar económicamente un país va a causar un malestar tal en nuestros descendientes que justifique dejar morir a los ancianos? ¿Cómo diablos calcular eso? Difícil, pero ya os digo yo la solución: no compensa de ningún modo. Por muy terrible que sea la crisis que nos espera, no será tan mala como para justificar éticamente el hecho de condenar a muerte a nuestro abuelo. Si dejamos morir a nuestros ancianos por salvar la economía, engrosaremos con un capítulo más el libro de la historia de la infamia.
6. Es lamentable que los políticos estén utilizando la gestión de la crisis como arma política. Evidentemente, ha podido hacerse mejor o peor, y seguramente, hemos reaccionado algo tarde, pero en un asunto así deberíamos dejar esta repugnante politización de todo para ser leales al gobierno central. Por si alguien sospecha de que aquí mantengo un sesgo izquierdista, diré en mi defensa que si recuerdan la catástrofe ecológica del Prestige, pienso que fue una de las manipulaciones mediáticas de la izquierda más mezquinas, y electoralmente eficaces, que se han hecho en la historia de nuestra democracia. De un posible error en una decisión técnica (Acercar o alejar el petrolero de la costa) se proclamó el celebérrimo «Nunca mais» y todos los personajetes guays de la izquierda española fueron a la costa gallega a hacerse la fotito con la pala y el chapapote.
7. En esas críticas al gobierno me causó mucha inquietud cuando Pablo Casado dijo que «Sánchez se estaba parapetando detrás de la ciencia»… ¿De verdad que eso es malo señor Casado? ¿En dónde debería parapetarse si no? ¿A qué tipo de asesor debería consultar un político para tomar decisiones en el caso de una pandemia? Todo lo contrario: los políticos deberían incorporar mucho más conocimiento científico en todos los niveles de la toma de decisiones.
8. Una moraleja que me gustaría que quedara grabada a fuego en el cerebro de todos, pero que no quedará, es algo que Nassim Taleb lleva tiempo diciendo: la realidad es mucho mas impredecible de lo que parece y sucesos improbables ocurren por doquier: ¿qué gobierno hubiese predicho que en marzo de 2020 medio mundo estaría encerrado en su casa? Lo importante es que aprendamos humildad epistemológica: el mundo es caótico y la incertidumbre reina por doquier. Es muy difícil predecir lo que va a pasar y los políticos, incluso si se parapetan detrás de la ciencia, tienen complicado acertar. Desde luego a mí no me gustaría estar en el pellejo del ministro de sanidad en estos momentos. A toro pasado, nadie va a tener la consideración de pensar que se tuvieron que tomar decisiones en muy poco tiempo y con muy poco conocimiento de las consecuencias.
9. Pensemos en, por ejemplo, la estrategia inicial de Gran Bretaña: buscar la inmunidad del rebaño. A todas luces parece un suicidio, pero, si lo miramos a nivel de evidencia científica, tampoco parece tan, tan mala idea ¿Qué hacer? Si ni a nivel de evidencia científica tenemos acuerdo…
10. Da qué pensar que el sistema económico pueda derrumbarse por dos meses de parada ¿De verdad que dos meses de parón en el que se aplazan hipotecas, pagos a proveedores y demás, se hunde irremisiblemente? Entiendo que sufra daños, pero no me creo que sea tan grave. Y si fuera así es para mirárselo, porque en un mundo globalizado e hiperconectado como lo es ya desde hace mucho tiempo el nuestro, serán cada vez más comunes interferencias del tipo más diverso. Sería muy conveniente aprovechar el momento para pensar mecanismos que pudiesen robustecer el sistema ante estas eventualidades cada vez más habituales.
11. Algo que si me ha gustado mucho es el auge de la literatura distópica que todo esto conlleva. Sí, amigos, hay que leer La carretera de McCarthy, a Dick, a Vonnegut, a Ballard, a Bradbury… será muchísimo menos aburrido que seguir la actualidad del coronavirus en las noticias. Lo garantizo.

El mito de la neutralidad de la tecnología o unos Principios de Diseño Ético

He leído en varias ocasiones, con torcida perplejidad, a expertos en áreas tecnológicas afirmar, con suma tranquilidad, que la tecnología ni es buena ni mala, que todo depende del uso que se le dé. Así, un cuchillo puede servir tanto para cortar el tan necesario alimento, como para apuñalar al prójimo. Por consiguiente, los empresarios-ingenieros-fabricantes quedan exonerados de toda culpa por diseñar cualquier artefacto, cayendo la totalidad de la responsabilidad en el usuario. Grave error para, como es habitual, metérnosla doblada.

La tecnología no es, de ningún modo, neutra éticamente. Veamos una serie de argumentos para dejarlo claro como el agua:

1.Toda tecnología requiere unos materiales y un coste energético, por lo que cabe preguntarse: ¿Cuán de escasos son esos recursos?  Si son escasos ¿no se necesitarán para otro objetivo éticamente más importante que el que yo les voy a dar? ¿Cómo de difícil es su extracción? ¿Se pondrán en peligro vidas para ello? Famoso es el debate acerca de los materiales con los que se construyen nuestros teléfonos móviles: ¿es ético producir y consumirlos sabiendo de donde vienen sus componentes? En lo que respecta a la IA, hasta hace poco nadie parecía caer en su elevado coste medioambiental cuando la enorme necesidad de capacidad de cómputo dada la notoria ineficiencia del deep learning es muy patente. La IA no es ecofriendly, y eso merece una profunda reflexión.

2. Toda tecnología requiere un proceso de producción: ¿dónde y quién lo realiza? ¿Los trabajadores reciben un salario justo y sus condiciones laborales son adecuadas? Mucho se ha debatido sobre las condiciones laborales de las fábricas asiáticas, donde se produce, prácticamente, todo la tecnología que consumimos. A través de Pinker, he leído estos días sobre la interesante, y polémica, idea de la curva de Kuznets: tras un periodo de gran desigualdad, cuando los países llegan a un alto nivel de desarrollo, la desigualdad se reduce. Quizá no justifique éticamente esa desigualdad, pero en ausencia de alternativas viables en esos países, es posible que sea la mejor opción (si bien también se ha discutido si su base empírica se sostiene).

3. Toda tecnología genera residuos, por lo que cabe preguntarse: ¿que residuos va a generar la nuestra? ¿Son biodegradables? ¿Cuál será su impacto medioambiental? ¿Dónde se almacenan y en qué condiciones? Así, tenemos el gran debate sobre la idoneidad de los coches eléctricos. Por un lado parecía que eran mucho más ecológicos, pero cuando caemos en lo que contamina generar la electricidad que consumen, vemos que no lo son tanto. En está línea está la polémica con respecto a las centrales nucleares. Yo creo firmemente que el sector ecologista que las critica está equivocado. Si hacemos un balance de pros y contras, y a falta de que la energía solar mejore, son una magnífica opción y una buena forma de luchar contra el cambio climático.

4. Toda tecnología tiene efectos secundarios no previstos por los diseñadores. Por eso todo proyecto tecnológico tiene que ir acompañado de una buena evaluación de riesgos. Ya hablamos aquí hace tiempo de la elegante definición de eficiencia tecnológica de Quintanilla: una máquina es eficiente si utiliza los medios más económicos para llegar a sus objetivos y a nada más que a sus objetivos. Esta última parte es la clave: hay que intentar que no se nos escape nada, y si no podemos evitar que se nos escape (realmente, es muy difícil predecir a medio y largo plazo cómo estará el tema), al menos, hacer una sesuda reflexión sobre ello y ponderar razonablemente si merece o no la pena.

5. Toda tecnología tiene posibles usos perversos ¿cuáles son y cuál puede ser su gravedad? ¿Hasta dónde puedo garantizar que no se lleven a cabo? Por ejemplo, parece evidente que si yo creo un método de edición genética que permite a cualquier persona del mundo, sin conocimientos de bioquímica, crear en su casa un virus letal, no deberé sacar a la luz tal tecnología. Y aquí es donde mejor se ve la no neutralidad ética de la tecnología: no es éticamente lo mismo diseñar una vacuna que una bomba de hidrógeno, porque los posibles usos perversos de la segunda son mucho mayores que los de la primera. Resulta muy curioso como en el caso de la IA, se haga más mención al uso perverso que «ella misma» hará contra nosotros (la famosa rebelión de las máquinas), más que del uso perverso que muchos humanos harán de ella. Y, del mismo modo, también resulta curioso que se sobredimensionen sus peligros y usos negativos (los killer robots o los algoritmos sesgados) cuando sus usos positivos son infinitamente más beneficiosos para la humanidad que estos posibles perjuicios. En la IA, igual que pasa con la ingeniería genética, se está ponderando muy mal su uso futuro.

6. Toda tecnología tiene un grado de impacto global: no es lo mismo un invento que hago en mi casa y se queda allí, que algo que tenga muchísimas repercusiones a todos los niveles. Por ejemplo, yo invento un cereal transgénico cuyas cualidades abaratan muchísimo sus costes de producción y, por tanto, su precio final. Supongamos que existe un pequeño país cuyo principal producto de exportación es el cereal. Entonces, he de prever qué efectos sobre la economía de ese país tendrá que yo saque al mercado mi producto. Si que yo me forre implica que condene a un país a la hambruna y a la miseria, he de repensar mi estrategia y buscar otras vías. Además, en un mundo globalizado donde todo está interconectado, hay que tener en cuenta que lo que uno hace en Londres, puede tener repercusiones en Tokio, es decir, que el grado de impacto de cualquier cosa que se haga es, potencialmente, mucho mayor que antaño, por lo que, igualmente, el grado de responsabilidad crecerá a la par.

El error de pensar en la neutralidad de la técnica está en pensar entendiendo los diversos agentes y elementos sociales de forma aislada cuando, verdaderamente, nada se da de forma aislada. Tanto más cuando un desarrollo tecnológico es, en la actualidad, una tarea inmensa. Así creo que una buena forma de entender la globalidad o localidad de cualquier evento es la teoría de sistemas: entender los fenómenos sociales como sistemas o partes de los mismos, siendo un sistema un conjunto de elementos y de interrelaciones entre ellos y otros sistemas. De este modo podemos extender nuestra responsabilidad ética cuando creamos algo: no solo hay que estudiar lo que ocurrirá en nuestro sistema al introducir el nuevo elemento, sino qué consecuencias tendrá en los demás.

Imagen del artista callejero Ludo.

 

Creando un juez robot: el principio de proporcionalidad

En una romántica búsqueda de conseguir un sistema jurídico perfecto, vamos a crear un juez robot que no se vea influido por esos sesgos que hacen que los humanos fallemos una y otra vez en la sagrada tarea de impartir justicia. A primera vista, sencillamente, podríamos dotar a un algoritmo con la base de datos lo más potente posible sobre casos anteriores que crearon jurisprudencia. Entonces, ante cualquier decisión, nuestro juez electrónico solo tendría que buscar en su memoria el caso que más se asemejara al presente y aplicar la misma sentencia. Bien, pero pronto comenzarían los problemas, dado que las, a priori, pequeñas diferencias entre los casos pasados y los actuales, pueden ser mucho más grandes de lo que parecen, y ante esa novedad no prevista, nuestro programa debería ser capaz de dar una justa respuesta. Nos encontraremos casos en los que ni las sentencias anteriores ni la ley parecen dar una respuesta clara y concisa, por lo que nuestro robot necesitará reflexionar. Es por eso que suele decirse que las leyes no se aplican sino que se interpretan.

Entonces, no nos quedará otra que programar al robot con una serie de directrices que le sirvan para interpretar toda nueva circunstancia, una serie de principios de justicia. Hagámoslo: para que consideremos una condena  como justa, tiene que darse una serie de condiciones que nuestro robot debería tener grabada a fuego en su placa base:

1. Conocimiento: el juez robot ha de contar con toda la información relevante para determinar la sentencia. Es por eso que muchas veces se habla de «falta de pruebas», cuando no hay información suficiente para determinar si el sospechoso es culpable o no. Importante es entonces saber que casi nunca se cuenta con toda la información: a pesar de que estemos casi seguros de que el asesino es el mayordomo, nadie más que asesino y asesinado estuvieron presentes en el momento del crimen. Entonces, casi toda condena entraña una incertidumbre que hay que determinar si es asumible o no.
2. Imparcialidad: el juez robot no ha de beneficiar a ninguna de las partes interesadas debido a cualquier motivo que no esté estrictamente relacionado con el asunto a juzgar. Aquí el problema no estaría ya en la corrupción pura y dura que asola los sistemas judiciales de medio mundo, sino en los sesgos inconscientes ocultos en la mente del juez. Esto es, precisamente, lo que se intenta subsanar con los jueces robóticos, y aunque la prensa amarillista nos haya mostrado siempre lo contrario, la inteligencia artificial es una tecnología muy apropiada para evitarlos. No hay nada más fácil, si quieres construir una máquina que no sea racista, que hacerla ciega al color de piel.
3. Proporcionalidad: el castigo debe ser proporcional al delito cometido. No es justo que me condenen a diez años de trabajos forzados por robar una barra de pan, ni tampoco es justo que me condenen a un día de cárcel por un triple asesinato.
4. Estabilidad o consistencia: en casos similares que se dan en otro momento del tiempo, los castigos han de ser similares. La justicia no ha de cambiar con el tiempo, ya que crearíamos agravios comparativos entre casos iguales. Si miramos la historia de la humanidad vemos que eso no se ha cumplido para nada, y que los castigos por las mismas penas han ido cambiando. Antes, por regla general, eran muchísimo más duras y las prisiones bastante menos humanas que las de hoy. La explicación, algo presuntuosa por parte de nuestro presente eso sí, está en decir que en el pasado se equivocaban y que nosotros hemos perfeccionado el sistema para hacerlo más justo, de modo que el agravio comparativo se da solo hacia los que tuvieron la mala fortuna de ser juzgados en el pasado.

Vamos a centrarnos en el 3, en el principio de proporcionalidad. Explicarlo es muy fácil, pero llevarlo a la práctica es harto complejo. Sencillamente dice que el castigo a aplicar debe ser proporcional a la magnitud del delito. La proporcionalidad más perfecta es la lex talionis, el bíblico «ojo por ojo, diente por diente»: aplicar al culpable del delito exactamente lo mismo que le ha hecho a la víctima. En algunos casos es relativamente sencillo. Si me han robado 100 euros, han de devolvérmelos con un plus añadido por el perjuicio que me ocasionó no tenerlos durante el tiempo que se tardó en la devolución (por ejemplo, sumando unos intereses). Sin embargo, los problemas surgen en nada que nos paramos a pensar un segundo: ¿una misma cantidad de dinero tiene el mismo valor para todo el mundo? ¿Son iguales 100 euros para un indigente que para un multimillonario? Eso es lo que pienso cuando voy conduciendo por la carretera y me pasa un Porsche a 170 Km/h.

Y la dificultad se hace más patente cuando comenzamos a intentar medir la proporcionalidad de ciertos daños, más cuando la sensibilidad al sufrimiento de cada individuo difiere significativamente. Por ejemplo, si yo insulto públicamente a una persona, lo proporcional sería que esa persona me insultara de la misma forma. No obstante, yo puedo ser un personaje público al que los insultos no le afectan demasiado (incluso, podría ser que los buscara a propósito con tal de que se hable de mí), mientras que el otro agraviado puede ser muy sensible al escarnio público, por lo que aquí la proporcionalidad no se conseguiría en un insulto por insulto. Como no podemos medir con precisión la cantidad de sufrimiento que proporciona tal o cual castigo, esta proporcionalidad es netamente imposible, cuánto más en esta época de ofendiditos en la red. Podría ser que a mí me provocara importantes daños emocionales ver rostros de gente poco agraciada físicamente en Instagram ¿Deberían compensarme los feos por el daño que me ocasionan? ¿Dónde está el límite entre lo que es razonable que ofenda y lo que no?

Tirando más del hilo nos encontramos con aún más problemas. Si suponemos que el crimen más grave es el asesinato, el castigo proporcional no podría ser más exacto que la pena de muerte pero, ¿cómo castigar proporcionalmente a alguien que ha asesinado a dos o más personas? Si con un asesinato el criminal tiene asegurada la pena de muerte, cuando ya ha matado a una persona, todos los demás crímenes que cometa le saldrán gratis. O, si no somos favorables a la pena de muerte pero sí a la cadena perpetua, tenemos el caso de que la pena será mucho más leve para un anciano o un enfermo terminal que morirán en la cárcel habiendo cumplido muy poco tiempo de condena, que para un joven con veinte años y una salud de hierro.

En la sociedad actual, las nuevas tecnologías de la información suponen novedades que deberían tenerse en cuenta a la hora de legislar, si queremos mantener lo más posible el principio de proporcionalidad. En el celebérrimo caso de la manada, los acusados fueron castigados con unos daños de cárcel supuestamente proporcionales al delito cometido. Independientemente con si esa sanción fue justa o no, los acusados fueron también sometidos a un linchamiento público por parte de los medios. Las redes sociales permitieron que sus fotos y datos biográficos fueran conocidos por todo el mundo, y que se hablara en el tono que se quisiera sobre ellos. Es decir, al clásico castigo carcelario se le añadió el nuevo castigo de vapuleamiento en la red que, muchos, podrían considerar incluso peor, o quizá más dañino a largo plazo, que el primero. En otros tiempos en los que no existían nuestros hipertrofiados medios de comunicación, un delincuente, una vez que pagaba su pena, podría empezar de nuevo sin que todo el mundo supiera de su turbio pasado, pero ahora eso es casi imposible. Entonces, cualquier juez robótico que se precie debería tener en cuenta dicho plus, quizá compensando al criminal con menos tiempo en prisión (si además del principio de proporcionalidad quiere mantener el principio de estabilidad). No deja de resultar chocante como hemos vuelto a formas de justicia medievales. Antes de la llegada del Estado Moderno, a los criminales se los linchaba públicamente, cuando no se los ahorcaba en la plaza del pueblo. Entonces, el nuevo contrato social estipuló que la capacidad de castigar delitos era una función exclusiva del Estado, evitando que nadie pudiera tomarse la justicia por su mano. Ahora, paradójicamente, volvemos a torturas medievales gracias a altas tecnologías.

Como vemos, crear un juez robot es algo muchísimo más completo de lo que hubiera soñado Leibniz, y aunque creo que es perfectamente posible, en contra de los que piensan que la justicia humana es algo irreductible a la automatización, no es algo que se vaya a conseguir en dos tardes. Impartir justicia es una tarea que requiere una muy profunda comprensión de la realidad de la que están lejos nuestra mejores inteligencias artificiales. Otra cosa, muy saludable, es que los jueces dispongan de software que le ayude en sus sentencias, como ya ocurre, no sin polémica eso sí, con el programa Compas en Estados Unidos.

Otro camino, que es el que se está usando ahora, es el de abandonar la programación simbólica y utilizar deep learning.  Así, se le da la base de datos a la red neuronal y se la va entrenando para que sus sentencias sean similares a las de los jueces profesionales. Aunque el porcentaje de aciertos suele ser muy alto, aquí nos encontramos con un gravísimo problema: la black box. Los algoritmos de deep learning no pueden explicar el porqué de sus resultados y eso, hablando de decidir sobre la condena de un ser humano, es inaceptable. No podemos tolerar de ningún modo que un software tome decisiones tan importantes sin que sepamos por qué lo ha hecho.  Hasta que tengamos una auténtica IA explicada, no podemos utilizar las redes neuronales para impartir justicia.