Aquí tenéis la charla que he dado para el curso de verano de la SEMF. En ella hago un recorrido histórico por los principales hitos en el campo, desde los primeros modelos teóricos de McCulloch o Rosenblatt, hasta Alpha Zero o GPT-3. He intentado que sea lo más sencilla y sugerente posible, sin meterme demasiado en temas técnicos. Para quien quisiera profundizar he adjuntando el artículo académico principal de cada tema que trato. Espero que os resulte provechosa.

comentarios
  1. Asier dice:

    Genial el vídeo, gracias por compartirlo!

    Del GPT-3 he visto demos espectaculares, donde hasta te genera código de programación escribiendo tú las especificaciones. La IA es increíble el avance que está teniendo, en nuestras manos está el utilizarlo para vivir todos mejor.

  2. pharmakoi dice:

    No he visto el vídeo completo pero me parece que no hablas sobre el principio de energía libre y el enfoque del procesamiento predictivo, que está generando mucho hype en el campo de la ciencia cognitiva. En tu opinión, ¿se trata de una mejor aproximación al funcionamiento del cerebro que otro tipo de redes neuronales? (me parece que se basa en las máquinas helmholtz). Sé que estas últimas se han aplicado en reconocimiento visual con bastante éxito, superando a redes más “pesadas” aunque sin llegar al nivel de algunas redes específicamente diseñadas para la tarea.

    Según sus defensores simula correctamente casi cualquier proceso cerebral, percepción, atención, toma de decisiones, acción. Pero no se hasta que punto se ha aplicado este enfoque para el NLP ni si tiene algún futuro en ese sentido. En el campo de la acción creo que si se han aplicado estos principios en robótica, con mayor éxito y menor coste computacional que los modelos tradicionales.

    Por ahora se ha usado principalmente para explicar la psicosis y el autismo, proponiendo ideas bastante interesantes aunque supongo que no tan nuevas como podría parecer. Para quién esté interesado en el tema el libro Surfing Uncertainty de Andy Clark es una introducción accesible y amena.

  3. Pharmakoi:

    Conozco las redes bayesianas pero no las cito en el vídeo porque no están en el grupo de las top dentro del deep learning actual. Lo que no conocía es el trabajo de Friston y que las redes bayesianas estuvieran generando tantas expectativas. Entiendo que el cerebro opera intentando gastar lo mínimo y entiendo que pueda hacer inferencias bayesianas pero de ahí a una teoría unificada de la cognición… ¿no se les está yendo la pinza un poquito? Todo me parece demasiado simple.

  4. pharmakoi dice:

    No se, el tiempo dirá, a mi me parece un enfoque prometedor pero no dejan de ser simulaciones muy simplificadas de lo que hace el cerebro. Básicamente lo que dicen es que el cerebro está constantemente intentando anticipar el input sensorial mediante las hipótesis de alto nivel o expectativas top-down (en realidad cada nivel predice y anticipa la actividad del nivel inmediatamente inferior), y que elige a que atender en función de la precisión esperada de los errores de predicción que proporciona la información a la que se atiende. Para explicar la acción recurren a lo que llaman inferencia activa, ya que el organismo tiene dos caminos para reducir el error de predicción, uno es mejorando las hipótesis (mediante, digamos, la reestructuración cognitiva) y otro es modificando el input sensorial, es decir, actuando en el mundo para que este se acomode a las hipótesis (esto es la inferencia activa).

    A mi me parece un planteamiento muy parsimonioso y con un gran potencial explicativo, las explicaciones de la psicosis por ejemplo son bastante detalladas y muestran como para movernos necesitamos atenuar el input sensorial( propioceptivo relativo la posición actual), de tal modo que las hipótesis de alto nivel sobre la trayectoria deseada y su input propioceptivo esperado “toman el mando” y en este impass nos movemos para cancelar los errores de predicción asociados a dicha hipótesis. En la psicosis el input sensorial no se ve atenuado y esto puede llevar a la catatonia o ,si se producen ciertos ajustes, a la formación de síntomas delusivos al aumentar la precisión de las hipótesis de alto nivel para permitir el movimiento, pero dejando sin explicar los errores de predicción sensoriales demasiado precisos que ven señal donde solo hay ruido (esto recuerda a lo que se sabe sobre inhibición latente y psicosis). Las alucinaciones se explican mejor aludiendo a las descargas corolarias o copias eferentes, básicamente son un problema de falta de (sensación de) agencialidad al no predecir el cerebro adecuadamente el input sensorial producido por sus propias acciones. Sobre el papel de los neurotransmisores postulan que las catecolaminas, especialmente la dopamina, estarían implicados en la codificación de la precisión, lo que también concuerda con lo que se sabe sobre la psicosis y la esquizofrenia.

    Tampoco son explicaciones definitivas y si lees sobre el tema a veces incluso se contradicen en algunas cosas pero a mi me me parece bastante interesante. Quizá pequen de simplistas o de demasiado ambiciosos, pero no hay que olvidar que una buena teoría ha de ser parsimoniosa y poder por tanto explicar muchas cosas en base a unos pocos principios.

    Por último te quería comentar que plantean en cierto modo una inversión de la visión tradicional sobre el papel de la información sensorial bottom-up en la formación de las percepciones y demás, ya que según ellos solo cumple un papel de supervisión o de actualización de las hipótesis generadas top-down, que son las que realmente producirían la percepción (que será adecuada siempre y cuando esté supervisada correctamente por la información sensorial, como ya he dicho).

  5. pharmakoi dice:

    Sobre si se le está yendo la pinza o es una teoría demasiado simple, te puedo decir que sus detractores no suelen usar este tipo de argumentos tan, valga la redundancia, simplistas o incluso ad hominem. Lo que suelen decir son principalmente dos cosas, una: que les resulta un tanto inverosímil esa inversión del modelo tradicional según el cual es la información bottom-up la que produce o construye, de abajo a arriba, la percepción y la actividad cognitiva y no más bien al revés como postula esta teoría. Y, principalmente, dos: suelen aludir al llamado problema de la habitación oscura, que viene a decir que si aplicamos rigurosamente esta teoría cualquier agente cognitivo buscaría encerrarse en una habitación oscura para así reducir el error de predicción (esto en mi opinión demuestra una gran ignorancia sobre los postulados de la teoría, pero no voy a entrar más en el tema).

    Sobre la génesis de las alucinaciones es posible que se trate más bien de un caso de penetrabilidad cognitiva unida a una supervisión inadecuada, aunque supongo que se podría compaginar con las explicaciones sobre las descargas corolarias, pero no así con el concepto de copia eferente. Según esta teoría las copias eferentes y los comandos motores son conceptos inadecuados para explicar el control motor, ya que lo que produce el movimiento son las predicciones propioceptivas y su traducción en arcos reflejos, eludiendo así el “ill-posed problem” del modelo inverso y los forward auxiliary models en las teorías sobre control óptimo y funciones de coste. En cualquier caso lo que se hace, según dicen ellos, no es reducir la complejidad del problema sino trasladarla de un problema aparentemente irresoluble a otro que si es resoluble y que tiene que ver con la adquisición
    de modelos generativos jerárquicos.

    Algo así, porque como verás tampoco es tan simple tema como parece…

  6. pharmakoi dice:

    Lo siento si he sido un poco duro o pedante, soy un romántico lover del PP (procesamiento predictivo…jaja). Seguramente tienes razón en que la teoría en un tanto simplista, aunque más que simplista yo diría que es una teoría parcial e incompleta que necesita tener en cuenta otros aspectos del funcionamiento del cerebro y el sistema nervioso que no sean solo los cómputos bayesianos y la generación de hipótesis e inferencias.

  7. pharmakoi dice:

    Bueno, lo que no he precisado es que, al menos en caso de la percepción, lo que se predice, se hipotetiza o se infiere no es el input sensorial directamente, sino las causas ocultas que producen dicho input (por lo demás creo que lo que he dicho tampoco está mal explicado). De ahí que se diga que la percepción es una inferencia inconsciente. Además quería hacer hincapié en el hecho del modelo generativo jerárquico en el que cada nivel predice la actividad del nivel inferior y que son estas predicciones, supervisadas por los errores de predicción eso sí, las que producen la experiencia consciente. Y ya está, ya no me meto en más berenjenales, que a mi el tema gusta y lo que llego a entender me parece interesante pero comprendo que a alguna gente le pueda parecer un proyecto descabellado eso de postular una teoría unificada de la cognición (y de la acción, por si fuera poco, jaja).

    De todas formas lo que está generando muchas expectativas no son especialmente las redes bayesianas, es la teoría sobre el principio de energía libre y la reducción del error de predicción, que en gran parte se han tomado prestadas de la termodinámica, física estadística, teoría de la información, machine learning y neurociencia computacional y que plantean una visión unificada del funcionamiento del cerebro. Lo de los cómputos bayesianos es una parte de los mecanismos mediante los que se operacionaliza la teoría, pero las redes que inspiran esta teoría son las máquinas helmholtz de Hinton, que son redes no supervisadas (o supervisadas por los datos) que lo que hacen es ir prediciendo el input que van a recibir a partir del input anterior (de ahí lo de procesamiento predictivo). Por otro lado las redes (neuronales) bayesianas ni siquiera existen, si acaso te referirás las redes neuronales probabilísticas que no creo que sean lo mismo que las máquinas helmholtz (y tampoco estas serán iguales que las redes que se utilizan en las simulaciones de esta teoría).

  8. pharmakoi dice:

    Last but not least (que pesao soy, me das pie y no me callo ni debajo del agua).

    He estado mirando y si que existen las redes neuronales bayesianas (mea culpa, en español no encontré que las llamaran así). Supongo que las helmholtz machines se pueden considerar bayesianas, pero creo que son un tipo de redes muy específicas que se propusieron como una descripción biológicamente plausible del funcionamiento cortical, que es lo que (cualitativamente al menos) el PP describe bastante bien. Probablemente otras estructuras cerebrales no encajarían en esta lógica.

    Pero bueno, tampoco es algo que surja de la nada y hay muchos datos experimentales que lo apoyan y mucha gente que piensa que es una aproximación bastante válida, incluso me atrevería a decir que es la primera teoría comprensiva de la cognición desde el psicoanálisis (que con sus muchos errores y le pese a quien le pese, ya Kandel dijo que era la mejor teoría de que disponíamos sobre el funcionamiento del cerebro).

    Ale, nada más, para gustos los colores. Te agradezco que te hayas tomado el tiempo de responderme aunque lo de que se les va la pinza (quiero entender que no lo dices del todo en serio) me resultó bastante desagradable.

  9. pharmakoi dice:

    En cualquier caso, no descarto que gran parte de las pretensiones del PP se queden en agua de borrajas, está claro que aún le queda mucho por demostrar para convertirse en el hito que pretende ser. Pero incluso en tal caso me parece un intento loable y digno de mención, y no una ida de pinza.

    Aquí puedes ver un buen resumen muy condensado y con buenas referencias sobre lo que hay y lo que se espera respecto del PP (aunque un poco incompleto ya que no hablan de las simulaciones sobre la psicosis, que por otro lado son bastante tentativas y especulativas, como casi toda la teoría psiquiátrica).

    https://en.wikipedia.org/wiki/Predictive_coding

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s