Thread by @joselcs

1/ Recorrido por algunos de los papers que han marcado hitos en el desarrollo de la IA. Desde Alan Turing en 1950 hasta OpenAI ahora.

Abro hilo👇

2/ Computing Machinery and Intelligence. 1950.

A partir de la pregunta “¿pueden pensar las máquinas?, Alan Turing, pionero de la informática, introduce el famoso Test de Turing para evaluar la inteligencia de una máquina.
academic.oup.com/mind/article/L…

3/ Dartmouth Summer Research Project. 1955.

McCarthy, Minsky, Shannon y Rochester lanzan esta convocatoria para la conferencia de Darmouth donde se acuña el término “Inteligencia Artificial”.
jmc.stanford.edu/articles/dartm…

4/ The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. 1958. Frank Rosenblatt.

Fundamental para introducir el concepto del perceptrón y uno de los trabajos pioneros en el campo de las redes neuronales.
direct.mit.edu/books/edited-v…

5/ Perceptrons: An Introduction to Computational Geometry. 1969.

Este libro del pionero Marvin Minsky muestra que los perceptrones simples no pueden resolver problemas como un XOR, iniciando el primer invierno de la IA.

amzn.to/41gs8mH

6/ Learning Representations by Back-propagating Errors. 1986.

Artículo seminal para el Deep Learning de Geoffrey Hinton, @geoffreyhinton. Se presenta el algoritmo de backpropagation, clave en el entrenamiento de RRNN profundas.
semanticscholar.org/paper/Learning…

7/ Q-Learning. 1989.

Se presenta el algoritmo Q-learning, que se ha convertido en uno de los enfoques más influyentes en Reinforcement Learning.
link.springer.com/article/10.100…

8/ Gradient-based learning applied to document recognition. 1998.

Yann LeCun, @ylecun, y Yoshua Bengio participan en este paper pionero en redes convolucionales y computer visión. Aplicación de un OCR para la lectura de cheques.
researchgate.net/publication/29…

9/ A Neural Probabilistic Language Model. 2000.

De nuevo Yoshua Bengio, en otro trabajo seminal, en este caso de los Word Embeddings.
papers.nips.cc/paper_files/pa…

10/ ImageNet Classification with Deep Convolutional Neural Networks. 2012.

AlexNet impulsa el interés en las RRNN después de muchos años de ostracismo y da un salto en el ámbito de Computer Vision. Aparece Ilya Sutskever, @ilyasut, junto a Hinton.

papers.nips.cc/paper/2012/has…

11/ Sequence to Sequence Learning with Neural Networks. 2014.

Uso de RRNN para modelado de secuencias aplicado a una traducción automática del inglés al francés. De nuevo Sutskever junto a Oriol Vinyals, @OriolVinyalsML.
arxiv.org/abs/1409.3215

12/ Human-level control through deep reinforcement learning. 2015. DeepMind.

Demis Hassabis, @demishassabis, presenta el algoritmo DQN, que combina RRNN con Q-learning (Reinforcement Learning). Alcanza el nivel humano en varios juegos de la consola Atari.
semanticscholar.org/paper/Human-le…

13/ Mastering the game of Go without human knowledge. 2017. DeepMind.

De nuevo DeepMind, con AlphaZero, da un salto en el uso de Reinforcement Learning, aplicándolo para resolver juegos de tablero.
semanticscholar.org/paper/Masterin…

14/ Attention is all you need. 2017. Google.

Introduce la arquitectura Transformer, fundamental para los LLM actuales.
arxiv.org/abs/1706.03762

15/ BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2018. Google.

Presenta BERT, el primer LLM basado en transformers para el procesamiento del lenguaje natural.
arxiv.org/abs/1810.04805

16/Language Models are Unsupervised Multitask Learners. 2019. OpenAI.

Introduce GPT-2, un LLM que marca el estado del arte en el que estamos ahora al aumentar el volumen de datos utilizado.
paperswithcode.com/paper/language…

17/ Obviamente hay muchos papers, pero si tienes uno en mente que te parece especialmente relevante compártelo, por favor.

//FIN