Discover and read the best of Twitter Threads about #word2vec
Most recents (2)
1. Aujourd'hui on va revoir nos grands classiques en #MachineLearning dans le domaine du #NLP
Nous allons revoir dans le détail comment transformer des mots en vecteurs, grâce à l'algorithme #word2vec #skipGram
Ready?
🔽🔽 Thread
Nous allons revoir dans le détail comment transformer des mots en vecteurs, grâce à l'algorithme #word2vec #skipGram
Ready?
🔽🔽 Thread
2. Commençons ce thread par une évidence, mais qu'il convient de rappeler
Les algorithmes de Machine Learning ne savent pas traiter directement des mots et des lettres
Donc dès que l'on veut faire du #NLP, il faut trouver un moyen de transformer les mots en nombres
Les algorithmes de Machine Learning ne savent pas traiter directement des mots et des lettres
Donc dès que l'on veut faire du #NLP, il faut trouver un moyen de transformer les mots en nombres
3. Une des premières intuitions que l'on peut avoir, c'est de prendre l'ensemble des mots avec lesquels on veut travailler, et de leur donner à chacun un indice, en construisant un dictionnaire
Dans ce cas, chaque mot pourra être représenté par un nombre unique (son indice)
Dans ce cas, chaque mot pourra être représenté par un nombre unique (son indice)
1. Hello. Aujourd'hui, je m'attaque à un gros morceau
Les transformers
en particulier la partie self-attention qui en constitue la partie la plus intéressante
Après avoir lu ce thead, j'espère que vous aurez compris les mécanismes en jeu
Ready?
#MachineLearning #DataScience
Les transformers
en particulier la partie self-attention qui en constitue la partie la plus intéressante
Après avoir lu ce thead, j'espère que vous aurez compris les mécanismes en jeu
Ready?
#MachineLearning #DataScience
2. Je vais détailler le fonctionnement des transformers dans le contexte du NLP, qui est le domaine où le premier papier a été publié en 2017 ("Attention is all you need")
A noter que les transformers s'attaquent désormais à d'autres domaines (Vision, Time Series, ...)
A noter que les transformers s'attaquent désormais à d'autres domaines (Vision, Time Series, ...)
3. First things first
Rappelons que dans le NLP, les algorithmes ne comprennent pas "directement" les mots
Il faut que ces mots soient transformés en nombres.
C'est le boulot des algorithmes de "word embedding", qui donc transforment les mots en vecteurs de nombres
Rappelons que dans le NLP, les algorithmes ne comprennent pas "directement" les mots
Il faut que ces mots soient transformés en nombres.
C'est le boulot des algorithmes de "word embedding", qui donc transforment les mots en vecteurs de nombres
