Discover and read the best of Twitter Threads about #CBOW
Most recents (1)
1. Hello. Aujourd'hui, je m'attaque à un gros morceau
Les transformers
en particulier la partie self-attention qui en constitue la partie la plus intéressante
Après avoir lu ce thead, j'espère que vous aurez compris les mécanismes en jeu
Ready?
#MachineLearning #DataScience
Les transformers
en particulier la partie self-attention qui en constitue la partie la plus intéressante
Après avoir lu ce thead, j'espère que vous aurez compris les mécanismes en jeu
Ready?
#MachineLearning #DataScience
2. Je vais détailler le fonctionnement des transformers dans le contexte du NLP, qui est le domaine où le premier papier a été publié en 2017 ("Attention is all you need")
A noter que les transformers s'attaquent désormais à d'autres domaines (Vision, Time Series, ...)
A noter que les transformers s'attaquent désormais à d'autres domaines (Vision, Time Series, ...)
3. First things first
Rappelons que dans le NLP, les algorithmes ne comprennent pas "directement" les mots
Il faut que ces mots soient transformés en nombres.
C'est le boulot des algorithmes de "word embedding", qui donc transforment les mots en vecteurs de nombres
Rappelons que dans le NLP, les algorithmes ne comprennent pas "directement" les mots
Il faut que ces mots soient transformés en nombres.
C'est le boulot des algorithmes de "word embedding", qui donc transforment les mots en vecteurs de nombres
