Les INDEX sous #Pandas sont souvent incompris et mal utilisés

Ils sont pourtant d'une grande aide, surtout si on a besoin de performance avec des dataframes volumineux

L'idée principale est qu'ils vous apporteront de la performance s'ils sont UNIQUES

> Illustration
1/ Sélection de lignes d'un df sans faire appel à l'index

Sur un df de 10.000 éléments, la recherche d'une ligne sans faire appel à l'index prend 373 µs (sur mon laptop)
2/ Sélection de lignes d'un df avec appel à l'index

Sur un df de 10.000 éléments, la recherche d'une ligne en utilisant l'index prend 60 µs

Soit un facteur 6 entre les 2 méthodes
3/ Sélection de lignes d'un df avec appel à l'index contenant des doublons

Ici le df n'est pas trié suivant l'index

Sur un df de 10.000 éléments, la recherche d'une ligne en utilisant l'index prend 100 µs
Même test, mais cette fois ci en triant le df suivant l'index

On obtient quasiment les mêmes résultats
4/ Sélection de lignes d'un df avec appel à l'index et dataframe non trié par l'index

Ici le df n'est pas trié suivant l'index

Sur un df de 10.000 éléments, la recherche d'une ligne en utilisant l'index prend 60 µs, soit le même ordre de grandeur qu'avec un df trié
En résumé, pour tirer le maximum des index en terme de performance, faites en sorte qu'ils soient uniques

Dans ce cas, Pandas construira une table de hashage qui rendra la recherche via cet index performante
J'ai mis à votre disposition un guide gratuit sur Pandas si cela vous intéresse

Vous l'avez à cette adresse

objectifdatascience.com
Je viens de me rendre compte que je n'ai pas changé la ligne de commentaire au début de chaque screen de code

Sorry si cela porte à confusion !

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with Vincent | Objectif Data Science

Vincent | Objectif Data Science Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @ObjectifDataSci

Jul 4
Connaissez-vous #pyCaret ?

Si ce n'est pas le cas, je vous conseille vivement d'y jeter un oeil

Cette bibliothèque vous permet de tester facilement les performances des principaux algorithmes de Machine Learning

illustration >
Test sur la classification du dataset IRIS Image
on obtient ces résultats : Image
Read 4 tweets
Apr 29, 2021
1. Aujourd'hui on va revoir nos grands classiques en #MachineLearning dans le domaine du #NLP

Nous allons revoir dans le détail comment transformer des mots en vecteurs, grâce à l'algorithme #word2vec #skipGram

Ready?

🔽🔽 Thread
2. Commençons ce thread par une évidence, mais qu'il convient de rappeler

Les algorithmes de Machine Learning ne savent pas traiter directement des mots et des lettres

Donc dès que l'on veut faire du #NLP, il faut trouver un moyen de transformer les mots en nombres
3. Une des premières intuitions que l'on peut avoir, c'est de prendre l'ensemble des mots avec lesquels on veut travailler, et de leur donner à chacun un indice, en construisant un dictionnaire

Dans ce cas, chaque mot pourra être représenté par un nombre unique (son indice)
Read 23 tweets
Apr 23, 2021
C'est le week-end !

Peut-être aurez vous le temps de lire mes dernières publications.

Au programme :
> Régression Logistique
> Matrice de confusion
> Binary tree : Gini vs Entropy
> Transformers et self Attention
> Les réseaux à convolution

Bonne lecture !

🔽🔽 Thread
[Régression Logistique]

Voir différemment cet algorithme et tout comprendre grâce à la géométrie

#datascience #machinelearning #ia

[Matrice de Confusion]

Plus jamais confus (!) par la matrice de confusion grâce à ce truc très simple à retenir

#datascience #machinelearning #iA

Read 6 tweets
Apr 23, 2021
1. Hello. Aujourd'hui, je m'attaque à un gros morceau

Les transformers

en particulier la partie self-attention qui en constitue la partie la plus intéressante

Après avoir lu ce thead, j'espère que vous aurez compris les mécanismes en jeu

Ready?

#MachineLearning #DataScience
2. Je vais détailler le fonctionnement des transformers dans le contexte du NLP, qui est le domaine où le premier papier a été publié en 2017 ("Attention is all you need")

A noter que les transformers s'attaquent désormais à d'autres domaines (Vision, Time Series, ...)
3. First things first

Rappelons que dans le NLP, les algorithmes ne comprennent pas "directement" les mots

Il faut que ces mots soient transformés en nombres.

C'est le boulot des algorithmes de "word embedding", qui donc transforment les mots en vecteurs de nombres
Read 37 tweets
Apr 21, 2021
1. Hello les copains

Etes-vous confus devant une matrice de confusion ?

Vous n'arrivez pas à retenir ce que sont les indicateurs "precision", "recall", "accuracy" ?

Je pense que ce thread devrait vous aider.

🔽🔽 Thread

#datascience #MachineLearning #iA
2. Personnellement, ces notions autour de la matrice de confusion, j'ai mis un bon bout de temps avant de les retenir une fois pour toute.

Et pour retenir tout ça, j'ai un super moyen mnémotechnique que je vais vous donner.

Ready?
3. D'abord de quoi parle-t-on ?

On parle de résultats d'une classification faite par un modèle de Machine Learning (Regression logistique, SVM, RF, KNN, Réseau de neurones, Naive Bayes ... et j'en passe)
Read 29 tweets
Apr 21, 2021
1. Hello les copains.

Aujourd'hui on va parler de réseaux de neurones, et en particulier de réseaux de neurones à convolutions.

On va se concentrer surtout sur les filtres à convolutions qui constituent les paramètres d'un #CNN

🔽🔽Thread

#datascience #machinelearning #ia
2. Ce tweet sera l'occasion de revoir les grands principes qu'il y a derrière un tel réseau de neurones.

C'est important de comprendre les rouages qu'il y a derrière tout cela.
3. Pour commencer, on peut dire que "l'hiver de l'IA" s'est terminé grâce aux progrès spectaculaires de cette dernière décennie permis grâce aux CNN.

C'est grâce à leur performance que le monde s'est de nouveau intéressé à ces technologies
Read 39 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us on Twitter!

:(