Thread by @AnalyseStatLOL

LOSER QUEUE OU PAS LOSER QUEUE :

Voici une analyse statistique approfondie sur l'existence de la Loser Queue sur le jeu League of Legends.

C'est long, mais ça en vaut la peine. Ce thread tranche sur la question. Je vous conseille de le lire en entier.

1/50

Contexte :

Sur LOL, des joueurs remarquent des dynamiques temporelles sur l'équilibrage des parties.

Selon leur expérience de jeu, des longues périodes de parties "faciles" se suivent. Puis des longues périodes de parties "difficiles".

2/50

Selon eux, il s'agit d'une stratégie algorithmique de l'éditeur du jeu pour renforcer l'addiction des joueurs. Pour tester cette hypothèse de "Loser Queue" plusieurs analyses statistiques ont été faites, dont une récente sur Reddit. reddit.com/r/leagueoflege…

Celles-ci en sont arrivés à la conclusion qu'il existe des dynamiques de non stationnarité (nous reviendrons sur ce terme) sur les séries de victoire et défaite des joueurs. Cette observation ne suffit pas à prouver l'existence d'une "Loser Queue".

L'analyse suivante est basée sur l'ensemble des parties jouées par les joueurs de niveau Master et supérieur à partir de Janvier 2023 et jusqu'à fin Avril 2023. Après filtrage de certaines parties corrompues sur l'API de Lol, nous nous retrouvons avec 750'000 parties.

5/50

L'analyse qui suit est séparée en trois parties :

1/ L'équilibrage du MMR.
2/ L'effet des défaites récentes sur les performances des joueurs
3/ L'équilibrage des équipes selon les performances récentes
Je vous conseille de lire jusqu'à la fin.

6/50

Pour tester si les parties sont équilibrées en terme de MMR, nous avons du estimer par nous même l'elo des joueurs de League of Legends. Nous avons utilisé différents elos classiques (Chess Elo, Glicko Elo, et un élo que nous avons inventé et souhaité tester).

7/50

Il est à noter que nous n'avons pas trouvé de documentation sur le mode de calcul du MMR sur league of legends.

Notre système d'elo, après entrainement sur les parties de Janvier 2023 à Mars 2023, explique très convenablement les parties observées en Avril 2023.

8/50

Nous trouvons qu'en moyenne, la probabilité que la meilleure des deux équipes (selon l'elo estimé) l'emporte est de 50.1%, ce qui est très peu significativement plus que 50%. Par conséquent, les parties sont équilibrées en terme de MMR.

9/50

Ceci est illustré par une p-valeur <0.0001 ce qui signifie que 1. nous avons bien retrouvé un elo qui explique l'équilibrage des parties du jeu 2. le jeu propose des parties en très large majorité équilibrée dans le sens du MMR.

10/50

NB1 : Le fait que notre elo prédise les résultats à hauteur de 50% pourrait également signifier que notre elo est à côté de la plaque et qu'il prédit "aléatoirement" le niveau des équipes.

11/50

Cependant, nous avons vérifié que les parties lancées en simultanée par le jeu (lorsque 20 joueurs tag en même temps par exemple) répartissent les joueurs quasiment de la même façon avec notre elo et avec le MMR de league of legends.

12/50

NB2 : Nous avons aussi construit un système d'elo qui sur-performe le système d'elo de league of legends.

13/50

Nous réussissons à prédire avec une réussite de 52% le résutlat d'une partie en utilisant un système de "boost" (ou malus) d'elo pour les joueurs ayant eu de très bonnes performances (kda, vision score, golds,...)

14/50

Notre système récompense plus ces joueurs, et par conséquent ils "montent" (ou "descendent" dans l'autre sens) plus vite.

15/50

Nous en avons conclu que League of Legends ne prend pas en considération les statistiques de jeu pour son système d'elo, mais que les parties seraient plus équilibrées s'ils le faisaient.
Fin des NB.

16/50

Nous avons ensuite voulu vérifier si le fait de perdre/gagner influait sur les performances des joueurs. Est-ce qu'après une défaite un joueur devient moins bon ? Si c'est le cas, dans le langage statistique on dit que la série des résultats est non-stationnaire.

17/50

Cela signifie que selon l'instant, et selon les résultats récents du joueur, il devient moins bon ou meilleur. Nous avons pu faire deux observations.

D'une part, les séries de victoire/défaite sont très hautement non stationnaire.

18/50

En particulier, l'autocorrélation d'ordre 1 est très élevée. Cela signifie que le résultat de la partie précédente influe beaucoup sur la victoire de la partie. (CF graphique).

19/50

D'autre part, si on considère l'historique récent des 10 joueurs de la partie, et qu'on estime la probabilité de victoire d'une équipe sur l'autre, on se rend compte que les parties deviennent beaucoup plus déséquilibrées.

20/50

En rajoutant dans la régression logistique (un modèle qui permet d'estimer simplement la probabilité de victoire d'une équipe de divers paramètres) les historiques des joueurs sous le format : [win rate dans les 10 dernières parties] OU [win rate dans la session en cours…

21/50

…c'est à dire série de parties sans interruption du joueur], nous observons que la probabilité d'estimer correctement le vainqueur de la partie est de 53%. Cela signifie qu'il y a un déséquilibre de 6% entre les deux équipes dans le modèle.

22/50

Nous avons été surpris d'observer d'ailleurs que l'effet du winrate sur les 10 dernières parties était plus fort que celui du winrate sur la session en cours.

23/50

Il semble donc y avoir une raison "mécanique" liée à la nature même de l'historique du joueur. Vous pouvez voir que l'historique de tous les joueurs d'une partie est fortement significatif sur le résultat de la partie. Alors que l'elo ne l'est que très peu.

A ce stade, il est impossible de dire pourquoi est-ce que les historiques des joueurs influencent autant les résutlats des parties. Il y a trois hypothèses naturelles.

25/50

La première est algorithmique, dans un système de MMR, des joueurs se retrouvent souvent classés loin de leur elo, par pure volatilité, et ils doivent redescendre ou remonter à leur réel MMR.

26/50

Ce déséquilibre pourrait simplement être un effet "élastique" des joueurs mal rankés. Cependant, l'effet semble un peu trop important pour expliquer 6% d'écart de probabilité entre les deux équipes.

La seconde est l'idée que le niveau des joueurs fluctue, et que parfois ils ne sont pas au niveau pour jouer à leur elo. Par exemple, parce qu'ils sont tiltés des parties précédentes, ou bien parce qu'ils ne vont pas bien.

28/50

Dans ce cas, les mauvaises performances récentes nous servirait de "proxy" pour comprendre que, en ce moment, le joueur n'est pas aussi bon que son MMR le dit. Cela expliquerait pourquoi on prédit mieux le résultat en corrigeant les élos des joueurs.

29/50

[NB : Pour donner un ordre d'idée, dans notre modèle prédictif, un historique à 30% de victoire est équivalent à une baisse de 200LP en terme de baisse de performance, un historique à 10% est équivalent à une perte de 400LP.] La troisième hypothèse est que les deux…

30/50

…premières hypothèses sont vraies, mais qu'elles sont amplifiées par un effet algorithmique qui regroupe les joueurs en mauvaise phase. C'est ce que nous allons tester maintenant.

31/50

3/ LOL utilise-t-il les performances récentes pour allouer les joueurs dans les deux équipes ?

Il est en réalité très facile de tester si le jeu prend en compte l'historique récent pour effectuer son matchmaking.

32/50

Si cette variable n'est pas utilisée par le jeu, cela signifie que les historiques des joueurs des deux équipes doivent être indépendant.

Faisons alors un tout petit peu de probabilités et de statistiques.

33/50

Tout le principe des statistiques est de faire une hypothèse qui est la plus "vraisemblable" et celle qu'on serait choquée de voir être fausse, et de se laisser prouver par les données qu'il n'est pas raisonnable de la soutenir.

34/50

Nous allons donc supposer que l'historique des joueurs des deux équipes est indépendant [H0]. Alors, en statistique ce que nous aimons faire c'est de créer un chiffre, et de dire à quel point ce chiffre est critique sous l'hypothèse que l'on appelle H0.

35/50

Ici, ce que nous allons regarder c'est la différence de Winrate sur les 10 dernières parties [ou sur la session en cours des deux joueurs] sur les deux équipes. Nous allons regarder la différence entre l'historique de la meilleure équipe et celui de la pire.

36/50

Si jamais l'allocation des équipes a été fait indépendamment du winrate, alors nous pouvons calculer que nous devons observer une loi demi-normale de variance égale à la variance des winrate dans l'ensemble de la base multiplié par deux.

37/50

C'est la courbe bleue foncée. Nous, nous observons l'histogramme. Vous voyez qu'il y a toute une partie de densité nulle qui pourtant arrive très souvent !!!

38/50

En d'autre terme : Les parties où l'écart de winrate (sur les 10 dernières parties) entre les deux équipes devrait être de +de 40% devrait arriver moins de 5% du temps. Or, dans la pratique, cela s'observe dans plus de 25% dans des parties.

39/50

Le test d'indépendance des winrate-historique entre les deux équipes est rejeté à 1%.

40/50

Cela signifie - pour faire la phrase exacte de statisticien - qu'il est critique à hauteur de moins d'1% qu'il y ait autant de parties déséquilibrées en terme de winrates récents des joueurs sous l'hypothèse que Riot n'utilise pas l'historique pour le matchmaking.

41/50

Donc, avec une marge de 1%, on peut affirmer que Riot utilise l'historique des joueurs pour ajuster le matchmaking.

Les résultats sont un peu moins significatifs pour la session en cours, et quasiment nuls si on ne prend que la dernière partie.

42/50

Il semble donc se passer quelque chose sur les 10 dernières parties. A noter que je n'ai pas fait de test sur 5/10/15 parties, pour réduire mon ensemble d'hypothèse. Le choix de "10" est donc arbitraire.

43/50

CONCLUSION :

Il existe des évidences statistiques significatives permettant de dire que Riot

- Propose des parties équilibrées selon le MMR calculé des joueurs.

44/50

- Au sein d'un MMR, il semble que Riot affine le matchmaking selon le winrate des joueurs, dans le sens d'un déséquilibrage des parties (augmentation de l'écart de niveau entre les deux équipes via l'historique des joueurs).

45/50

- Il n'est pas possible d'expliquer pourquoi est-ce que Riot fait cela avec ces seules analyses. Il n'est pas non plus impossible qu'un autre facteur oublié dans l'analyse explique ces résultats.

46/50

- Cette analyse est robuste aux effets "tilt", "variation du niveau",... La partie trois de l'analyse n'étudie que le fonctionnement algorithmique du Machmaking, et ne s'intéresse pas au résultat de la partie de jeu.

47/50

Hypothèses utilisées dans le calcul des quantités statistiques :

- Il a été supposé que les résultats de parties de jeux sont indépendants les uns des autres. C'est une hypothèse forte mais nécessaire pour effectuer des tests statistiques.

48/50

- Cette hypothèse est évidemment fausse puisque les mêmes joueurs interviennent dans différentes parties. Nous avons donc réduit l'espace des observations par une méthode de clusterisation.

- Nous avons fait l'hypothèse de normalité asymptotique des observations

49/50

Ce qui ne pose pas problème étant donné le volume de données (10'000 parties utilisées pour l'analyse de la partie 3).

50/50

Note :

- Les auto-fill n'ont pas été considérés pour ne pas augmenter l'espace d'hypothèse. Il serait intéressant de croiser les différences de winrate-historique avec la présence d'autofill.

51 ( ._.) /50

Note 2 :

J'insiste sur un résultat important, sur la courbe comparée à l'histogramme, vous voyez que le décalage entre l'hypothèse d'indépendance et ce que l'on observe est vers la droite. Les parties sont donc rendues + déséquilibrées (et pas moins déséquilibrées).

Note 3 :

Je travaille à la mise en forme de mon code pour le rendre accessible (avec la base) pour ceux qui voudraient refaire mes analyses.

@Crocodyle_TV @NarkussLol @Sardoche_Lol @Wakzlol Je me permets de vous tag pour vous présenter tout un tas de preuves statistiques sur l'existence (ou non) de la loser queue. CF thread au dessus.

@Crocodyle_TV @NarkussLol @Sardoche_Lol @Wakzlol @Skyyart Je me permets de te tag pour te présenter tout un tas de preuves statistiques sur l'existence (ou non) de la loser queue. CF thread au dessus.