Thread by @CortexNihilo

Un sujet intéressant à l'intersection entre les mathématiques et la philosophie, c'est le débat Fréquentisme vs. Bayésianisme.

Les deux approches aboutissent au même formalisme mathématique, mais diffèrent dans ce que représente une probabilité, et à quoi on peut en assigner.

Le débat est donc philosophique, pas mathématique.

Mais cette différence philosophique affecte le choix de quels outils mathématiques seront utilisés dans quelles situations.

Regardons un peu les bases philosophiques de ces deux approches. ⬇️

⚠️ Je précise que ce que je vais décrire là est la version "puriste" de ces deux interprétations des probabilités.

La plupart des personnes concernées par l'utilisation des probabilités et statistiques ont une vision plus nuancée.

Le Fréquentisme est l'approche généralement enseignée en France, commençons donc par là.

Dans cette vision, une probabilité est une fréquence d'occurrence (d'où le nom Fréquentisme).

Dans une expérience aléatoire, la probabilité d'un évènement est ce vers quoi tend sa fréquence d'apparition, quand on reproduit l'expérience un très grand nombre de fois.

Par exemple, si on lance un dé à 6 faces de nombreuses fois, en moyenne chaque face apparaît 1 fois sur 6.

Cette définition a une conséquence notable : on ne peut associer de probabilité qu'à des évènements dans le contexte d'une expérience qu'on peut répéter plusieurs fois (au moins de manière imaginaire).

Associer une probabilité à la valeur d'une constante physique par exemple, n'a alors aucun sens : cette constante a une valeur bien définie, ce n'est pas une expérience aléatoire.

Par contre, on peut associer une probabilité au résultat d'une expérience empirique scientifique, et sur cette base construire des tests statistiques pour discriminer des hypothèses entre elles.

Une analyse théorique permet des raisonnement du type "si l'hypothèse H est vraie, alors cette expérience devrait donner tel résultat avec telle probabilité".

Ensuite, on peut faire l'expérience (plusieurs fois de préférence), et constater les résultats obtenus.

Si les résultats obtenus avaient une probabilité théorique extrèmement faible d'arriver, alors on va pouvoir en conclure que l'hypothèse initiale était fausse.

C'est une forme de raisonnement à rapprocher du raisonnement par l'absurde.

On va donc en général partir de l'hypothèse la plus simple ("il n'y a pas d'effet / de corrélation"), que l'on nomme l'hypothèse nulle, et si l'expérience permet de la rejeter, alors on va pouvoir analyser l'effet et notamment sa taille (grand effet, ou anecdotique ?).

En face, l'approche Bayésienne part d'une conception très différente. Pour elle, la probabilité p(A) représente le degré de confiance que l'on a dans le fait que l'affirmation A soit vraie.

Ici, la probabilité n'est donc plus absolue comme une fréquence d'occurrence.

La probabilité est plutôt une représentation de l'information à la disposition de la personne qui raisonne.

Il est normal que deux personnes assignent une probabilité différente à une même affirmation, si ces deux personnes ne disposent pas de la même information.

Le raisonnement Bayésien consiste alors à évaluer comment l'acquisition de nouvelles informations change ces probabilités, et l'outil majeur pour ce faire est le Théorème de Bayes.

Dans ce mode de raisonnement, on ne va pas rejeter des hypothèses, mais plutôt les comparer entre elles, en fonction d'à quel point chacune est compatible avec les résultats expérimentaux.

On peut noter que l'approche Bayésienne peut tout autant associer des probabilités aux résultats d'expériences ("ma confiance dans le fait que le dé tombera sur la face 4 est de 1/6"), et cette étape est tout aussi nécessaire que pour le raisonnement Fréquentiste.

Avec ça en tête, on peut essayer de comparer les conséquences pratique de ces deux approches.

Le raisonnement Fréquentiste a besoin, pour conclure, d'évaluer la probabilité de l'observation selon l'hypothèse à tester.

En face, le Bayésianisme a besoin de cette probabilité selon toutes les hypothèses d'intérêt.

C'est une différence majeure, en terme de complexité.

Évaluer la probabilité théorique d'une observation selon une hypothèse n'est pas un exercice aisé. Devoir de faire pour toutes les hypothèses l'est encore moins.

Les méthodes Fréquentistes approtent une boîte à outil générique, utilisable dans de nombreux contextes.

Les méthodes Bayésiennes, au contraire, demandent souvent à être adaptées au cas par cas. Un exercice long et complexe, pour souvent arriver à la même conclusion.

Car oui, quand on a de bonnes quantités de données, les deux approches arrivent généralement aux mêmes conclusions.

La différence se joue plutôt dans les contextes où on a pas beaucoup de données. Dans ce contexte, les méthodes Bayésiennes sont souvent très efficaces pour extraire le plus d'information possible des observations.

Sous réserve qu'on arrive effectivement à les appliquer. 😬

Sous un autre angle, il est intéressant de constater qu'un certain nombre de méthodes Fréquentistes peuvent être vue comme des approximations de méthodes Bayésiennes.

Personnellement, sur le plan philosophique je suis sans conteste Bayésien.

Mon opinion complète est que le Bayésianisme est épistémologiquement bien fondé, mais nous entraîne dans des directions complexes, difficiles à mettre en œuvre en pratique.

Dans ces contextes, les méthodes Fréquentistes elles, arrivent à rester applicables dans des cas larges.

Si elles donnes des résultats théoriquement moins précis,elles ont néanmoins le bon goût d'en pratique donner des résultats !

Donc, pour conclure, je suis pour une philosophie Bayésienne qui sache tirer parti des méthodes Fréquentistes, et les intégrer à ses raisonnements en tant qu'approximations utiles, pour avancer sans rester coincer sur des calculs indémélables.