,
13 tweets,
4 min read
Read on Twitter
On reçoit de nombreuses questions suite à l’article de @nextinpact, portant notamment sur la capacité d’indexation de Qwant. Après avoir passé le week-end à faire nos investigations internes, nous avons jugé important d’adresser publiquement nos réponses.
L’article de @manhack s’appuie sur des accusations portées par un individu qui teste de manière répétée certaines requêtes précises. Il y constate l’ancienneté réelle de certains résultats proposés par Qwant, donnant l’impression d’un index à l’arrêt.
Par ex, quand on recherche « Mediapart » et que le descriptif du résultat Facebook affiche 766 737 abonnés alors qu’il a aujourd’hui plus d'un million d'abonnés, c’est la preuve que le résultat n’est pas à jour.
Comme vous, nous trouvons la démonstration implacable en apparence. Est-ce pour autant la preuve que Qwant ment et ne développe pas ou ne met pas à jour son index ? Non.
Mais il faut expliquer pourquoi, et nous avons compris d’où ça venait.
Mais il faut expliquer pourquoi, et nous avons compris d’où ça venait.
Accrochez-vous, c’est pas simple ! (même pour nous qui continuons à découvrir des problèmes créés en cascade par une erreur bête mais dont nous payons toujours les conséquences dans la mise à jour majeure cette année de notre technologie d’indexation du Web, toujours inachevée)
Tout d’abord, il faut savoir qu’un moteur de recherche met en cache ses résultats des recherches les plus fréquentes, pour ne pas solliciter inutilement ses serveurs. Ce cache est régulièrement mis à jour, selon des règles assez complexes.
La bourde d’où découlent tous nos problèmes, c’est qu’au moment d’une bascule vers une nouvelle techno, nous avons fait une erreur d’adressage qui a en quelque sorte « rebranché » un index de 2017 mis en sommeil, ce qui a pollué le cache.
Une mauvaise gestion du cache a ensuite engendré des problèmes de résultats frais écrasés automatiquement sans que l’on puisse le détecter facilement. Nous sommes depuis en train d’ajouter les contrôles qui nous manquaient.
Par exemple, un problème de cache était visible au niveau des clés affectées aux différents niveaux de modération des résultats (strict, modéré, aucun), avec des résultats frais ignorés pour certains niveaux et présents pour d’autres. 
Ce bug n’est pas le premier que nous avons dans la gestion du cache et de l’index, mais c’était de loin le plus difficile à comprendre — et c’est vrai que nous aurions dû y consacrer plus d’énergie avant.
Cet article et les réactions qu’il a suscitées nous ont même permis de voir que le bug était plus large que ça.
↓ Si tu as eu le courage de nous lire jusque ici, la suite va t'intéresser ↓
↓ Si tu as eu le courage de nous lire jusque ici, la suite va t'intéresser ↓
Cet échange relevait que les résultats à la requête « Marine Lepen » renvoyaient vers des résultats de 2017 en s’appuyant sur la date de publication des articles.
(le fil s'est cassé)
La suite est là ↓
La suite est là ↓
