On va parler un peu de Prim, la plateforme d'Île de France Mobilités pour diffuser en #opendata les données des transports de la région, tous modes confondus (fer, tram, métro, bus). prim.iledefrance-mobilites.fr/fr
Cet été, la plateforme a subi une migration d'hébergement (le bandeau orange dans la page précédente) de la section "données temps réel", j'y reviens plus loin (c'est pour ça que je fais ce fil, en fait).
La plateforme contient toute une palanquée de jeux de données sur les horaires, arrêts, gares, zones d'arrêts/correspondance etc. C'est très compliqué car une zone d'arrêt inclure plein de modes de transport, correspondances, des quais de différentes lignes/directions, etc.
IDFM (Île de France Mobilités) s'occupe d'agréger tout ça entre les différents opérateurs de transport de la région et c'est du boulot car ils sont *nombreux* (surtout les bus) (prim.iledefrance-mobilites.fr/content/files/…)
Du coup on a une API temps réel qui diffuse tout en 1 point, c'est assez pratique même si le format (Siri, un dérivé de XML avec conversion en Json) est assez compliqué (la joie des modèles de données d'informatique de gestion + gestion par comité + convertisseurs automatiques).
Le charme de l'API c'est qu'elle donne à quelques secondes près les estimations des horaires de passage ferrés des trains/métros/tramways en gare. La SNCF dispose d'informations similaires pour tous ses trains mais elles ne sont pas publiques (hors Transilien).
L'API est d'accès libre sur création de compte, avec des quotas de requête qui permettent de faire des choses raisonnables (je récupère H24 les données de passage de tout le réseau ferré de la région, et avec un algo pas trop débile ça passe dans le quota gratuit).
Il y a plein d'autres choses intéressantes comme un calculateur d'itinéraires de transport, utilisé par des apps (notamment l'app IDFM je pense), mais je ne m'en sers pas.
Maintenant arrivons-en à l'API temps réel. Celle-ci comporte 2 modes, le mode "par arrêt" donnant l'information fraîche pour 1 gare (ou quai) donné, et le mode "requête globale" qui donne toute la région (tous modes) en 1 bloc très gros, et qui n'est pas aussi fraîche.
La requête globale est en fait manifestement un truc prémouliné, rafraîchi toutes les 2-3 minutes environ, vs quelques secondes pour l'API "par arrêt". De plus la requête globale semble comporter des trous (des trains RER B sud y restent invisibles).
La requête globale comme la requête "par arrêt" (dite unitaire en parlance IDFM) sont gérées par les mêmes serveurs frontaux. Ce sont eux sur lesquels le déménagement est le plus visible.
L'ancien système avait des points d'entrée en traffic.api.iledefrance-mobilites.fr, hébergé sur AWS (Amazon). Le nouveau est sur prim.iledefrance-mobilites.fr, même nom que le site web précité, hébergé sur Azure (Microsoft).
En fait, que font les frontaux ? Pas grand chose, ils servent juste de réflecteurs de données pour rediffuser "en masse" et aussi vite que possible les données collectées et moulinées par ailleurs.
Typiquement le jeu de données tient largement en mémoire d'une machine moderne, les requêtes sont simples, donc le frontal n'a qu'à tenir sa table à jour depuis le collecteur et renvoyer une réponse prémâchée à toute requête de l'utilisateur, après authentification.
En plus de ça il faut un "routeur d'URL" en frontal pour diriger les requêtes soit sur le site web, soit sur le serveur d'API, puisque tout est sur le même nom DNS. Pourquoi pas mais c'est étonnant d'avoir une architecture qui introduit un SPOF sur ce routeur d'URL.
Ensuite la migration. Elle a été ouverte au public le 18 juillet, et les utilisateurs ont 2 mois (jusqu'à la mi-septembre) pour réécrire leur code. Si IDFM doit payer à la fois des serveurs AWS et Azure pendant la transition, je comprends qu'on en limite la durée.
Mais par contre, ce que je comprends moins bien c'est : pourquoi les réflecteurs sur AWS et Azure ? La techno du réflecteur est assez simple, le scaling probablement limité (pas besoin de centaines de serveurs a priori), donc pas besoin de techno propriétaire spécifique AWS/MS ?

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with Pierre Beyssac 🇺🇦🇪🇺

Pierre Beyssac 🇺🇦🇪🇺 Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @pbeyssac

Aug 26
Je crois qu'il n'y a pas grand chose qui met plus en exergue le manque de vision à long terme, et à plusieurs niveaux, voire la démagogie de nos dirigeants, depuis ~30 ans, que le mur face auquel nous nous trouvons dès maintenant en matière d'énergie.
En France on a vécu depuis 40 ans environ sur les acquis du nucléaire. Électricité abondante et peu chère décidée suite aux chocs pétroliers, solde exportateur largement excédentaire, pas trop de questions à se poser.
Là-dessus, 40 ans de savonnage de planche par les anti nucléaire souhaitant avoir la peau de cette énergie et faisant feu de tout bois pour y arriver, et écouté par les politiques, ont érodé peu à peu l'avantage.
Read 9 tweets
Aug 26
Hier la partie visualisation était en rade, aujourd'hui ça marche mieux. Petite visite... ⤵️
Le barrage de Génissiat. L'effet de relief est saisissant.
Un cours d'eau à Comps. On note la différence entre la zone traitée Lidar et la zone en altimétrie basse résolution classique, qui semble bien plate à côté.
Read 8 tweets
Aug 26
Un petit mot sur l'"écoconception" en pratique, gros truc à la mode (légitimement à base, mais la suite va vous surprendre) où en réalité on va dépenser x hommes.mois de travail pour gratter quelques % sur l'énergie consommée par un site.
Les dircom en sont friandes, ça permet d'annoncer qu'on protège l'environnement, sans jamais trop s'attarder en ordre de grandeur réel ("on a passé 3 mois à 4 pesonnes et on a économisé l'équivalent CO2 de 2000 km de voiture par an sur un site national", ça ne se dit pas).
Plutôt que s'épuiser à gagner 10 % sur l'impact CO2 d'un site, il y a un moyen assez simple de gagner 75 % sur une partie de l'infra.
Read 6 tweets
Aug 25
Cet extrait qui tourne en boucle d'une scientifique participant au GIEC est présenté partout comme un "avis scientifique", mais en réalité le langage utilisé n'a pas grand chose à voir avec un avis scientifique. On est dans le registre du jugement de valeur, du sermon.
"plaisirs de petits enfants gâtés", "le jet privé pour aller faire la fête, ça ne doit pas exister", "ça n'a aucun sens le jet privé", "ça n'a pas de sens les piscines individuelles"...
"le golf aussi est une activité qui n'a pas de sens", "vous n'avez pas besoin du golf pour être en vie, pour être heureux", "à lui d'inventer une autre façon de vivre sa passion"...
Read 4 tweets
Aug 24
Quelqu'un de @GroupeSNCF (ou autre spécialiste) pour m'expliquer ce mystère sur lequel je sèche ? Extrait du graphique de circulation de la ligne TGV Paris-Marseille ce 25 août. Remarquez les 2 lignes qui se croisent, TGV 6103 et 6161. Les 2 sont sans arrêt Paris -> Avignon TGV.
Normalement ça veut donc dire que d'une façon ou d'une autre, un des deux trains double l'autre. Or en exploitation "non perturbée" sur la LGV, sans arrêt intermédiaire d'un des 2 trains dans une gare pour que l'autre le dépasse, c'est évidemment impossible.
Donc j'ai supposé un bug quelque part, qu'un des deux trains ne circule pas ce 25 août.
Read 7 tweets
Jul 27
"La CNIL invite à développer des solutions de flicage qui ne nécessitent pas de flicage" #TraduisonsLes #preneznouspourdesjambons
Tout le bonneteau est là. Il existe actuellement en gros UNE raison pour demander une preuve d'âge sur Internet : l'accès au porno (pour preuve, le texte CNIL ne cite que cet exemple). Donc le tiers de confiance le saura avec une bonne certitude même si personne ne le lui dit.
Le but du gouvernement et de la police est de fliquer un maximum nos usages en ligne en commençant par déployer la preuve d'âge dans un maximum de cas. Mais il n'y a qu'eux que ça intéresse (hors quelques ligues de vertu). Alors le porno sert de pied dans la porte pour démarrer.
Read 10 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us on Twitter!

:(