Thread by @pavel23

Das offizielle RKI-Covid-19-Dashboard auf experience.arcgis.com/experience/478… war den ganzen Donnerstag down, und das beeinträchtigte auch den Zugriff auf die API, mit der die halbe Welt die Datenreihen abgreift, darunter auch ich für die risikotabelle.de (ein einfacherer Alias für..

... pavelmayer.de/covid/risks), wo ich die täglich die Covid-Zahlen für alle Landkreise und Länder aufbereite, und wie durch ein Wunder zeigte meine Tabelle trotzdem die aktuellen Daten. Normalerweise lade ich die Daten einmal selbst direkt von arcgis.com herunter...

... und vergleiche sie mit den Dumps, die @MichaelKreil wie hier github.com/ard-data/2020-… beschrieben für die ARD herunterlädt und zur Verfügung stellt. Ein Riesendank an dieser Stelle.

Es scheint dem dortigen Crawler gelungen zu sein, gestern um 12:40 den komplettem Datensatz erwischen zu können, was mir bei Dutzenden Versuchen bis zum Abend nicht gelungen war, weder über DSL zu Hause noch von einem Host im Datacenter aus, wobei mal der schneller angebundene...

...Host im Rechenzentrum weiter kam, mal das Laptop über die langsamere DSL-Leitung. Die Symptome sind dabei ungewöhlich. Normalerweise, wenn im Internet ein Server überlastet ist, kommt gar keine Antwort oder die Daten kommen so langsam, dass es zu einem Timeout kommt.

In dem Fall aber kamen Daten, auch schnell genug, aber nicht in der erwarteten Form; es fehlte gewissermaßen ab und zu die "Verpackung", die die sogenannten Metadaten enthält, also Daten über die Daten; stattdessen kam gelegentlich das "nackte Innere".

Bevor ich aber Zeit hatte, mir das wirklich genau anzusehen, gegen Mitternacht, war der Server eine Weile gar nicht erreichbar, und jetzt funktioniert erst mal alles wieder, so dass ich einen Fehler auf meiner Seite nicht hundertprozentig auschließen kann, aber es kam ...

...ein korrektes JSON-Objekt zurück, problemlos parsebar, mit Covid-Daten. Das besondere ist, dass das nicht immer, sondern nur gelegentlich der Fall war, aber häufig genug, dass der Download nicht durchlief. Darauf hin habe ich eingebaut, dass mein Client betroffene ...

...Abschnitte neu anfordert. Meist kam dann das kaputte dasselbe kaputte Objekt in Folge zehn mal und öfter zurück, was auch Folge irgendwelche Caches, also Zwischenspeicher zwischen mir und dem Server sein kann, aber das ist unwahrscheinlich, weil ich es auch mal mit anderen...

... Chunk-Größen, also kleineren Stückelungen probiert habe, mit demselben Effekt. Was könnte es also sein? Meine Vermutung, aber es ist wirklich nur eine Vermutung, ist wie folgt: Wahrscheinlich ist die "Cloud" Schuld. Genauer gesagt die Art und Weise, wie man heutzutage...

...Serverinfrastrukturen betreibt: Statt einem leistungsstarken Rechner nimmt man viele Kleine, und davor gibt es einen Lastverteiler, der die Anfragen aus dem Internet auf verschiedene Server verteilt, die vom Internet aus wie *ein* Server aussehen.

Lade ich jetzt die Daten über die API herunter, kann ich das nur in Häppchen zu je 5000 Datensätzen machen, so dass ich mehrere hundert Anfragen senden muss, bis ich alle Daten habe. Dabei kann jede einzelne meiner Anfragen von einem anderen Rechner beantwortet werden, je ...

... nachdem, wie der Lastverteiler das macht. Damit das alles funktioniert, es also egal ist, welcher Server meine Anfrage beantwortet, müssen alle auch die gleiche Software, die gleiche Konfiguration und die gleichen Daten haben. Ich vermute, dass das zeitweise nicht so war.

Ich vermute, dass es im Cluster einen oder mehr Server gab, die sich falsch verhalten haben, und nach hunderten Anfragen ist die Wahrscheinlichkeit hoch, dass eine der Anfragen vom "kaputten" Server bedient wird. Wie gesagt, das Problem war erst mal weg, bevor ich das genauer..

..unter die Lupe nehmen konnte, aber es war nicht das erste Mal, dass das aufgetreten ist, meist morgens, und wurde dann immer besser, also der "Download" kam immer weiter, bis er irgendwann komplett durchlief.

Dieses Verhalten könnte darauf hindeuten, dass beim Aktualisieren der Daten nicht alle Datenbanken, von denen es auch meist mehrere Instanzen gibt, noch nicht alle Daten hatten und manche Applikationserver schon Anfragen beantwortet haben, ohne die kompletten Daten zu haben.

Wie gesagt, das ist alles spekulativ, vielleicht hat ja jemand mehr Konkretes, der mehr über das arcgis-System und die Infrakstruktur weiß oder sogar konkret an dem System gearbeitet hat. Vor drei Tagen hatte ich noch gescherzt:

https://twitter.com/pavel23/status/1371888371543511046

Und heute war das offizielle deutsche Corona-Dashboard den ganzen Tag nicht abrufbar. Kein Weltuntergang, zum Glück hatte ich meine Tabelle, aber ich gleiche meine Zahlen jetzt gerne früh am Tag mit den RKI-Seiten ab, und selbst diese Seite, rki.de/DE/Content/Inf…

...auf die verwiesen wurde, als das Dashboard down war, hatte heute erst um 9:40 die Zahlen, also auch recht spät. Und es ist nicht gerade ein Aushängeschild für Deutschland, wenn eine so zentrale Informationsseite so lange nicht erreichbar ist, und unglücklicherweise ...

...sind das die Daten, auf die alle möglichen Leute, Medien, Hochschulen, Forscher und Amateuer-Datenaufbereiter wie ich angewiesen sind. Ich hoffe, dass das jetzt nicht immer öfter vorkommt, dass die Datenlieferungen stocken oder für länger ausfallen.

Und wie gesagt, die Datenmenge wächst täglich, und damit auch die Anforderungen an die IT-Infrastruktur. Das ist ein System, das jeden Tag mehr Daten verarbeiten muss, und je höher die Inzidenz, umso schneller wachsen auch die Daten an. Weniger werden es keinesfalls.

Ich habe meinen Download-Code jedenfalls jetzt so aufgebohrt, dass er zukünftig die Daten zusammentragen können müsste, so lange auch nur ein Server hinter dem Load-Balancer ab und zu die richtigen Daten liefert, aber gut ist das ist nicht.

Schuld ist für mich auch nicht das RKI, sondern die Politik, die es versäumt hat, in einer Pandemie die notwendigen Mittel bereitzustellen, um gute Daten zu erheben, und das ist nicht nur die IT, auch das Sequenzieren kam bei uns in Gang, als England bereits von Mutanten...

...überrannt war, und ich will jetzt gar nicht von Tests und Impfungen und das Tracking durch die Gesundheitämter reden, ich bräuchte mittlerweile fast nur noch ältere Tweets von mir retweeten, um auf aktuelle Ereignisse zu reagieren.

Eine 7-Tage-Inzidenz von 100 erzeugt rund 10.000 Datensätze pro Tag, gestern 9712 , die ewig mitgeschleppt werden müssen. So ist bis heute die täglich zu publizierende und zu verarbeitende Datenmenge auf 1.427.322 Datensätze angewachsen, und morgen werden es 10.000 mehr sein.