Hier eine Seite von mir, wo man sich schnell Überblick über das lokale Corona-Geschehen in ganz Deutschland machen kann, mit Rangliste aller Kreise nach Risiko. Bitte macht sie nicht kaputt, sie läuft in einem normalen uberspace. pavelmayer.de//covid/risks/
Das meiste dazu steht auf der Seite. Auch wenn man Zahlen nicht mag, ist es schon ein Erlebnis, einmal die Liste von Platz 1 bis 388 durchzuscrollen und die Farben von rot zu beruhigendem Grün wechseln zu sehen.
Technisch sind das 800 Zeilen Python und Flask, Dash, datatables, pandas, numpy und feather unter der Haube. Hab ich außer Python und numpy alles zum ersten mal benutzt. Dazu noch mal 1200 Zeilen für Datenaufbereitung und Experimente.
Die meiste Zeit ist dafür draufgegangen zu verstehen, was das RKI mit den Daten macht und durch Vergleich der täglichen Dumps herauszufinden, wann welche Datensätze bzw. Fälle beim RKI eingegangen sind, den Zeitstempel gibt es nur für den Eingang beim Gesundheitsamt.
Ich habe nun 15 Tage an Dumps, und aus all diesen Dumps versuche ich vor allem das Eingangsdatum eines Falls beim RKI zu rekonstruieren. Das ist aber nur eingeschränkt möglich, da es keine Fälle mit tagesübergreifenden Nummern gibt, sondern tägliche Dumps mit, ja, mit was?
Es ist immer die "komplette" Datenbank, aber nicht so, wie man denken würde. Es kommen und verschwinden nämlich Fälle von einem Tag auf den andere, als ob da Meldedatum und Erkrankungsdatum nachtträglich geändert werden, was ja eigentlich nicht geht.
Da ausserdem vereinzelt Meldungen beim RKI mit Wochen Verspätung eintreffen, es aber keinen Eingangsdatumsstempel gibt, lässt sich nicht unterscheiden, ob es verspätete Neueingänge, Bearbeitungen oder technische Fehler sind.
Eine einfache Operation, wie festzustellen, wie viele Fälle in den letzten 7 Tagen bei RKI eingetroffen sind, ist auf den täglichen Dumps nicht möglich. Das Abgleichen der Dumps der letzten 7 Tage untereinander geht aber auch nur bedingt wie bereits beschrieben.
Vielleicht hat das alles technische Gründe und das System kann Änderungen am Datenbestand und Stichtagszählungen nur schlecht abbilden. Vielleicht hat jemand Datumsfelder rausgeworfen, oder die Software, die Fälle zusammenfasst macht komische Dinge. Oder alles ist viel schlimmer.
Ich will nicht allzuviel klagen, ich finde das Ergebnis nicht schlecht, aber ich hätte ein oder zwei ähnliche Sachen mehr machen können, hätte ich nicht so viel Zeit darauf verwenden müssen, die dumps zu analysieren und zu verstehen, was da passiert. Vielleicht bin ich zu doof.
Wie gesagt, ich hoffe, der Server hält, wollte keine Firmenressourcen dafür einsetzen, sonst wäre das alles plötzlich Arbeit und viel anstrengender. Sollte es technische Probleme geben, sagt mir hier ruhig Bescheid, ich hab diese Technologie das erste Mal aufgesetzt.
Keine Ahnung, was die Seite ab kann und wie effizient das alles ist. Läuft mit wsgi, über den Webserver und ssl hab ich nicht viel Kontrolle, die Request schlagen magisch bei mir auf, also in der app, und ich wollte mich nicht erst tagelang mit Systemkonfiguration beschäftigen.
