Automatische Veredelung von offenen Nahe-Echtzeit-Daten (fossgis2025)

Vorgestellt wird eine Plattform zur Echtzeit-Verarbeitung von Erdbeobachtungs- und Wetterdaten, die in der Bewältigung von Extremereignissen unterstützt. Open-Data-Quellen wie EFAS, GLOFAS und DWD-Radardaten werden automatisiert auf einer skalierbaren Kubernetes-Plattform verarbeitet und z.B. den Versicherungsunternehmen nahezu in Echtzeit zur Verfügung gestellt. Der Vortrag erklärt das Plattformkonzept und den Mehrwert für verschiedene Branchen. Automatische Veredelung von offenen Nahe-Echtzeit-Daten zu einem hydro-meteorologischen Informationsprodukt Ausgehend von der verheerenden Sturzflut im Ahrtal im Juli 2021 hat die Versicherungsbranche den dringenden Bedarf festgestellt, auf derartige Ereignisse besser vorbereitet zu sein. Durch den Klimawandel wird das Auftreten von Extremereignissen wahrscheinlicher, so dass das Risiko von Versicherungsrelevanten Ereignissen steigt. Daher hat die Versicherungsbranche das Ziel ausgegeben, eine Plattform zur Verarbeitung beliebiger Erdbeobachtungsdaten für die kurzfristige Integration von Echtzeitdaten von aktuellen Überflutungs- und Katastrophenereignissen zu erarbeiten und in Betrieb zu nehmen. In der ersten Ausbaustufe wurden Open Data Satelliten- und Wetter-Daten von Flood Awareness Systeme (wie EFAS, GLOFAS) und Flood Monitoring Systeme (GFM, EMSR), sowie Radardaten des DWD mit ihren jeweils unterschiedlichen Charakteristika untersucht, bewertet und als Branchen-Informationsprodukt bereitgestellt wird. Das Ziel ist es, schnellstmöglich und vollautomatisiert eine kontinuierliche Bereitstellung der genannten Inputdaten zu gewährleisten. Das resultierende Informationsprodukt beinhaltet die klassifizierten Datenquellen sowie die verwendeten Rohdaten und wird in nahezu Echtzeit („Near-Real-Time“ (NRT)) im WebGIS für weitere Analysen den Endkunden bereitgestellt. Das gezeigte Plattformpattern implementiert die Datenstromveredelung mit umfangreichen Prozessierungen auf einer maximal skalierbaren Kubernetes-Plattform. Mithilfe von automatisierten Argo-Workflows wird täglich ein Informationsprodukt aus Vorhersage-, Überflutungs- und Verdachtsflächen erzeugt und über eine API für die Weiterverarbeitung angeboten. Der Vortrag stellt das Vorgehenspattern der NRT-Plattform und ihre eingebundenen Datenquellen sowie Nutzen und Mehrwerte für die Konsumenten der Datenaggregate vor und erlaubt einen tiefen Blick in die OpenSource-Maschinenhalle. Licensed to the public under https://creativecommons.org/licenses/by/4.0/ about this event: https://pretalx.com/fossgis2025/talk/Q9NTDP/