zuletzt verändert: 05.03.2018 13:04
Sie sind hier: Startseite / DICAD / Teilprojekt 1 (DKRZ) / Daten-Workflows / Produktionsphase / Datenanforderung

Datenanforderung

Struktur der Datenanforderung

Für CMIP6 wurden für die verschiedenen wissenschaftlichen Ziele eine Reihe von Modellvergleichsprojekten (MIPs) ins Leben gerufen. Diese können von verschiedenen Experimenten Daten anfordern (Data Request). Eine derartige Anforderung enthält je nach Klassifizierung des Experiments (der sogenannte "Tier") verschiedene Variablen, welche zudem mit einer „Priorität“ versehen sind. Die von den MIPs definierte Variable wird "MIP-Variable" genannt, wohingegen ihre programmtechnischen Umsetzungen als "CMOR-Variablen" bezeichnet werden, in Anlehnung an das zur Reformatierung und Anpassung der Modelldaten an den CMIP-Standard verwendeten Programmes CMOR (Climate Model Output Rewriter, siehe unten).

Der Datenrequest für CMIP6 ist in Form von zwei xml-Dateien veröffentlicht. Jede Software, auch die in CMIP6-DICAD entwickelte, muss sich allerdings darauf einstellen, dass immer wieder Änderungen des Requests erforderlich werden können. Sowohl Datenanforderung als auch darauf aufbauende Software werden kontinuierlich den Anforderungen der Nutzer bzw. Teilnehmer (MIPs und Modellierer) angepasst.

Eine einfache Darstellung der Datenanforderungsstruktur.

 

Die Schnittstelle zur Datenanforderung

Um die Wissenschaftler bei der Erzeugung der angeforderten Daten zu unterstützen entwickelte Martin Juckes vom BADC (British Atmospheric Data Centre) die Data Request Python API (DreqPy), eine in der Programmiersprache Python geschriebene Schnittstelle, die es ermöglicht, maßgeschneiderte Datenanforderungen zu generieren, die nicht nur von den Experimenten abhängen, die durchgeführt, sondern auch von den MIPs, die unterstützt werden sollen.

Zusätzlich ist diese Datenanforderung abhängig von dem gewählten Tier der Experimente und der Priorität der einzelnen Variablen. Durch die Angabe von Tier und Priorität kann das Volumen der Datenanforderung den lokal zur Verfügung stehenden Speicherkapazitäten angepasst werden.

Die Datenanforderung kann in Form von Excel-Tabellen oder komma-separierten Variablenlisten ausgegeben und mittels verschiedener, in DreqPy vorhandener Klassen und Funktionen auch interaktiv durchsucht werden. Für den interaktiven Ansatz hostet CEDA eine Webseite auf der die Variablen (und andere Objekte wie MIPs, wissenschaftliche Ziele, etc.) durchstöbert werden können.

Des Weiteren ist es möglich, eine ungefähre Datenvolumenabschätzung für eine Datenanforderung zu erhalten, wenn die Gitter-Spezifikationen des benutzten Modells eingegeben werden.

 

Datenanforderungs-WebGUI

 Das Ziel der Datenanforderungs Web-GUI ist es, die Benutzung von Martin Juckes' "Datarequest Python API" (DreqPy API) in so weit zu erleichtern, dass der Benutzer keine lokale Installation des DreqPy-Pakets durchführen muss und mittels eines einfachen Auswahl-Menüs eine maßgeschneiderte Datenanforderung für sein Klimamodell und/oder Experiment online erzeugen und herunterladen kann.Um die Nutzung und Konfiguration von
DreqPy zu vereinfachen, wurde am DKRZ ein WebGUI entwickelt. Damit ist eine lokale Installation der DreqPy-Software entbehrlich. Mit einfach zu bedienenden Auswahlmenüs kann eine maßgeschneiderte Datenanforderung erzeugt werden, die dann im .csv- oder .xlsx-Format zum Herunterladen bereit steht. Auch ist über dies WebGUI eine Berechnung der Volumenabschätzung für die erzeugte Datenanforderung möglich (siehe unten verlinktes Video).

Darüber hinaus wird die so entstandene Datenanforderung (im .csv-Format) verwendet, um mit ihr die Wissenschaftler bei der Datentransformation in den CMIP-Standard mittels CMOR zu unterstützen ('CMORisierung'). Siehe hierzu nachfolgenden Abschnitt.

Eine kurze Übersicht über die Benutzung des Datenanforderungs-WebGUIs gibt ein Video auf youTube. Es kann zusammen mit weiterer Dokumentation auch über den Reiter Documentation&Links im WebGUI abgerufen werden.

 

Variablenzuordnungs-WebGUI

Variablen können in Klimamodellen anders bezeichnet sein als es der Standard vorgibt. Aus diesem Grunde ist es nötig eine Zuordnung zwischen Modell- und CMOR-Variablen zu ermöglichen.

Dazu wurde das Datenanforderungs-WebGUI erweitert und erhielt eine Webapplikation zur Variablenzuordnung (VariableMapping). Sie baut auf vorherigen Entwicklungen von Karl-Hermann Wieners (MPI-M) auf. Die Web-Applikation erlaubt gleichzeitige Eingabe von mehreren Personen, die über die Applikation auch Kommentare and Fragen austauschen können.

Um sicherzustellen, dass immer die neueste Variablendefinition der Datenanforderung bzw. die neueste Datenanforderung selbst zur Verfügung steht, wurde die oben vorgestellte offizielle DreqPy-Software in die Web-Applikation integriert. Auch über die Anwendung dieser Applikation existiert ein Video auf youTube. Es kann, ebenso wie eine Slideshow und weitere Dokumentation, auch über den Reiter Documentation&Links im WebGUI abgerufen werden.

 

Berücksichtigung der Datenanforderung in der Datenverarbeitung

 Die im Variablenzuordnungs-GUI (VariableMapping) eingetragenen Informationen sowie Details der Datenanforderung werden verwendet, um die Erstellung von Skripten zur standardkonformen Verarbeitung der Modelldaten zu unterstützen.

Dabei wird für eine eventuell notwendige Diagnostik zur Überführung der Modellrohdaten in die MIP-Variablen so weit wie möglich der CDO-Operator 'expr' angewendet. Das finale CMIP-konforme Umschreiben der Daten wird mit dem neu entwickelten CDO-Operator 'cmor' durchgeführt, der die am PCMDI (Program for Climate Model Diagnosis and Intercomparison) entwickelte CMOR3-Programmbibliothek aufruft.