EODATA - Repositories für Erdbeobachtungsdaten auf CODE-DE

In diesem Artikel finden Sie Definitionen von Begriffen und praktische Hinweise für die Arbeit mit Erdbeobachtungsdaten auf der CODE-DE Cloud.

CODE-DE bietet Zugang zu einem der größten europäischen Satellitendatenarchive mit einem Schwerpunkt auf Daten und Informationsprodukten der Sentinel-Missionen. Die Sentinel-Satelliten sind die Weltraumkomponente des Erdbeobachtungsprogramms Copernicus der Europäischen Kommission.

Bemerkung

In den Knowledge Base Artikeln zu CODE-DE wird der Begriff EODATA in der Regel als Synonym für das Earth Observation Data Repository verwendet, das mit der CODE-DE Cloud verbunden ist. In einigen Artikeln kann sich der Begriff EODATA jedoch auf das CREODIAS EO Daten Repository beziehen.

Das CODE-DE Team ist dabei, Knowledge Base Artikel zu überarbeiten, um etwaige Unklarheiten zu beseitigen.

Repositories für Erdbeobachtungsdaten

In allen CloudFerro-Clouds sind Erdbeobachtungsdaten in einzelnen Kollektionen organisiert (normalerweise definiert durch den Namen der Satellitenmission, z.B. Sentinel-1). Diese Satellitendaten-Kollektionen sind durch ihre Verarbeitungsebenen und ihren thematischen Inhalt weiter strukturiert. Zum Beispiel steht das Akronym „Sentinel-1 L2 BackScatter (BS)“ für ein Level-2-Produkt mit geländekorrigierten Backscatter-Daten der Sentinel-1-Mission.

Repositories für Erdbeobachtungsdaten oder engl. Earth Observation Data Repositories bestehen aus mehrerer Kollektionen innerhalb einer Cloud.

Unter CODE-DE kann auf die folgenden Earth Observation Data Repositories zugegriffen werden:

  • Das dedizierte (native) CODE-DE EO Data Repository beherbergt ein Online-Archiv aller über Deutschland gesammelten Sentinel-Daten, das physisch in der Cloud FRA1-1 in Frankfurt gespeichert ist.

  • Das CREODIAS EO Data Repository ermöglicht den Zugriff auf weltweite Daten in einem rollierenden Archiv (d. h. aktuelle Daten sind online, während historische Daten im Langzeitarchiv bestellt werden können), das physisch in der Cloud WAW3-1 gespeichert ist.

Diese EO Data Repositories können interaktiv über den CODE-DE Data Explorer durchsucht werden.

Die Datenlager werden täglich aktualisiert und neu erfasste Daten und Datenprodukte werden in die jeweiligen Sammlungen aufgenommen. CODE-DE bezieht die Daten von zwei Hauptquellen:

In der Regel werden die Produkte mit einer Latenzzeit von weniger als 30 Minuten nach Veröffentlichung auf der Quellseite in den EO Data Repositories verfügbar gemacht.

Technischer Aufbau von Datenspeichern für Erdbeobachtungsdaten

Technisch gesehen, werden alle einzelnen Datenkollektionen, die Satellitenmissionen wie z.B. Sentinel-1 repräsentieren, innerhalb der auf CODE-DE verfügbaren Earth Observation Data Repositories in so genannten Buckets oder Containern unter Verwendung der S3-Objektspeichertechnologie gespeichert, die physikalisch auf HDD Ceph-Dateisystemen eingerichtet sind.

Für alle CloudFerro-Erdbeobachtungs-Clouds wird standardmäßig der Zugang zum nativen EO Data Repository gewährt. Nativ bedeutet in diesem Zusammenhang, dass sich das Repository pysikalisch in der gleichen Cloud befindet.

Bemerkung

EO Data Repositories, die sich nicht auf der eigenen Cloud befinden, gelten ggf. andere Zugriffsregelungen. Auf CODE-DE ist das für das CREODIAS EO Daten Repository der Fall. Details finden Sie hier: /{{ eodata }}/How-To-Access-The-CREODIAS-Repository-From-A-VM-{{ brand_name_hyphen }}

Zugriff über eine CODE-DE virtuelle Maschine

Wenn Sie eine virtuelle Maschine auf der Basis eines vordefinierten VM-Images auf CODE-DE starten, sind die entsprechenden CODE-DE EO-Datenrepositories automatisch als gemountete Verzeichnisse zugänglich. Die Buckets (die Kollektionen von Satellitenmissionen repräsentieren) erscheinen als Unterordner in den eingebundenen Verzeichnissen. Für die Ordnerstruktur gilt die folgende allgemeine Logik:

repository_mount_endpoint/satellite_mission/instrument/data_product/year_of_acquisition/month_of_acquisition/day_of_acquisition

Für CODE-DE würde das Listing für den repository_mount_endpoint /codede wie folgt aussehen:

../_images/eodata_codede01.png

Zugang über S3-Tools

Anstatt S3-Buckets als Verzeichnisse zu mounten, können Sie schneller und eleganter auf EO Data Repositories zugreifen, indem Sie spezielle S3 Object Storage Tools wie s3cmd verwenden: Wie man mit s3cmd auf EODATA zugreift auf CODE-DE. Um den Zugang zu konfigurieren, verwenden Sie auch So erstellen Sie S3-Zugangsdaten auf CODE-DE, um die notwendigen Zugriffsberechtigungen oder engl. Access Credentials zu erhalten.

Wichtiger Hinweis

Achtung

Aus historischen Gründen bezieht sich der Begriff EODATA in einigen Artikeln der Wissensdatenbank ausdrücklich auf das CREODIAS Earth Observation Data Repository. Daher können Anpassungen erforderlich sein, wenn Sie solche Tutorials oder Artikeln verwenden:

  • Falls Sie einen solchen Artikel verwenden möchten, um mit CODE-DE nativen EO Data Repositories zu arbeiten, stellen Sie sicher, dass Sie alle CREODIAS-spezifischen Einträge durch die richtigen CODE-DE Einträge ersetzen.

  • Auf virtuellen CREODIAS-Maschinen wird das native EO Data Repository beispielsweise standardmäßig in einen Ordner namens /eodata gemountet, während dieser Ordner auf virtuellen CODE-DE-Maschinen /codede heisst.

  • Der Mount-Endpunkt für die Konfiguration von S3-Tools lautet auf CREODIAS https://s3.cloudferro.com und auf CODE-DE https://s3.fra1-1.cloudferro.com.

Im Zweifelsfall wenden Sie sich bitte an den CODE-DE Support Team. Wir freuen uns auch sehr über Ihr Feedback zu unklaren Formulierungen.