Wie man das CREODIAS Repository als Dateisystem mit Goofys einbindet (Linux)

Um den Zugriff auf EO Daten Repository zu ermöglichen, ist auf jeder Standard-Linux-basierten virtuellen Maschine, die in der CloudFerro-Cloud verfügbar ist, die Dateisystem-Emulations-Software s3fs vorinstalliert. Dies ist eine stabile und zuverlässige Lösung, aber aufgrund ihres Designs ist die Zugriffsleistung in Bezug auf den Durchsatz geringer als der direkte s3-Zugriff. Daher haben wir für Benutzer, die einen Dateisystemzugriff mit höherem Durchsatz benötigen, eine andere Lösung auf der Grundlage eines Tools namens goofys entwickelt. Goofys wurde für sehr schnellen Datenzugriff entwickelt, bietet jedoch keine volle s3-Kompatibilität und ist weniger stabil als s3fs. Wir haben alle empfohlenen Tools und Anwendungen gründlich getestet und dabei festgestellt, dass goofys in einigen seltenen Fällen unter hoher Last hängen bleiben kann und ein Remount des Repositorys erforderlich sein kann.

In unserem Beispiel binden wir das CREODIAS Repository als Dateisystem in Ihre Linux VM auf CODE-DE ein. Die Einbindung anderer EO-Daten Repositories funktioniert analog. Führen Sie folgende Schritte aus:

Für Ubuntu

$ sudo add-apt-repository ppa:gophers/archive && sudo apt-get update && sudo apt-get install golang-1.10-go
$ echo "export PATH=$PATH:/usr/lib/go-1.10/bin" >> ~/.profile
$ source ~/.profile
$ mkdir work
$ export GOPATH=$HOME/work && go get github.com/kahing/goofys && go install github.com/kahing/goofys

Für Centos:

$ sudo rpm --import https://mirror.go-repo.io/centos/RPM-GPG-KEY-GO-REPO
$ curl -s https://mirror.go-repo.io/centos/go-repo.repo | tee /etc/yum.repos.d/go-repo.repo
$ sudo yum install golang

Falls Sie einen eigenen CREODIAS Account haben, können Sie EC2-Anmeldeinformationen (ACCESS und SECRET KEY) für Ihr Projekt erstellen. Das Vorgehen ist dabei analog zu: Erstellen und Verwalten von EC2-Anmeldedaten auf CODE-DE. Ansonsten wenden Sie sich an den CODE-DE Support, um ein Zugriffsschlüsselpaar (YOUR ACCESS KEY und YOUR SECRET KEY) für CREODIAS zu erhalten.

Als nächstes erstellen Sie die Datei ~/.aws/credentials

$ mkdir ~/.aws/
$ touch ~/.aws/credentials

Fügen Sie den folgenden Inhalt in ~/.aws/credentials ein, z.B. YOUR ACCESS KEY und YOUR SECRET KEY:

[s3]
aws_access_key_id=YOUR ACCESS KEY
aws_secret_access_key=YOUR SECRET KEY

Erstellen Sie das Verzeichnis, das als Einhängepunkt für das CREODIAS Repository dienen soll

mkdir ~/eodata

Führen Sie den folgenden Befehl aus:

$ $GOPATH/bin/goofys --region RegionOne --profile s3 --endpoint http://eodata.cloudferro.com DIAS ~/eodata

DIAS ist der Name unseres Buckets, der die Daten des CREODIAS Repository enthält.

Jetzt können Sie auf das CREODIAS Repository zugreifen:

 $ ls eodata

CAMS CLMS Elevation-Tiles Jason-3 Landsat-7 Sentinel-1 Sentinel-3 jason-3 CEMS CMEMS Envisat Landsat-5 Landsat-8 Sentinel-2 Sentinel-5P

Wenn Sie das CREODIAS Repository beim Starten mounten möchten, gehen Sie wie folgt vor:

sudo mkdir /root/.aws
sudo cp ~/.aws/credentials /root/.aws/

und fügen Sie die folgende Zeile in /etc/fstab ein:

/home/eouser/work/bin/goofys#DIAS /home/eouser/eodata fuse _netdev,allow_other,--dir-mode=0777,--file-mode=0666,--region=RegionOne,--profile=s3,--endpoint=http://eodata.cloudferro.com 0 0

Kommentieren Sie bitte eventuell vorhandene andere Optionen in /etc/fstab aus:

#nfs.eodataeodata.cloudferro.com:/eodata/repository  /eodata nfs  ro,noauto,_netdev,comment=cloudconfig  0   0

#s3fs#DIAS /eodata fuse noauto,_netdev,allow_other,use_path_request_style,uid=0,umask=0222,mp_umask=0222,mp_umask=0222,gid=0,url=http://eodata.cloudferro.com,use_cache=1,max_stat_cache_size=60000,list_object_max_keys=10000,comment=cloudconfig 0 0