Hallo zusammen, ich (kein ITler) suche eine gute und günstige Lösung ca. 50 GB an Daten irgendwo in die Cloud abzulegen um mit einer API darauf zu zugreifen.Traffic sind ein paar MB am Tag. Da ich mich mit IT-Sicherheit nicht gut auskenne und der Datensatz öffentlichk verfügbare (aufbereitete) Datensätze beinhaltet, suche ich nach einer SaaS Lösung, bei der sich andere sich um Sicherheit und Serverwartung kümmern.
Was könnt ihr mir empfehlen?
Edit: Daten schonmal für die zahlreichen Antworten. Hier noch mehr Informationen zum Unterfangen:
Die Datenbank liegt jetzt als CSV vor. Die Datei wird am Ende ca 50GB haben, derzeit ca 3 GB. Enthalten sind Daten von Tieren und deren Eigenschaften. Ich möchte mit n8n (Automatisierung wie Zapier) ein Tier abfragen und Farbe, Lebensraum etc als Antwort erhalten. Es sind <100 Anfragen am Tag und die Datenbank soll nicht groß bearbeitet werden. Wenn, dann lade ich weitere CSVs hoch um sie zu erweitern.
Das ist schwierig zu beantworten, weil deine Problemstellung nicht eindeutig ist.
Es wurde ja bereits gefragt, ob du Cloudspeicher willst (für datei-basierte Daten) oder eine Datenbank (für Datensätze).
Falls es Datensätze sind, wäre interessant, in welcher Form sich diese aktuell befinden und wie sie strukturiert sind. Ich weiß, das ist sehr technisch. Aber ich will dir keine relationale Datenbank empfehlen, wenn du vielleicht eine Key/Value-Datenbank brauchst - übertrieben gesagt. Und da gibt’s leider noch mehr Kriterien. Außerdem muss man die Daten vielleicht konvertieren/umwandeln vorher. Irgendwo hast du was von einem CSV-Upload geschrieben (sind die Daten CSV-Dateien)?
Der API-Zugriff ist mir auch unklar. Soll der Cloudspeicher bereits eine API bereitstellen oder willst du eine API bereitstellen, über die man dann auf die Daten zugreift? Wenn letzteres, soll die API-Anwendung auf dem Server/Cloud gehostet werden?
Dann die Sache mit “andere sollen sich um die Sicherheit kümmern”: das kann vieles bedeuten und sehr gewagt sein. Die Anbieter kümmern sich um die Sicherheit von deren Infrastruktur, das ja. Beim Rest bist du aber evtl. selber gefragt, abhängig von deinen anderen Antworten.
Du schreibst die Daten sind öffentlich verfügbar, d.h. im Grunde benötigen sie keinen Schutz wie Verschlüsselung, sind nicht DSGVO-relevant usw., oder?
Danke für die lange Antwort! Habe meinen Post oben erweitert :)
Gerne. 😁
Also bei einer 50 GB großen CSV-Datei wird das Problem sein, dass du die nicht performant durchsuchen kannst. Es ist im Grunde nur Text. Es mag Tools geben, die da tricksen und sich intern einen Index aufbauen oder etwas anderes versuchen, aber im Grunde würde ich dir direkt zu einer Datenbank raten.
Für die Konvertierung bzw. den Import der CSV-Daten in eine Datenbanktabelle gibt es verschiedene Tools. Ich persönliche kenne hier aus der Liste aber nur DBeaver.
Es sollte (soweit erkennbar) keinen Grund geben, eine komplexe Tabellenstruktur zu erstellen; eine Tabelle sollte reichen. Du frägst ja “nur” nach einem Tier an und dann soll der Datensatz zurückgeliefert werden. Ein sinniger Index (z.B. Tierbezeichnung) sollte aber aus Performance-Gründen erstellt werden, falls nicht ausschließlich über eine ID gesucht wird (Annahme).
Jetzt zur Frage welches DB-System. Da werden sich die Geister scheiden. Ich persönlich bevorzuge robuste, flexible Systeme wie PostgreSQL oder SQL Server. Aber es gibt genügend Alternativen, die solche Datenmengen mühelos stemmen können.
Die größere Frage ist aber erst mal, was darf es kosten? 50 GB dürfte schon etwas Budget verbrauchen. Man könnte natürlich ein günstiges Web Hosting-Angebot suchen mit MariaDB/mySQL als DB; aber man sollte vorher abklären, wie groß die DB werden darf. 50 GB Webspace sind oft leider keine 50 GB an Datenbankgröße in dem Fall. Also da sollte man genau schauen.
Aber: viele Wege führen nach Rom. Ich fürchte mehr als eine spontane Idee von nem Typen im Netz sollte mein Vorschlag aus deiner Sicht nicht sein. Da müsste man sich detaillierter unterhalten. 😏
Das war der richtige Tipp, danke! Habe mir bei Manitu einen Webspace für 2,50€ im Monat geholt und eine MariaDB genommen. Die ersten GB sind schon hochgeladen und ich hoffe die DB darf weiter wachsen. Das ist meine erste DB und die ersten Abfragen haben funktioniert, ein bisschen wie Magie. Ich bin begeistert!
Gerne! Schön, dass ich weiterhelfen könnte. 👍