Hallo zusammen, ich (kein ITler) suche eine gute und günstige Lösung ca. 50 GB an Daten irgendwo in die Cloud abzulegen um mit einer API darauf zu zugreifen.Traffic sind ein paar MB am Tag. Da ich mich mit IT-Sicherheit nicht gut auskenne und der Datensatz öffentlichk verfügbare (aufbereitete) Datensätze beinhaltet, suche ich nach einer SaaS Lösung, bei der sich andere sich um Sicherheit und Serverwartung kümmern.
Was könnt ihr mir empfehlen?
Edit: Daten schonmal für die zahlreichen Antworten. Hier noch mehr Informationen zum Unterfangen:
Die Datenbank liegt jetzt als CSV vor. Die Datei wird am Ende ca 50GB haben, derzeit ca 3 GB. Enthalten sind Daten von Tieren und deren Eigenschaften. Ich möchte mit n8n (Automatisierung wie Zapier) ein Tier abfragen und Farbe, Lebensraum etc als Antwort erhalten. Es sind <100 Anfragen am Tag und die Datenbank soll nicht groß bearbeitet werden. Wenn, dann lade ich weitere CSVs hoch um sie zu erweitern.
Danke für die lange Antwort! Habe meinen Post oben erweitert :)
Gerne. 😁
Also bei einer 50 GB großen CSV-Datei wird das Problem sein, dass du die nicht performant durchsuchen kannst. Es ist im Grunde nur Text. Es mag Tools geben, die da tricksen und sich intern einen Index aufbauen oder etwas anderes versuchen, aber im Grunde würde ich dir direkt zu einer Datenbank raten.
Für die Konvertierung bzw. den Import der CSV-Daten in eine Datenbanktabelle gibt es verschiedene Tools. Ich persönliche kenne hier aus der Liste aber nur DBeaver.
Es sollte (soweit erkennbar) keinen Grund geben, eine komplexe Tabellenstruktur zu erstellen; eine Tabelle sollte reichen. Du frägst ja “nur” nach einem Tier an und dann soll der Datensatz zurückgeliefert werden. Ein sinniger Index (z.B. Tierbezeichnung) sollte aber aus Performance-Gründen erstellt werden, falls nicht ausschließlich über eine ID gesucht wird (Annahme).
Jetzt zur Frage welches DB-System. Da werden sich die Geister scheiden. Ich persönlich bevorzuge robuste, flexible Systeme wie PostgreSQL oder SQL Server. Aber es gibt genügend Alternativen, die solche Datenmengen mühelos stemmen können.
Die größere Frage ist aber erst mal, was darf es kosten? 50 GB dürfte schon etwas Budget verbrauchen. Man könnte natürlich ein günstiges Web Hosting-Angebot suchen mit MariaDB/mySQL als DB; aber man sollte vorher abklären, wie groß die DB werden darf. 50 GB Webspace sind oft leider keine 50 GB an Datenbankgröße in dem Fall. Also da sollte man genau schauen.
Aber: viele Wege führen nach Rom. Ich fürchte mehr als eine spontane Idee von nem Typen im Netz sollte mein Vorschlag aus deiner Sicht nicht sein. Da müsste man sich detaillierter unterhalten. 😏
Das war der richtige Tipp, danke! Habe mir bei Manitu einen Webspace für 2,50€ im Monat geholt und eine MariaDB genommen. Die ersten GB sind schon hochgeladen und ich hoffe die DB darf weiter wachsen. Das ist meine erste DB und die ersten Abfragen haben funktioniert, ein bisschen wie Magie. Ich bin begeistert!
Gerne! Schön, dass ich weiterhelfen könnte. 👍