Hallo zusammen, ich (kein ITler) suche eine gute und günstige Lösung ca. 50 GB an Daten irgendwo in die Cloud abzulegen um mit einer API darauf zu zugreifen.Traffic sind ein paar MB am Tag. Da ich mich mit IT-Sicherheit nicht gut auskenne und der Datensatz öffentlichk verfügbare (aufbereitete) Datensätze beinhaltet, suche ich nach einer SaaS Lösung, bei der sich andere sich um Sicherheit und Serverwartung kümmern.
Was könnt ihr mir empfehlen?
Edit: Daten schonmal für die zahlreichen Antworten. Hier noch mehr Informationen zum Unterfangen:
Die Datenbank liegt jetzt als CSV vor. Die Datei wird am Ende ca 50GB haben, derzeit ca 3 GB. Enthalten sind Daten von Tieren und deren Eigenschaften. Ich möchte mit n8n (Automatisierung wie Zapier) ein Tier abfragen und Farbe, Lebensraum etc als Antwort erhalten. Es sind <100 Anfragen am Tag und die Datenbank soll nicht groß bearbeitet werden. Wenn, dann lade ich weitere CSVs hoch um sie zu erweitern.
Das ist schwierig zu beantworten, weil deine Problemstellung nicht eindeutig ist.
Es wurde ja bereits gefragt, ob du Cloudspeicher willst (für datei-basierte Daten) oder eine Datenbank (für Datensätze).
Falls es Datensätze sind, wäre interessant, in welcher Form sich diese aktuell befinden und wie sie strukturiert sind. Ich weiß, das ist sehr technisch. Aber ich will dir keine relationale Datenbank empfehlen, wenn du vielleicht eine Key/Value-Datenbank brauchst - übertrieben gesagt. Und da gibt’s leider noch mehr Kriterien. Außerdem muss man die Daten vielleicht konvertieren/umwandeln vorher. Irgendwo hast du was von einem CSV-Upload geschrieben (sind die Daten CSV-Dateien)?
Der API-Zugriff ist mir auch unklar. Soll der Cloudspeicher bereits eine API bereitstellen oder willst du eine API bereitstellen, über die man dann auf die Daten zugreift? Wenn letzteres, soll die API-Anwendung auf dem Server/Cloud gehostet werden?
Dann die Sache mit “andere sollen sich um die Sicherheit kümmern”: das kann vieles bedeuten und sehr gewagt sein. Die Anbieter kümmern sich um die Sicherheit von deren Infrastruktur, das ja. Beim Rest bist du aber evtl. selber gefragt, abhängig von deinen anderen Antworten.
Du schreibst die Daten sind öffentlich verfügbar, d.h. im Grunde benötigen sie keinen Schutz wie Verschlüsselung, sind nicht DSGVO-relevant usw., oder?
Danke für die lange Antwort! Habe meinen Post oben erweitert :)
Gerne. 😁
Also bei einer 50 GB großen CSV-Datei wird das Problem sein, dass du die nicht performant durchsuchen kannst. Es ist im Grunde nur Text. Es mag Tools geben, die da tricksen und sich intern einen Index aufbauen oder etwas anderes versuchen, aber im Grunde würde ich dir direkt zu einer Datenbank raten.
Für die Konvertierung bzw. den Import der CSV-Daten in eine Datenbanktabelle gibt es verschiedene Tools. Ich persönliche kenne hier aus der Liste aber nur DBeaver.
Es sollte (soweit erkennbar) keinen Grund geben, eine komplexe Tabellenstruktur zu erstellen; eine Tabelle sollte reichen. Du frägst ja “nur” nach einem Tier an und dann soll der Datensatz zurückgeliefert werden. Ein sinniger Index (z.B. Tierbezeichnung) sollte aber aus Performance-Gründen erstellt werden, falls nicht ausschließlich über eine ID gesucht wird (Annahme).
Jetzt zur Frage welches DB-System. Da werden sich die Geister scheiden. Ich persönlich bevorzuge robuste, flexible Systeme wie PostgreSQL oder SQL Server. Aber es gibt genügend Alternativen, die solche Datenmengen mühelos stemmen können.
Die größere Frage ist aber erst mal, was darf es kosten? 50 GB dürfte schon etwas Budget verbrauchen. Man könnte natürlich ein günstiges Web Hosting-Angebot suchen mit MariaDB/mySQL als DB; aber man sollte vorher abklären, wie groß die DB werden darf. 50 GB Webspace sind oft leider keine 50 GB an Datenbankgröße in dem Fall. Also da sollte man genau schauen.
Aber: viele Wege führen nach Rom. Ich fürchte mehr als eine spontane Idee von nem Typen im Netz sollte mein Vorschlag aus deiner Sicht nicht sein. Da müsste man sich detaillierter unterhalten. 😏
Das war der richtige Tipp, danke! Habe mir bei Manitu einen Webspace für 2,50€ im Monat geholt und eine MariaDB genommen. Die ersten GB sind schon hochgeladen und ich hoffe die DB darf weiter wachsen. Das ist meine erste DB und die ersten Abfragen haben funktioniert, ein bisschen wie Magie. Ich bin begeistert!
Gerne! Schön, dass ich weiterhelfen könnte. 👍
suchst du nach einer relationalen Datenbank (mysql,postgres,…) oder einfach nach einem Datenspeicher? In deinem Titel steht Datenbank, aber nach dem Text hört es sich eher an, dass du nach einfachem cloud-speicher suchst. Also sowas wie amazon S3. Da gibt es auch etliche kompatible Alternativanbieter.
Was soll die API denn können? Um Deine aktuelle Anforderung zu erfüllen, könnte man sagen: schmeiß die Datei(en) auf irgendeinen Webserver, und die API findet sich im RFC für HTTP. Du möchtest was ändern? Lade die Datei(en) neu hoch, oder lade zusätzliche Dateien hoch.
Nichts besonderes. Nur Werte auslesen. Aber jedes mal 50 GB hoch laden wenn sich was ändert wär schon heftig
jedes mal 50 GB hoch laden
ich denke die Idee wäre jeden datensatz in eine eigene Datei zu stecken. Dann muss man zum hinzufügen von datensätzen nur neue dateien hochladen.
Wenn du jedoch eine Eigenschaft zu jedem Datensatz hinzufügen möchtest, müsstest alle Dateien nochmal hochladen. Falls das öfter passiert, wäre das also keine gute lösung
Was sind das denn für Daten? Evtl kommt ja Excel 365 in Frage…
Ein Excelfile mit 50 GB?
bester witz des tages.
ich wette im heise forum gibts n irren der das geschafft hat …entgegen jeder vernunft.
Meinst du OneDrive als Cloudspeicher?
MS-Excel wäre ja in dem Fall der Client. Gesucht ist ja ein Server.
Wenn Du eh n8n lokal (?) installiert hast, könntest Du eine Postgresql-Datenbank zusätzlich auf demselben Server installieren. Die läuft auch auf einem Mini-Rechner wie Raspberry Pi.
Schau dir mal NoCode DBs wie NocoDB,etc. an.
Das wär mein Favourit gewesen und hatte ich schon am laufen. Limitgröße für CSV-upload: 5 MB :/
Per Script splitten? Ich meine 3GB läd man ja auch bei anderen DBs ungern in einem Stück hoch.
Ich habe mehrere kostenlose Sachen gefunden, vielleicht ist das ja was gutes.
