MSSQL Daten verschieben

Shinji

Heyho Commu

Da wir atm nicht weiter kommen und hier doch einige Füchse unterwegs, frage ich halt mal nach.

Wir suchen derzeit eine Möglichkeit Automatisiert (per Programm oder Script) Tabellen Daten von einer DB zu einer Anderen IDENTISCHEN DB zu verschieben.

Derzeit ist es eine reine Fleißarbeit ständig Tabellen anklicken per generiertes (was man ja nie einsehen kann...) alle Tabellen zu kopieren.

Unsere Idee war vor kurzem das ganze per Programm zu gestalten:

Selektieren der Tabelle und dessen Spalten - Daten direkt insert into 2. DB

Da wir hier aber nicht von einigen GB sprechen sondern von einigen Hunderten TB ~ dauert dass ganze natürlich mehrere Tage.

Beide Server laufen im selben Netzwerk. Per OPENDATASOURCE ist leider nicht möglich (ad hock etc).

Deshalb jetzt die Frage an euch ~ wisst ihr wie man Tabellen von DB 1 zu DB 2 übertragen kann?

BTW. ~ bitte kommt nicht mit Data Import/Export... da ist unser Programm schon wesentlich schneller gewesen mit knappen 3.000.000 Einträgen die Minute...

moeck

Moin,

nur mal so eine Frage. Welche Änderungshäufigkeit an den Daten habt ihr? Ansonsten ist es vielleicht sinnvoll die Daten mehr oder weniger direkt zu synchronisieren. Ich habe leider nicht wirklich Erfahrung mit MSSQL, da wir eher auf Oracle setzen. In Oracle kann man DB Links setzen und die Änderungen dann entweder per Procedure einmal täglich oder per Trigger bei jeder Änderung auch in die andere DB schreiben.

Gruß,

moeck

Shinji

Die Häufigkeit ist extrem unterschiedlich... im Endeffekt müssen wir die Daten ca. alle Woche einmal "sichern".

Da ja aber wie bereits gesagt, hier mehrere Hundert Tera verschoben bzw kopiert werden müssen, ist ne einfach export etc wesentlich zu langsam. Da ja noch die ganzen transacts geschrieben werden entsteht noch mehr müll...

moeck

Anders rum müsste ihr immer alles sichern und kopieren? Ich würde ja nur die Änderungen dann übernehmen, damit dürfte sich das Volumen deutlich verkleinern. Dann reden wir wahrscheinlich nicht mehr über Tera sondern im schlimmsten Fall über ein paar Giga. Wenn es gut läuft sogar nur über Mega

Shinji

Leider müssen wir vollbackup machen ^^# nur geänderte Daten wären hierbei kaum ein wesentlicher unterschied zu einem vollbackup.

moeck

So mir ist gerade noch was anderes eingefallen. Falls beide Server eine Anbindung an den selben Storage haben, kann man vielleicht auch mit dem Clonen der DB arbeiten. Heißt ihr kopiert die Daten Files auf dem Storage von DB1 zu DB2. Wie gesagt habe ich eher wenig bis keine Erfahrung mit MSSQL, daher kann ich nicht beurteilen ob das ein Weg ist.

Man könnte auch die Redo-Logs (Oracle) nehmen und die Änderungen dann einspielen. Keine Ahnung ob MSSQL eine ähnlich Möglichkeit bietet.

Shinji

Alles leider keine so gute Möglichkeit... Wir sind antürlich dankbar für jede Anregung aber bisher dauerte das alles zu lange ^^# Das Klonen wurde probiert, klonen dauert etwa 3 Tage sowie das einspielen des Backups, währenddessen darf bzw. kann keiner an der DB arbeiten ^^# also keine Option xD

ZorG

Wie ist es mit einer Ordner Kopie?

So mach ich ein Full-Backup von Server zu Server, ich kopiere einfach den Datenbank Ordner von A nach B.

Funktioniert bei MySQL bestens inkl. Nutzerdaten. Jedoch sollte die Ziel DB offline sein.

EDIT: sollte wohl beim schreiben keine PAUSE machen Meine Antwort ist älter als der Post vor mir.

moeck

Mh..., dann wäre doch der direkte Sync der Änderungen beim Schreiben der einfachste und schnellste Weg. Da ich das System und die Gegebenheiten nicht kenne ist das alles eh nur theoretisch.

Ich würde mir eventuell auch mal Gedanken über ein Archivierungskonzept machen um einfach die Datenmengen massiv zu reduzieren sofern das möglich ist. In der Regel braucht man doch keine Terabytes an Daten in einer DB. Es sei den es handelt sich hier um Messdaten oder ähnliches.

Shinji

Was es genau für Daten sind darf ich natürlich nicht verraten xD allerdings ist es folgender Standpunkt ->

2 Server

Server 1 = Backup Server ~ nicht am Netzwerk solange kein Backup gezogen wird

Server 2 = Daten (identischer Aufbau zu Server 1)

Auf dem Server 2 sind hunderte Datenbanken mit unterschiedlichen Nutzern

Jede DB hat jedoch dieselben Tabellen.

Datenmengen pro DB sind etwa 500 MB bis 100 GB

So kann man es ca ansehen

moeck

Das Du nicht verraten kannst um welche Daten es sich handelt ist klar das was ZorG geschrieben hat wäre auch meine Idee gewesen. Hier muss man aber darauf achten, dass das kopieren nicht über das Netzwerk passiert sondern am besten über den angeschlossenen Storage. Idealerweise sollten beide Server über eine Glasfaser Anbindung an den Storage angeklemmt sein. Dann kopiert man die Daten nicht mehr über ein 1 - 10 Gigabit Netz sondern nutzt die direkte Anbindung. Heißt Server 1 muss auch nicht für an Backup an das Netz von Server 2.

Da es sich hier um MSSQL handelt gehe ich mal davon aus dass wir hier von Windows Servern sprechen. Falls diese Anbindung existier sollte es keine 3 Tage dauern die DB zu klonen

Gruß,

moeck

Shinji

~ haben gerade eine vielversprechende Methode gefunden.

Müssen das ganze nur eben schnell programmieren....

Kurze Erklärung:

SELECT * INTO ... auf 3 Servern die jeweils mehrere Prozesse und je einen Server kopiert, braucht nur ca. 19 Stunden für rund 702 TB.

Sollte über das WE gut machbar sein ~ danach heißt es erstmal DB Müll abschalten (inkompetente Nutzer an den DB`s -.-)

Ich danke euch für die Antworten