ho una necessità che è quella di sincronizzare 2 database (MsSql o Postgres o altro) remoti. La replicazione è di tipo Master/Slave ma, per qualche tabella, è lo Slave che diventa Master.
In quanto DB remoti tra di loro, la sincronizzazione dovrebbe avvenire tramite protocollo TCP. La particolarità è che le lo schema delle tabelle dei 2 RDBMS può essere diverso e che ci potrebbero essere da sincronizzare anche 1.000.000 di record per 4 o 5 tabelle su un totale di 50 o 60 tabelle. Dopo la prima sincronizzazione, servirebbe una sincronizzazione differenziale da lanciare tipo ogni 5 minuti per il riallineamento.
Scenario abbastanza complesso insomma. Qualcuno di voi ha qualche consiglio su tool esistenti che potrebbero essermi utili?
Grazie
nomorelogic
DragoRosso:
Cioè hai:
- 2 database (speriamo almeno della stessa famiglia) remoti, - tabelle con schemi diversi, - 5 tabelle da sincronizzare su 60 presenti nei database, - intervallo di tempo di cinque minuti per un totale plausibile di 1.000.000 di record, - il tutto via TCP/IP;
Bhe dai, provo un attimo a chiamare la fata turchina, magari con la bacchetta magica risolve la situazione ... ;) ;D
A parte gli scherzi non ho idea di tool che possano fare simili cose (però non sono un professionista del settore). Almeno non di tool a portata di noi poveri mortali, magari Oracle piuttosto che IBM li hanno.
Un differenziale di 1 milione di record ogni 5 minuti non è cosa proprio così normale, sopratutto se parliamo in termini differenziali ....
Se trovi qualcosa o escogiti una soluzione fai un rimando anche qui, è sempre e comunque interessante analizzare soluzioni nuove.
Ciao e auguri.
nomorelogic:
mi sono spiegato male
le tabelle potenzialmente con 1.000.000 record sono 4 o 5 50 o 60 sono tutte le tabelle che devo sincronizzare
cmq i database non sono della stessa famiglia
ho dato un'occhiata a qualche ETL tipo penthao kettle ma non ho molta esperienza con questi strumenti
ho paura che per dare una mano alla fata turchina, tocca chiamare Gandalf (il bianco) con Mago Merlino e Maga Magò...
vi tengo aggiornati ma se avete idee dite pure
nomorelogic:
vabbè comunque quella era una valutazione pessimistica, bisogna prevedere il futuro
la situazione attuale è - 3 tabelle con circa 600.000 record - 40 tabelle da sincronizzare - aggiornamento va bene anche ogni 10 minuti
in realtà non è che cambi poi molto :'(
DragoRosso:
Avevo dato una occhiata a strumenti ETL, però legati diciamo alla "programmazione" in generale (nè ho accennato in un altro topic). Sono strumenti generalmente costosi e complessi, oltre a necessitare di una infrastuttura "importante".
Nel passato, sulla replica dei database ho sempre lasciato fare ad altri, semplicemente (tra virgolette ???) acquisendo il "già fatto". Ci sono moltepli problematiche nel fare quelle operazioni, e sono sopratutto legate alla coerenza poi dei dati trasferiti: è molto improbabile che si possano "travasare" tutti quei dati in una singola transazione, da qui le possibili incongruenze.
Se poi non sono strumenti propri del motore RDB (tipo funzioni di replica), allora tanti auguri. Se senti Gandalf digli se mi manda Arwen, che ho un dolorino alla spalla ...... ;D