* * * *
32 Visitatori, 1 Utente
 

Autore Topic: strategia per incrociare dati provenienti da DB diversi  (Letto 157 volte)

schumi

  • Full Member
  • ***
  • Post: 182
  • Karma: +0/-0
strategia per incrociare dati provenienti da DB diversi
« il: Febbraio 11, 2020, 04:27:56 pm »
ciao,
avrei la necessità di mettere in griglia dati provenienti da DB2 (AS400) e Postgresql per visualizzarli in un'unica griglia.
Qui la velocità è essenziale perché c'è l'utente che aspetta davanti al monitor, mentre per Postgres posso ottimizare anche gli indici sul DB2 non ho spazi di manovra.
La mia idea era fare la query da DB2 e "buttarla" in una temporary table di postgres e poi fare il join con le altre tabelle.
Voi come fareste?

grazie

xinyiman

  • Administrator
  • Hero Member
  • *****
  • Post: 2804
  • Karma: +9/-0
Re:strategia per incrociare dati provenienti da DB diversi
« Risposta #1 il: Febbraio 11, 2020, 04:36:44 pm »
Ciao io farei cosi:

1. Creo un dataset virtuale (tutorial: http://www.lazaruspascal.it/index.php?page=86 )
2. Prendo i dati da postgres e li inserisco nel dataset virtuale
3. Prendo i dati da as400 (con odbc, connettori iSeries) e li accodo nel dataset virtuale
4. In dbgrid faccio vedere i dati del dataset virtuale

Ovviamente non sono modificabili direttamente dalla griglia. Se devi modificarli ti fai un interfccia ed esegui le query in direzione della corretta sorgente.
Ieri è passato, domani è futuro, oggi è un dono...

nomorelogic

  • Global Moderator
  • Hero Member
  • *****
  • Post: 2252
  • Karma: +10/-2
Re:strategia per incrociare dati provenienti da DB diversi
« Risposta #2 il: Febbraio 11, 2020, 06:05:42 pm »
avrei la necessità di mettere in griglia dati provenienti da DB2 (AS400) e Postgresql per visualizzarli in un'unica griglia.
Qui la velocità è essenziale perché c'è l'utente che aspetta davanti al monitor, mentre per Postgres posso ottimizare anche gli indici sul DB2 non ho spazi di manovra.
La mia idea era fare la query da DB2 e "buttarla" in una temporary table di postgres e poi fare il join con le altre tabelle.
Voi come fareste?

un datapump da AS400 a tabelle in Postgres credo sia la scelta migliore
resta da capire quanto tempo ci si impiega a spostare i dati...
Imagination is more important than knowledge (A.Einstein)

schumi

  • Full Member
  • ***
  • Post: 182
  • Karma: +0/-0
Re:strategia per incrociare dati provenienti da DB diversi
« Risposta #3 il: Febbraio 12, 2020, 09:49:14 am »
intanto grazie delle risposte.

@xinyiman avevo iniziato anch'io a spulciare nei forum i dataset virtuali, però non devo accodare ma bensì incrociare, per capirsi nel DB2 c'è la parte anagrafica mentre nel postgres c'è un dato di vendita da aggregare, si può sicuramente arrivare alla soluzione ma volevo ottenere delle performance accettabili.
non devo comunque modificare dati, stiamo parlando di statistiche pure

@nomorelogic si il tema è proprio quello della velocità, ho già dei programmi che lavorano con il DB2 e non so come ottimizzare le query. non mi resta che provare

xinyiman

  • Administrator
  • Hero Member
  • *****
  • Post: 2804
  • Karma: +9/-0
Re:strategia per incrociare dati provenienti da DB diversi
« Risposta #4 il: Febbraio 12, 2020, 10:10:36 am »
Scusa allora avevo frainteso. Io procederei così:

per prima cosa devo stabilire con che frequenza quelle statistiche vengono eseguite. Ad esempio se vengono storicizzate la notte puoi fare il dump come dice nomore verso le 10 di sera e poi automatizzare le statistiche verso l'una (così dovresti avere tutto il tempo per il restore del dump).
Se invece sono cose che devono essere fatte in tempo reale da una persona (esempio l'amministratore delegato lo fa quando vuole e ha sempre pochissimo tempo) metterei su un sistema che legge i dati ciclicamente dall'as400 e li trasporta su postgres e poi il tuo programma fa tutte le statistiche che vuoi usando le join.

Un'altra strada percorribile per qunto brutta può essere appoggiarsi ad un db access. Ricordo che anni fa access ti permetteva di linkare tabelle esterne (con gli odbc) e poi ti permetteva di fare le join tra le tabelle linkate. Vedi te...
Ieri è passato, domani è futuro, oggi è un dono...

nomorelogic

  • Global Moderator
  • Hero Member
  • *****
  • Post: 2252
  • Karma: +10/-2
Re:strategia per incrociare dati provenienti da DB diversi
« Risposta #5 il: Febbraio 12, 2020, 12:27:05 pm »
@nomorelogic si il tema è proprio quello della velocità, ho già dei programmi che lavorano con il DB2 e non so come ottimizzare le query. non mi resta che provare

se sono documenti ed hanno una data potresti provare ad includere nella select solo quelli del giorno corrente e del giorno precedente
se poi nell'AS400 hai un campo che ti dice la data dell'ultima modifica sei a cavallo

di solito leggere i dati dall'AS è una operazione che richiede tempi... biblici
Imagination is more important than knowledge (A.Einstein)

 

Recenti

How To

Trascinare un file nel programma da xinyiman
DB concetti fondamentali e ZeosLib da xinyiman
Recuperare codice HTML da pagina web da xinyiman
Mandare mail con Lazarus da xinyiman
Stabilire il sistema operativo da xinyiman
Esempio lista in pascal da xinyiman
File INI da xinyiman
Codice di attivazione da xinyiman
Realizzare programmi multilingua da xinyiman
Lavorare con le directory da xinyiman
Utilizzare Unità esterne da Loryea
TTreeView da xinyiman
TTreeview e Menu da xinyiman
Generare controlli RUN-TIME da xinyiman
LazReport, PDF ed immagini da xinyiman
Intercettare tasti premuti da xinyiman
Ampliare Lazarus da xinyiman
Lazarus e la crittografia da xinyiman
System Tray con Lazarus da xinyiman
UIB: Unified Interbase da Microges2000
Il file: questo sconosciuto da Microges2000
Conferma di chiusura di un applicazione da xinyiman
Liste e puntatori da Microges2000
Overload di funzioni da Microges2000
Funzioni a parametri variabili da Microges2000
Proprietà da Microges2000
Conversione numerica da Microges2000
TImage su Form e Panel da Maverich
Indy gestiore server FTP lato Client da Maverich
PopUpMenu sotto Pulsante (TSpeedButton) da Maverich
Direttiva $macro da Microges2000
Toolbar da xinyiman
Evidenziare voci TreeView da Maverich
Visualizzare un file Html esterno da Maverich
StatusBar - aggirare l'errore variabile duplicata da Maverich
Da DataSource a Excel da xinyiman
Le permutazioni da xinyiman
Brute force da xinyiman
Indy 10 - Invio email con allegati da Maverich
La gestione degli errori in Lazarus da xinyiman
Pascal Script da xinyiman
Linux + Zeos + Firebird da xinyiman
Dataset virtuale da xinyiman
Overload di operatori da Microges2000
Lavorare con file in formato JSON con Lazarus da nomorelogic
Zeos ... dietro le quinte (prima parte) da Stilgar
Disporre le finestre in un blocco unico (come Delphi) da Maverich
Aspetto retrò (Cmd Line) da xinyiman
Come interfacciare periferica twain da Narciso
Ubuntu - aggiornare free pascal e lazarus da xinyiman
fpcup: installazioni parallele di lazarus e fpc da nomorelogic
Free Pascal e Lazarus sul Raspberry Pi da nomorelogic
Cifratura: breve guida all'uso dell'algoritmo BlowFish con lazarus e free pascal. da nomorelogic
Creare un server multithread da xinyiman
guida all'installazione di fpc trunk da subversion in linux gentoo da nomorelogic
Indice da nomorelogic
DB concetti fondamentali e connessioni standard da xinyiman
Advanced Record Syntax da nomorelogic
DB concetti fondamentali e DBGrid da xinyiman
DB concetti fondamentali e TDBEdit, TDBMemo e TDBText da xinyiman
Advanced Record Syntax: un esempio pratico da nomorelogic
Superclasse form base per programmi gestionali (e non) da nomorelogic
Superclasse form base per programmi gestionali (e non) #2 - log, exception call stack, application toolbox da nomorelogic
Superclasse form base per programmi gestionali (e non) #3 - traduzione delle form da nomorelogic
Superclasse form base per programmi gestionali (e non) #4 - wait animation da nomorelogic
Un dialog per la connessione al database:TfmSimpleDbConnectionDialog da nomorelogic
Installare lazarus su mac osx sierra da xinyiman
immagine docker per lavorare con lazarus e free pascal da nomorelogic
TDD o Test-Driven Development da xinyiman
Utenti
  • Utenti in totale: 665
  • Latest: Jaredzes
Stats
  • Post in totale: 13347
  • Topic in totale: 1674
  • Online Today: 47
  • Online Ever: 900
  • (Gennaio 21, 2020, 08:17:49 pm)
Utenti Online
Users: 1
Guests: 32
Total: 33

Disclaimer:

Questo blog non rappresenta una testata giornalistica poiché viene aggiornato senza alcuna periodicità. Non può pertanto considerarsi un prodotto editoriale ai sensi della legge n. 62/2001.