Italian community of Lazarus and Free Pascal

Programmazione => Generale => Topic aperto da: bonmario - Agosto 12, 2022, 02:32:38 pm

Titolo: Leggere un file di testo dalla fine all'inizio
Inserito da: bonmario - Agosto 12, 2022, 02:32:38 pm
Ciao a tutti,
in un programma che sto facendo, dovrei andare a leggere dei files di testo che mi arrivano, alla ricerca di una determinata parola chiave.
So già in partenza, che quello che sto cercando è nelle righe finali del file, che in alcuni casi possono arrivare ad avere circa un migliaio di righe.

Al momento, leggo il file come ho sempre fatto, dall'inizio alla fine.
Vorrei però ottimizzare i tempi, e leggere il file al contrario.

Sapete se c'è qualcosa di già pronto?

Grazie, Mario
Titolo: Re:Leggere un file di testo dalla fine all'inizio
Inserito da: DragoRosso - Agosto 12, 2022, 02:56:05 pm
E' annoni che non leggo più file binari o testo non formattati e che faccio ricerche sugli stessi, ma mi pare di ricordare che puoi fare un "seek" per andare a leggere direttamente la porzione che ti serve (ad esempio se sai che quello che cerchi si trova oltre l'80% del file, fai un "seek" corrispondente e leggi da li).

Tieni presente comunque una cosa: ormai con i sistemi e le tecnologie attuali di archiviazione (SSD, CACHE WB, etc ...) la lettura di un file di non grosse dimensioni è quasi più veloce che non "spolverare" la RAM.

Ciao

Edit: la funzione dovrebbe essere tipo

Codice: [Seleziona]
procedure Seek(var F: File; N: Cardinal);
//Use Seek to move to a specified position in open typed or untyped files. The current file position of F moves to component number N, where the number of the first component of a file is 0.

Edit2:

Potresti anche caricare il file in una stringa ed usare la funzione ReverseString poi da li usare un POS (ovviamente a caratteri invertiti).
Codice: [Seleziona]
function ReverseString(const AText: string): string;
"ReverseString returns the string with the characters in reverse order"

oppure se le righe del file sono in qualche modo identificabili potresti caricarti sempre in una strina il file stesso, eseguire lo SPLITString e poi fare la scansione all'incontrario dell'elenco.
Titolo: Re:Leggere un file di testo dalla fine all'inizio
Inserito da: bonmario - Agosto 12, 2022, 03:18:03 pm
Sì, grazie, io li uso abbastanza frequentemente: c'è il tipo "TFileStream", con coi puoi fare la Seek, dicendogli direttamente di posizionarsi in fondo, e da lì eventualmente leggere a ritroso "tot" bytes alla volta.
Era solo per non scrivere del codice da 0, avendo magari qualcosa di già utilizzabile.

Nel frattempo ho fatto una verifica: il file più grosso che mi è arrivato fino ad ora, è di 360.000 righe, per un totale di quasi 6 mega.

Ciao, Mario
Titolo: Re:Leggere un file di testo dalla fine all'inizio
Inserito da: SB - Agosto 14, 2022, 10:14:28 am
Confermo quanto detto da Dragorosso. Non vale la pena di farsi problemi a caricare in memoria l'intero file in un colpo solo.

var
  sText : TStringList;

begin
      sText := TStringList.Create;

      sText.LoadFromFile(file);

      // ottieni tutto il contenuto con sText.Text
Titolo: Re:Leggere un file di testo dalla fine all'inizio
Inserito da: Stilgar - Agosto 16, 2022, 03:02:15 pm
Ciao.
La memoria in effetti non sembra essere un problema.


Se non vuoi la soluzione pronta con TStringList (che è comoda, te lo anticipo già) puoi sempre giocare con i vecchi metodi sui file di testo, ma onestamente non li trovo molto "performanti".


Visto che vai per chiavi, conosci FPIndexer? E' un pacchetto standard da FPC 2.6.2 (sono andato a controllare sul forum internazionale).
Da quello che leggevo permette di indicizzare tabelle db e file di testo. Non ho indagato su come funziona, ma se a te interessa sapere solo se c'è una keyword dentro il file, forse è sufficiente.
Mi sembra si possa lavorare su più file alla volta.


https://www.freepascal.org/daily/packages/fpindexer/fpindexer/tfpindexer.html Per vedere se fa al caso tuo.


Stilgar

Titolo: Re:Leggere un file di testo dalla fine all'inizio
Inserito da: Stilgar - Agosto 16, 2022, 03:32:01 pm
Se non fa per te, puoi controllare i getFileContent


Codice: [Seleziona]

Function GetFileContents(Const aFileName : RawByteString) : TBytes;


Var
  H : Thandle;


begin
  H:=FileOpen(aFileName,fmOpenRead or fmShareDenyWrite);
  if H<0 then
    Raise EFileNotFoundException.Create(SFileNotFound);
  try
    Result:=GetFileContents(H);
  finally
    FileClose(H);
  end;
end;

dentro FileUtil.inc trovi questa implementazione.

Stilgar