Java

Lecture d'une très grosse quantité de données

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : Lecture d'une très grosse quantité de données

El_gringo

Voila le code qui me permet d'écrire depuis un fichier, dans un autre fichier :

Code :

// Ouverture des flux
FileInputStream srcInputStream = new FileInputStream (m_fPageFile);
FileOutputStream destOutputStream = new FileOutputStream (generatedFile);
// Comparer ça et la longueur rendue par File.length
//long longueur = this.m_record.getTaille () - 73;
long longueur = m_fPageFile.length();
// Lecture et écriture dans un conteneur de data
byte[] data = new byte[(int)longueur];
srcInputStream.read (data);
destOutputStream.write (data);
// Fermeture des flux
srcInputStream.close ();
destOutputStream.close ();

Problème au moment de l'initialisation du tableau de bytes destiné a ercevoir les données lues. Quand le fichier est trop gros (56Mo ça plante !), je me retrouve avec une OutofMemoryException. Je me dit que je devrais pas lire tout d'un coup, pour tout écrire écrire d'un coup, afin d'éviter de stocker tout le fichier en mémoire. Mais comment déterminer la taille des "morceaux de données" que je vais lire puis écrire ?

Publicité

charlene

Verba volant, scripta manent

avec un buffer

Y a des BufferStream en java

benou

ouah !!! t'es bourrin toi !!! tu copie tout le fichier dans un tableau d'un coup :ouch:

attend 2 sec et je te file le code qui faut.
le truc c'est de le faire en plusieurs petit bouts

benou

et voila !

testé et validé !

Code :

package test;
import java.io.*;
public class TestCopy {
public static void copy(String src, String dest) throws IOException {
byte[] buffer = new byte[1024*10];
InputStream srcStream = new FileInputStream(src);
OutputStream destStream = new FileOutputStream(dest);
int copied;
while ((copied = srcStream.read(buffer)) != -1) {
destStream.write(buffer, 0, copied);
}
srcStream.close();
destStream.close();
}
public static void main (String[] args) throws IOException {
TestCopy.copy("e:\\emacs.zip", "e:\\emacs_cp.zip" );
}
}

Message édité par benou le 31-10-2002 à 22:00:11

darklord

You're welcome

El_Gringo a écrit a écrit :

Quand le fichier est trop gros (56Mo ça plante !), je me retrouve avec une OutofMemoryException.

Je me dit que je devrais pas lire tout d'un coup, pour tout écrire écrire d'un coup, afin d'éviter de stocker tout le fichier en mémoire.

El_grigo il est trop fort [:xp1700]

[:rofl] [:rofl] [:rofl]

[:rofl] [:rofl] [:rofl]

:lol: :lol: :lol:

mékilécon [:rofl]

---------------
Just because you feel good does not make you right

Dephi

benou a écrit a écrit :

et voila !
public static void copy(String src, String dest) throws IOException {

byte[] buffer = new byte[1024*10];
InputStream srcStream = new FileInputStream(src);
OutputStream destStream = new FileOutputStream(dest);
int copied;
while ((copied = srcStream.read(buffer)) != -1) {
destStream.write(buffer, 0, copied);
}
srcStream.close();
destStream.close();
}
}

C aussi ce que je fais pour récupérer un fichier à partir d'une request...

Mais je me suis toujours demandé s'il y avait une taille optimale a donner au table buffer de bytes pour "optimiser" la lecture-copie de bytes...
J'ai cherché sur le net mais rien trouvé...

Quelqu'un aurait-il des informations à m'apporter ???
Merciiiiii

---------------

El_gringo

benou a écrit a écrit :

et voila !

testé et validé !

Code :

package test;
import java.io.*;
public class TestCopy {
public static void copy(String src, String dest) throws IOException {
byte[] buffer = new byte[1024*10];
InputStream srcStream = new FileInputStream(src);
OutputStream destStream = new FileOutputStream(dest);
int copied;
while ((copied = srcStream.read(buffer)) != -1) {
destStream.write(buffer, 0, copied);
}
srcStream.close();
destStream.close();
}
public static void main (String[] args) throws IOException {
TestCopy.copy("e:\\emacs.zip", "e:\\emacs_cp.zip" );
}
}

Ok, merci. Tout ce que j'demandais c'était la taille des "morceaux" à copier à chaque itérations, après j'aurai pu me débrouiller, ms bon...
Et pourquoi une taille de [1024*10] ? Une taille + importante devrait plus charger la mémoire ms offrir de meilleur perfs, non ?

El_gringo

DarkLord a écrit a écrit :

El_grigo il est trop fort [:xp1700]

mékilécon

Et si tu parlais de la vrai question au lieu d'être con ?

benou

El_Gringo a écrit a écrit :

Et si tu parlais de la vrai question au lieu d'être con ?

:non: pas d'insultes ici !

et puis ce que t'as fait méritait bien une bonne petite raillerie !

Message édité par benou le 04-11-2002 à 09:30:48

benou

El_Gringo a écrit a écrit :

Et pourquoi une taille de [1024*10] ? Une taille + importante devrait plus charger la mémoire ms offrir de meilleur perfs, non ?

ben comme ca ... je me suis que le faire par bloc de 10 Ko était une bonne moyenne.

je ne pense franchement pas qu'en mettant des blocs plus importants tu gangnera vraiment en perf. Surement un petit peu, mais ce sera vraiment négligeable.

et puis bon. Pour déclarer un tableau de plus 100 Ko, faut vraiment en avoir besoin, hein ! ca se fait pas comme ca pour gagner 3 nano-sesondes !

Publicité

El_gringo

Darklord a écrit a écrit :

mékilécon

El_Gringo a écrit a écrit :

Et si tu parlais de la vrai question au lieu d'être con ?

...ça s'vaut !

El_gringo

benou a écrit a écrit :

ben comme ca ... je me suis que le faire par bloc de 10 Ko était une bonne moyenne.

je ne pense franchement pas qu'en mettant des blocs plus importants tu gangnera vraiment en perf. Surement un petit peu, mais ce sera vraiment négligeable.

et puis bon. Pour déclarer un tableau de plus 100 Ko, faut vraiment en avoir besoin, hein ! ca se fait pas comme ca pour gagner 3 nano-sesondes !

Ouais, t'as raison. Merci...

benou

El_Gringo a écrit a écrit :

...ça s'vaut !

je trouve pas ... yen a un qui est un peu justifié et entouré de smiley et pas l'autre.

mais bon, on s'en fout ...

El_gringo

Heu, benou, le

Code :

destStream.write(buffer, 0, copied);

Que t'as écrit, c'est exactement la même chose que

Code :

destStream.write(buffer);

Non ?

El_gringo

Ha, et prendant qu'on est là dedant, c'est important de faire ça :

Code :

// Ouverture des flux
FileInputStream srcInputStream = new FileInputStream (m_fPageFile);
FileOutputStream destOutputStream = new FileOutputStream (generatedFile);
try {
// Lecture et écriture immédiate du fichier
byte[] buffer = new byte[1024*10];
while (srcInputStream.read (buffer) != -1)
destOutputStream.write (buffer);
} finally {
// Fermeture des flux
srcInputStream.close ();
destOutputStream.close ();
}

...non ? Sinon, si read ou write balance une exception, on ferme pas le flux !

benou

El_Gringo a écrit a écrit :

Ha, et prendant qu'on est là dedant, c'est important de faire ça :
...non ? Sinon, si read ou write balance une exception, on ferme pas le flux !

ouais c'est mieux.

benou

El_Gringo a écrit a écrit :

Heu, benou, le

Code :

destStream.write(buffer, 0, copied);

Que t'as écrit, c'est exactement la même chose que

Code :

destStream.write(buffer);

Non ?

non. yavec le deuxième tu écris tout le buffer. avec le premier tu copies uniquement ce que tu as écrit dans le buffer.
C'est important à la fin de la copie parce que tu as pas beaucoup de chance que le fichier ait une taille qui soit multiple de la taille de ton buffer

darklord

You're welcome

El_Gringo a écrit a écrit :

Et si tu parlais de la vrai question au lieu d'être con ?

mais enfin tu lis un fichier de 56Mo en mémoire et tu t'étonnes que tu te manges un OutOfMemoryError. Avoue qd meme que ca a de quoi etre :heink: non?

enfin ...

---------------
Just because you feel good does not make you right

El_gringo

DarkLord a écrit a écrit :

mais enfin

tu lis un fichier de 56Mo en mémoire et tu t'étonnes que tu te manges un OutOfMemoryError. Avoue qd meme que ca a de quoi etre :heink:

non?

enfin ...

Je m'étonne pas, je demande comment choisir la taille optimum des "morceaux" à lire/écrire...
Que tu rigoles, si tu veux, mais fais un effort pour essayer de répondre après qd même. Ma question était qd même pas complètement stupide...

darklord

You're welcome

El_Gringo a écrit a écrit :

Ma question était qd même pas complètement stupide...

ah non je dis pas. Par contre la façon de la présenter
bon tu as la réponse à ta question ou pas là?

---------------
Just because you feel good does not make you right

El_gringo

Ouais, enfin, disons que selon benou, ça doit pas être frachment primordial, surtout que dans mon cas, je fais pas tout un tas de copies à la volée. Mais si t'as des précisions à apporter, quant à l'optimisation de la copie de fichier en fonction de la taille du buffer, j't'écoute...

benou

El_Gringo a écrit a écrit :

Ouais, enfin, disons que selon benou, ça doit pas être frachment primordial

la taille du buffer est pas primordiale. (quelques Ko)

Faire une copie de 56 Mo en mémoire c'est suicidaire !!!!! :ouch:
:gun:

El_gringo

benou a écrit a écrit :

la taille du buffer est pas primordiale. (quelques Ko)

Faire une copie de 56 Mo en mémoire c'est suicidaire !!!!! :ouch:

Ouais, enfin, 56Mo c'est qd même carrément suppra exceptionnel ds le cadre de mon appli, j'dirais même que ça peut jammauis arriver. C'était juste pr un test...
Ms bon, là c changé... Merci d'ailleurs !

benou

même 10Mo ou 1Mo c'est énorme !!! et complétement inutile en plus ...

si j'insiste c'est pour être sur que tu recommenceras plus en te disant "c'est pas grave".

El_gringo

Je recommencerai plus Monsieur benou... :jap:

Ms plus sérieusement, bien sur que je recommencerai plus, j'ai très bien compris que ça peut prendre une place énorme en mémoire...

benou

El_Gringo a écrit a écrit :

Je recommencerai plus Monsieur benou... :jap:

c'est bien mon petit

Publicité

FORUM HardWare.fr

Programmation

Java

Lecture d'une très grosse quantité de données

Sujets relatifs
[ C, C++] SOCKET : format des donnees envoyees avec fonction send()	transfert de data d'un fichier csv dans une base de données mysql
Maquette 'interactive' : données stockées en local ?	[Postgresql] perte de données lors d'insertion en charge
[C] Problème très con sur une fonction apparemment super simple	Afficher des données dynamiques sur plusieurs pages
[PHP, MySQL] Base de données MySQL et Unicode...	Transformation d'hexa en caractère dans une lecture de fichier
Comment on ajoute un champ dans une base de données
Plus de sujets relatifs à : Lecture d'une très grosse quantité de données

Page générée en 0.113 secondes