Java

Threads, pipes, attente et annulation

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : Threads, pipes, attente et annulation

gfive

Bonjour,

Je suis en train de faire une petite moulinette qui permet de faire passer un fichier XML par plusieurs transformations XSL successives, avec des PipedIn/OutputStream

Bon, globalement, ça marche plutôt bien : ça transforme, etc..

Mais j'ai un souci : je voudrais que ma méthode qui lance le process ne retourne qu'à la fin de l'opération : pour le moment, je lance une thread par transformation, qui lit dans un InputStream, et écrit dans un OutputStream, et la méthode start() retourne 'immmédiatement"

Donc, quand j'appelle transform(source, cible) , j'ai un retour immédiat, mais le fichier n'est pas disponible avant que toutes les threads n'aient fini leur boulot.

J'avais au départ fait un système de 'waitFor' avec un lock.wait() et un lock.notifyAll(), mais ça ne march epas au delà de 2 transformations, sans que j'aie pu piger pourquoi.

Voilà une partie du code. Toute suggestion sera la bienvenue!

- la thread qui fait une transformation :

Code :

public class TransformerThread extends Thread {
private OutputStream out = null;
private InputStream in = null;
private Object lock;
private boolean finished = false;
private Transformer transformer;
private XSLTransformer xslt;
public TransformerThread(XSLTransformer xslt, Transformer transformer, OutputStream out, InputStream in) {
this.xslt = xslt;
this.out = out;
this.in = in;
this.transformer = transformer;
setName(transformer.getParameter("fr.actia.progress.xsl.XSLTransformer.Name" ).toString());
lock = new Object();
}
public void run() {
xslt.start(this);
System.out.println("Starting thread " + getName());
if (out != null && in != null && transformer != null) {
StreamSource source = new StreamSource(in);
StreamResult result = new StreamResult(out);
try {
transformer.transform(source, result);
out.flush();
out.close();
} catch (TransformerException e) {
// The listener relayed a TransformerException. We must stop!
try {
out.flush();
out.close();
} catch (IOException ioe) {
}
} catch (IOException e) {
}
xslt.finished(this);
System.out.println("Finished thread " + getName());
}
}
public void waitFor() {
start();
synchronized(lock) {
try {
lock.wait();
} catch (Exception e) {
e.printStackTrace();
}
}
}
public void cancelTransformation() {
synchronized (lock) {
try {
interrupt();
lock.notifyAll();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}

Et le code qui utilise ce machin :

Code :

/**
*
* @param source
* @param transformer
* @return
* @throws IOException
*/
private InputStream transform(InputStream source, Transformer transformer) throws IOException, InterruptedException {
PipedOutputStream pipeOut = new PipedOutputStream();
PipedInputStream pipeIn = new PipedInputStream(pipeOut);
transform(source, transformer, pipeOut);
return pipeIn;
}
private void transform(InputStream source, Transformer transformer, OutputStream out) throws IOException, InterruptedException {
BufferedInputStream in = new BufferedInputStream(source);
TransformerThread tt = new TransformerThread(this, transformer, out, in);
startTransformation(transformer.getParameter("fr.actia.progress.xsl.XSLTransformer.Name" ).toString());
tt.start();
}
public boolean transform(File sourceFile, File resultFile) throws FileNotFoundException, TransformerException, InterruptedException {
success = true;
lock = new Object();
if (!sourceFile.exists()) {
throw new FileNotFoundException(sourceFile.getAbsolutePath());
} else {
try {
StreamSource source = getSource(sourceFile);
InputStream sourceIn = new FileInputStream(sourceFile);
int last = transformers.size() - 1;
for (int i = 0; i < last; i++) {
Transformer t = (Transformer) transformers.get(i);
sourceIn = transform(sourceIn, t);
}
transform(sourceIn, (Transformer) transformers.get(last), new FileOutputStream(resultFile));
} catch (IOException ioe) {
ioe.printStackTrace();
}
return success;
}
}

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

Publicité

nraynaud

lol

passer en monoThread ?
tu fais une liste de filtres et une fonction de filtrage et en voiture simone ?

en plus "extends Thread", ça me fait très peur là.

Message édité par nraynaud le 28-07-2004 à 11:01:16

---------------
trainoo.com, c'est fini

gfive

bah, passer en mono thread, avec des Piped machins, c'est pas DU TOUT conseillé :

Citation :

A piped input stream should be connected to a piped output stream; the piped input stream then provides whatever data bytes are written to the piped output stream. Typically, data is read from a PipedInputStream object by one thread and data is written to the corresponding PipedOutputStream by some other thread. Attempting to use both objects from a single thread is not recommended, as it may deadlock the thread. The piped input stream contains a buffer, decoupling read operations from write operations, within limits.

Et pkoi 'extends Thread' te fait peur?

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

nraynaud

lol

en fait, ce truc sert à faire de la communication asynchrone entre threads, c'est une boite à lettres, pas un filtre de transformation.

---------------
trainoo.com, c'est fini

gfive

Huhu, j'ai trouvé!

En fait, j'ai viré le lock de TransfomerThread, puisque je lm'en servait pas, et j'en ai mis un dans la classe qui l'appelle :

Code :

private InputStream transform(InputStream source, Transformer transformer) throws IOException, InterruptedException {
PipedOutputStream pipeOut = new PipedOutputStream();
PipedInputStream pipeIn = new PipedInputStream(pipeOut);
transform(source, transformer, pipeOut);
return pipeIn;
}
private void transform(InputStream source, Transformer transformer, OutputStream out) throws IOException, InterruptedException {
BufferedInputStream in = new BufferedInputStream(source);
TransformerThread tt = new TransformerThread(this, transformer, out, in);
startTransformation(transformer.getParameter("fr.actia.progress.xsl.XSLTransformer.Name" ).toString());
tt.start();
}
public boolean transform(File sourceFile, File resultFile) throws FileNotFoundException, TransformerException, InterruptedException {
success = true;
lock = new Object();
if (!sourceFile.exists()) {
throw new FileNotFoundException(sourceFile.getAbsolutePath());
} else {
try {
StreamSource source = getSource(sourceFile);
InputStream sourceIn = new FileInputStream(sourceFile);
int last = transformers.size() - 1;
for (int i = 0; i < last; i++) {
Transformer t = (Transformer) transformers.get(i);
sourceIn = transform(sourceIn, t);
}
transform(sourceIn, (Transformer) transformers.get(last), new FileOutputStream(resultFile));
synchronized(lock) {
try {
lock.wait();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
} catch (IOException ioe) {
ioe.printStackTrace();
}
return success;
}
}

Et la méthode finished(TransformerThread tt) de la classe appellante, qui est appellée à la fin de TransformerThread.run() :

Code :

protected void finished(TransformerThread tt) {
transformerThreads.remove(tt);
if (transformerThreads.isEmpty()) {
synchronized(lock) {
lock.notifyAll();
}
}
}

Sachant que transformerThreads est une liste de mes threads.

Maintenant, il me reste à gérer l'annulation des transformations, donc l'interruption des threads, quand l'utilisateur appuie sur ''cancel'....

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

gfive

nraynaud a écrit :

en fait, ce truc sert à faire de la communication asynchrone entre threads, c'est une boite à lettres, pas un filtre de transformation.

bah, tu peux t'en servir comme tu veux, je vois pas où est le souci : dans le tutorial, il s'en servent pour 'retourner' le contenu d'un fichier texte...

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

nraynaud

lol

biensûr, d'ailleur la mémoire et les ressources de calcul sont infies dans le modèle abstrait de java, alors on peut faire n'importe quoi avec n'importe quelle infrastructure.

---------------
trainoo.com, c'est fini

gfive

baaah, spas la peine de faire le caustique!

Mais ça me parraissait une solution plutôt élégante, quoi.

Après, c'est sûr qu'il ne faut pas chaîner 30 transformations de suite non plus, je pense, mais bon.

Et puis j'ai trouvé que c'était plutôt intréressant à faire, comme truc.

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

nraynaud

lol

Ben tu as eu tort.

---------------
trainoo.com, c'est fini

gfive

Et t'as rien de plus constructif, comme idée?

Imaginons que tu veuilles faire 3 transformations, et pas écrire de fichier temporaire. Tu ferais comment?

[Edit] Sans déconner, ça m'intéresse, en fait.

J'ai envisagé de passer par des ByteArrayXxputStreams, et d'écrire dans un tableau de bytes, mais si j'ai un gros fichier, ça me pose le problème de la mise en mémoire de mon bouzin.

Là, ce qui m'a paru positif de ce point de vue, c'est que c'est lu/ecrit au fir et à mesure (la preuve : si je plante le process au milieu, je me retrouve avec un bout de fichier de sortie coupé n'importe où, même avec plus d'une transformation)

Message édité par gfive le 28-07-2004 à 11:40:59

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

Publicité

nraynaud

lol

des filtres qui aggrègent un inputStream et un outPutStream, créés de manière fainéante ; au minimum.

peut-être même aller voir ce qu'on peut faire de org.xml.sax.InputSource pour voir s'il n'y a pas moyen d'accélérer les choses, par exemple parce qu'un filtre sait à quel encoding il sort.

---------------
trainoo.com, c'est fini

fb@alphalog

[:drapo]
ce topic m'interesse
dans mon cas c pour crypter un fichier que j'encode :
je lis un fichier que j'envoi dans un GZIPOutputStream(new FileOutputStream(outFilename))

ensuite j'ai besoin d'un input stream a faire passer dans out = new CipherOutputStream(out, encryptcipher);

nraynaud

lol

peut-être même voir si l'ont ne peut pas faire passer des arbres Dom entre les filtres.

---------------
trainoo.com, c'est fini

gfive

nraynaud a écrit :

Ah mais ça, j'ai!

Ma classe TransformerThread, par exemple, c'est un filtre, en fait :

Elle prend un InputStream et un OutputStream en entrée, elle s'en sert pour créer (effectivement) des StreamSource et StreamResult, et elle transforme.

Le seul truc, c'est qu'elle fait ça dans sa méthode run(), quoi, ce qui ne change pas le rôle fondamental du machin.

Et niveau encoding, du coup, ça marche très bien : ça fait les transcodages tout seuls, si jamais la feuille de style sort en isomachin, et que l'entrée est en UTF-8

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

gfive

nraynaud a écrit :

peut-être même voir si l'ont ne peut pas faire passer des arbres Dom entre les filtres.

Bah ça, j'ai essayé, aussi, mais c'est une galère : par défaut, l'implémentation du DOM du jdk (je sais plus laquelle c'est) me sort des choses bizarres, du genre "stylesheet requires the version attribute" alors que la version y est....On a réussi en utilisant Saxon....

Mon souci, c'est que je fais des couches assez basses, et je ne peux pas (faut demander à mon chef pkoi) utiliser d'autres API que celles du JDK....(soupir, mais bon)

Du coup, je suis un peu coincé...Bon, j'ai laissé des possibilités, hein, par exemple, on peut choisir l'implémentation de TransformerFactory à utiliser..(d'ailleurs, il faut que je voie si je peux mettre en place le même mécanisme pour choisir les implémentations de Source et Result..)

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

nraynaud

lol

mais alors pourquoi créer un thread par filtre, ça n'a aucun intérêt.

---------------
trainoo.com, c'est fini

gfive

nraynaud a écrit :

mais alors pourquoi créer un thread par filtre, ça n'a aucun intérêt.

ben j'ai voulu suivre l'exemple du tutorial sur les Pipes, tout simplement!

Et puis mes threads, elles sont toutes lancées en même temps, hein, donc, ça va plus vite : la 2° transformation commence dès qu'elle a qqchose à lire, ce qui ne cesse pas de m'étonner, d'ailleurs : si la 1° donne un fichier xml non valide, ça me donne une sortie quand même (bon, pas du tout ce que j'attends, mais ça tourne)

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

nraynaud

lol

si tu fais un empilage de stream aussi hein. tu connectes ton FilIputStream au premier filtre, tu connecte la chaîne de filtres et tu tires à l'autre bout et *pouf*. Comme maintenant, mais en divisant les ressources système utilisées par 2.

---------------
trainoo.com, c'est fini

gfive

nraynaud a écrit :

ouais...Faut que j'essaie.

En gros, ça correspond à ce que tu ferais??

Code :

InputStream in = new FileInputStream(masource);
OutputStream out = new ByteArrayOutputStream();
while (iterator.hasNext()) {
Transformer t = (Transformer) it.next();
StreamSource source = new StreamSource(in);
StreamResult result = new StreamResult(out);
t.transform(source, result);
in = new ByteArrayInputStream(out.toByteArray());
if (it.hasNext()) {
out = new ByteArrayOutputStream();
} else {
out = new FileOutputStream(monresultat);
}
}

Je t'avoue que les IO, c'est pas trop ma tasse de thé, au départ, donc, il se peut que je me m'embourbe complètement, des fois!

Message édité par gfive le 28-07-2004 à 12:11:48

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

nraynaud

lol

non, le contrat serait du type :

Code :

Transformer t1, t2, t3;
//affectations
t1.setInput(newFileInputStream(...));
t2.setInput(t1.getOutPut());
t3.setInput(t2.getOutPut());

ensuite, tu pompes les bytes de t2.getOutPut() et tu les pousses dans un fichier.

on voit que
1) j'ai dit une connerie, pas besoin d'OutputStream dans les filtres. Tout est en tirant, on peut faire la même infrastructure en poussant, mais il faut éviter de mélanger les 2.
2) le filtre by-pass est simplement quand getOutPut() renvoie ce qu'on lui a passé en setInput(), ça veut dire que l'infrastructure est légère *en soi*.

D'autre part, j'ai pas mis le code de pompage/poussage, car j'ai encore rien de trouvé de statisfaisant.
peut-être par read() et write() avec un tableau de 1024 bytes :

Code :

byte[] buff = new byte[1024];
int i = out.read(buff, 0, 1024);
while(i > 0) {
file.write(buff, 0, i);
i = out.read(buff, 0, 1024);
}

---------------
trainoo.com, c'est fini

gfive

ok, je vois ce que tu veux faire...

Mais je me demande si il n'y a pas un risque de lock, vu que t(i) lit dans un flux où t(i-1) est en train d'écrire, et ce depuis la même thread.

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

nraynaud

lol

non. t(i-1) ne donne des bytes à t(i) que s'il lui en demande.

---------------
trainoo.com, c'est fini

gfive

ok...

Bowdel, j'aime pas les IO!

[Edit] ouais, enfin, ton machin, ça me laisse tout dubitatif

1- Je vois pas bien pkoi tu veux te faire chier à lire/ecrire dans un buffer, alors que normalement, les piped streams sont faits exactement pour ça, et sans doute mieux écrits que ce que je pourrais faire moi-même,
2- sans avoir une thread par transformation, je cours au deadlock, dela même manière que si j'essayais de lire les sorties d'un process sans créer une thread.

Mais bon. [:itm]

Message édité par gfive le 28-07-2004 à 13:18:46

---------------
Tous les sud africains sont ségrégationistes, à part Ted. (P. Desproges)

FarookFreeman

gfive a écrit :

J'ai eu le même problème ; je m'en suis sorti en enlevant carément l'attribut version en faisant xmloutputter.setOmitEncodingVersion(true); je crois.

nraynaud

lol

gfive a écrit :

[Edit] ouais, enfin, ton machin, ça me laisse tout dubitatif

1- Je vois pas bien pkoi tu veux te faire chier à lire/ecrire dans un buffer, alors que normalement, les piped streams sont faits exactement pour ça, et sans doute mieux écrits que ce que je pourrais faire moi-même,
2- sans avoir une thread par transformation, je cours au deadlock, dela même manière que si j'essayais de lire les sorties d'un process sans créer une thread.

Mais bon. [:itm]

1) oké d'accord. Fais ce que tu veux, mais ne prétends pas savoir lire une doc ou faire de la conception.

2) oké d'accord, tu es le premier mec au monde à avoir un deadlock avec un seul thread, je t'en félicite et te souhaite bon courage pour ton prochain record : un deadlock avec zero thread.

Quand je pense que je suis au chomedû et que des gens comme toi on plus d'espoir d'être embauché que moi parce qu'il ont leur bout de papier insignifiant. Même des trucs aussi scolaires que les deadlocks sont pas acquis. Monde de merde.

---------------
trainoo.com, c'est fini

Publicité

FORUM HardWare.fr

Programmation

Java

Threads, pipes, attente et annulation

Sujets relatifs
Page d'attente pour moteur de recherche [résolu]	[C] creation de threads ou de processus ?
écran d'attente sur code long en vb excel	Synchronisation de threads en C#
petite question sur les threads	problème avec les threads
problèmes de Threads .	[C] Bidouillage avec des threads....
[Java/SWT] : asyncExec et syncExec, Threads, affichage.	temps attente -> getInputStream (java.net, java.io)
Plus de sujets relatifs à : Threads, pipes, attente et annulation

Page générée en 0.159 secondes