Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
971 connectés 

  FORUM HardWare.fr
  Programmation
  Divers

  [Divers] Format d'archive indexé

 



 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

[Divers] Format d'archive indexé

n°1688345
bunyman
Posté le 19-02-2008 à 13:30:11  profilanswer
 

Bonjour à tous,
 
Je cherche à stocker une multitude (plusieurs centaines) de fichier allant de quelques Ko à 2 Go dans une archive, sans les compresser. Il faut ensuite que je puisse, de manière excessivement rapide, supprimer un ou plusieurs fichier de cette archive et concaténer une ou plusieurs archives. Il faut aussi que je puisse interfacer le logiciel/format d'archive d'une manière ou d'une autre avec PHP (donc au minimum une interface CLI).
Premier réflex : tar. Fonctionne super bien, rempli quasiment tous les rôles. Seul problème, c'est lent. Si je veu supprimer un ou plusieurs fichiers, il doit parcourir toute l'archive à la recherche du fichier pour le delete. Quand il ya seulement quelques fichiers c'est super, mais au dessus de la centaine ce n'est plus gérable.
 
J'ai pensé peut-être à un type d'archive indexé, pour éviter de parcourir tous le fichier à la recherche du fichier désiré. Quelqu'un connaitrais quelquechose qui respecterais mes contraintes ?
 
Buny.

mood
Publicité
Posté le 19-02-2008 à 13:30:11  profilanswer
 

n°1688425
Elmoricq
Modérateur
Posté le 19-02-2008 à 14:31:55  profilanswer
 

Aucune idée si ça remplit tes besoins vu que je n'ai jamais fait ce genre de chose, mais est-ce que tu as zieuté du côté de zip et consors, en mode uncompressed ?

n°1688447
bunyman
Posté le 19-02-2008 à 14:43:15  profilanswer
 

J'ai essayer ZIP avec l'extension PHP, il met tous en mémoire avant d'écrire l'archive. Du coup dès que l'on dépasse 128mo, php plante.
Je n'ai pas essayer une CLI en revanche, je vais regarder.

n°1688449
Elmoricq
Modérateur
Posté le 19-02-2008 à 14:44:54  profilanswer
 

bunyman a écrit :

J'ai essayer ZIP avec l'extension PHP, il met tous en mémoire avant d'écrire l'archive. Du coup dès que l'on dépasse 128mo, php plante.


Ah ouais. :/
 
Mais sinon je me demandais, pourquoi gérer ça sous forme d'archive au lieu de tout stocker dans un répertoire, c'est une forme d'index de fichiers après tout. :??:

n°1688450
skeye
Posté le 19-02-2008 à 14:45:11  profilanswer
 

Question stupide : S'il n'y a pas de compression, pourquoi se faire chier à faire une archive? :??:

 

[:benou_grilled]


Message édité par skeye le 19-02-2008 à 14:45:26

---------------
Can't buy what I want because it's free -
n°1688456
Elmoricq
Modérateur
Posté le 19-02-2008 à 14:49:31  profilanswer
 

[:eddy_]


Message édité par Elmoricq le 19-02-2008 à 14:49:40
n°1688472
bunyman
Posté le 19-02-2008 à 15:01:43  profilanswer
 

Pour assurer une pseudo sécurité, et faciliter les transfert à serveur.
Les donnés qui sont "archivé" sont sensible. Ca rebute un peu plus de s'ataquer à un énorme fichier pour récupérer celui qu'il faut, pluto que de l'avoir directement.
Deuxièmement, transféré une seul archive (dans un environnement MS) est beaucou plus rapide que de transférer une multitude de fichier.
 
Voila :)

n°1688483
Elmoricq
Modérateur
Posté le 19-02-2008 à 15:07:57  profilanswer
 

Pardon de te dire ça, mais quelle que soit l'archive choisie, le niveau de sécurité est nul. Ça ne rebute personne de voir un .tar ou un .zip, même s'il n'y a pas d'extension (types MIME).
Tu obtiendras plus de résultat en protégeant convenablement l'endroit où sont stockées tes données qu'en les dissimulant d'une quelconque manière, sauf derrière un cryptage correct, mais là tes temps d'accès seront fortement dégradés.

 

Ensuite, pour le transfert réseau, je ne connais pas tes contraintes, mais là il vaut sans doute mieux créer un .tar.gz avant d'attaquer l'envoi, le temps perdu en compression doit largement être récupéré par le temps de transfert si la taille est suffisament conséquente, ce qui semble être le cas.

 

Enfin, qu'elle est la nature des données stockées ?
Si elles sont homogènes, tu as sans doute plus intérêt à travailler avec une base de données...


Message édité par Elmoricq le 19-02-2008 à 15:09:03
n°1688521
bunyman
Posté le 19-02-2008 à 15:25:16  profilanswer
 

En fait les donnés sont crypter, fichier par fichier, puis concaténé dans l'archive. Je reste donc sur mon opinion qu'il faut mieu tous concaténé pour un samblant de sécurité et pour le transfert.
 
Ce sont des donnés bureautique, donc assez varié. Je suis actuellement en train de faire un teste de stockage dans une BDD sqlite, voir un peu ce que ça donne niveau perf.

n°1688578
soulmanto
Chat Noir replica
Posté le 19-02-2008 à 15:50:25  profilanswer
 

un stockage en blob, c'est nickel...


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  Divers

  [Divers] Format d'archive indexé

 

Sujets relatifs
Player WEB pour vidéo au format MP4SQLserver : probleme avec le format datetime
Format de la dateProblème d'enregistrement en format texte
Début du fichier au format RTF[VBA-Access]Problème format dans une zone de texte
[RESOLU] Conversion au format Coplat: "à plat"[divers] Avec quel langage peut-on créer une interface comme cela ?
[Divers] Appel aux pros de ce forum[Divers] Conseils divers
Plus de sujets relatifs à : [Divers] Format d'archive indexé


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR