Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
3390 connectés 

 

Sujet(s) à lire :
    - Who's who@Programmation
 

 Mot :   Pseudo :  
  Aller à la page :
 
 Page :   1  2  3  4  5  ..  11935  11936  11937  ..  26988  26989  26990  26991  26992  26993
Auteur Sujet :

[blabla@olympe] Le topic du modo, dieu de la fibre et du monde

n°1571508
flo850
moi je
Posté le 07-06-2007 à 13:20:36  profilanswer
 

Reprise du message précédent :

masklinn a écrit :

Citation :

The blocks of a ZFS storage pool form a Merkle tree in which each block validates all of its children. Merkle trees have been proven to provide cryptographically-strong authentication for any component of the tree, and for the tree as a whole. ZFS employs 256-bit checksums for every block, and offers checksum functions ranging from the simple-and-fast fletcher2 (the default) to the slower-but-secure SHA-256. When using a cryptographic hash like SHA-256, the uberblock checksum provides a constantly up-to-date digital signature for the entire storage pool.


Holy raptor jesus on a stick [:pingouino]


 
pour ce que je comprends, a tout moment, en temps reel , on a un un checksum de l'ensemble de ses données, aussi bien que de chacun des bloc ?  
 
faut voir le surcout en perfs, masi c'est enorme dans le cadre d'application de sauvegardes ( ca aurai simplifier la time machine de maniere importante a mon avis )

mood
Publicité
Posté le 07-06-2007 à 13:20:36  profilanswer
 

n°1571510
nraynaud
lol
Posté le 07-06-2007 à 13:21:23  profilanswer
 

el muchacho a écrit :

Comment ça ???


1) y'a d'autres méthodes (certifier tes opérations de mutation du FS par exemple)
2) c'est pas forcément suffisant (l'opération de checksum peut avoir un bug, savoir que le merdier est corrompu est différent de savoir récupérer le bouzin etc.)


---------------
trainoo.com, c'est fini
n°1571511
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 13:21:29  profilanswer
 

el muchacho a écrit :

Ben c'est comme ça que fonctionnent les checksums sur repository de monotone, mercurial et git.
C'est bien le minimum pour un filesystem destiné à assurer l'intégrité des données. C'est même une absolue nécessité pour un fs qui peut revenir en arrière, car il n'y a que comme ça qu'on peut s'assurer de l'intégrité du système à tout moment. A noter que cette assurance n'existe pas à ma connaissance avec CVS.

 

edit: j'avais pas vu qu'il y avait un checksum pour chaque block, pas seulement pour le total.


Dans Monotone, Mercurial et Git le système n'est pas un Merkle Tree dans lequel chaque node se valide elle même et valide tous ses enfants :o

flo850 a écrit :

pour ce que je comprends, a tout moment, en temps reel , on a un un checksum de l'ensemble de ses données, aussi bien que de chacun des bloc ?


Mieux: chaque block checksumme l'intégralité de ses enfants, donc le seul système de checksum des blocs génère des checksums pour l'ensemble des données et pour n'importe quel sous-ensemble de tes données (si on considère que les données sont un arbre et qu'un sous-ensemble est une node donnée de l'arbre et tous ses descendants) [:pingouino]

 
flo850 a écrit :

ca aurai simplifier la time machine de maniere importante a mon avis


Pour ça, ZFS a les snapshots + une sémantique COW (un bloc de données sur le disque n'est jamais modifié tant qu'il n'a pas été confirmé comme "garbage" )

Message cité 1 fois
Message édité par masklinn le 07-06-2007 à 13:24:23

---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571513
nraynaud
lol
Posté le 07-06-2007 à 13:25:34  profilanswer
 

mon futur slide :
 
http://www.istockphoto.com/file_cl [...] id=2841649
"cette tête de con, c'est l'utilisateur qu'on cible"


---------------
trainoo.com, c'est fini
n°1571515
el muchach​o
Comfortably Numb
Posté le 07-06-2007 à 13:30:20  profilanswer
 

flo850 a écrit :

pour ce que je comprends, a tout moment, en temps reel , on a un un checksum de l'ensemble de ses données, aussi bien que de chacun des bloc ?  
 
faut voir le surcout en perfs, masi c'est enorme dans le cadre d'application de sauvegardes ( ca aurai simplifier la time machine de maniere importante a mon avis )


Le surcoût en perfs peut être important ou négligeable, en fonction de l'algo de checksum, qui est au choix apparemment. Quand je dis négligeable, il faut tenir compte des limitations du système de sauvegarde physique (écriture sur disque, bande, etc). Il y a un surcoût non négligeable en espace aussi. Mais la-dessus, on peut compter sur la loi de Moore qui je pense continue de s'appliquer sur les mémoires de masse.

nraynaud a écrit :

1) y'a d'autres méthodes (certifier tes opérations de mutation du FS par exemple)
2) c'est pas forcément suffisant (l'opération de checksum peut avoir un bug, savoir que le merdier est corrompu est différent de savoir récupérer le bouzin etc.)


Note bien que je parlais de l'assurance de l'intégrité, non pas de la posssibilité de recovery en cas de corruption.

masklinn a écrit :

Dans Monotone, Mercurial et Git le système n'est pas un Merkle Tree dans lequel chaque node se valide elle même et valide tous ses enfants :o
 
Mieux: chaque block checksumme l'intégralité de ses enfants, donc le seul système de checksum des blocs génère des checksums pour l'ensemble des données et pour n'importe quel sous-ensemble de tes données (si on considère que les données sont un arbre et qu'un sous-ensemble est une node donnée de l'arbre et tous ses descendants) [:pingouino]
 
 
Pour ça, ZFS a les snapshots + une sémantique COW (un bloc de données sur le disque n'est jamais modifié tant qu'il n'a pas été confirmé comme "garbage" )


Oui, c'est bon, n'en jetez plus, j'ai vu mon oubli tout seul :o [:pingouino]
Dans tous les cas, ce fs semble bien plus avancé que ce qui se fait habituellement.

n°1571518
nraynaud
lol
Posté le 07-06-2007 à 13:33:02  profilanswer
 

mouais, 'faut voir les perfs aussi, fais-moi un petit update subversion depuis intellij là-dessus pour voir ....


---------------
trainoo.com, c'est fini
n°1571540
zapan666
Tout est relatif
Posté le 07-06-2007 à 14:18:18  profilanswer
 

nraynaud a écrit :

mon futur slide :
 
http://www.istockphoto.com/file_cl [...] id=2841649
"cette tête de con, c'est l'utilisateur qu'on cible"


Uhm, y'a 2/3 photos qui seraient génial sur mon prochain slide
http://www.istockphoto.com/file_se [...] ID=1383735
 
 :fou: Faut que j'en trouve des pareils mais libres
 


---------------
my flick r - Just Tab it !
n°1571545
Chaos Inte​stinal
Posté le 07-06-2007 à 14:31:28  profilanswer
 

nraynaud a écrit :

comment on dit : "vous allez devoir générer à nouveau tous vos tests" en angliche ?
j'hésite à utiliser "anew" :/


 
You're going to have to generate all your test cases again.
 
Tu peux tailler un peu pour faire moins verboze.
 

n°1571552
nraynaud
lol
Posté le 07-06-2007 à 14:38:19  profilanswer
 

zapan666 a écrit :

Uhm, y'a 2/3 photos qui seraient génial sur mon prochain slide
http://www.istockphoto.com/file_se [...] ID=1383735
 
 :fou: Faut que j'en trouve des pareils mais libres


http://www.presentationzen.com/pre [...] you_f.html


---------------
trainoo.com, c'est fini
n°1571554
nraynaud
lol
Posté le 07-06-2007 à 14:38:45  profilanswer
 

Chaos Intestinal a écrit :

You're going to have to generate all your test cases again.
 
Tu peux tailler un peu pour faire moins verboze.


trop tard, publié.


---------------
trainoo.com, c'est fini
mood
Publicité
Posté le 07-06-2007 à 14:38:45  profilanswer
 

n°1571561
zapan666
Tout est relatif
Posté le 07-06-2007 à 14:46:58  profilanswer
 
n°1571570
nraynaud
lol
Posté le 07-06-2007 à 14:58:19  profilanswer
 


au final je les ai achetées sur istockphoto.com parce que les 3-4 gratos que j'ai testé avait une recherche qui trouvait pas.


---------------
trainoo.com, c'est fini
n°1571575
Lam's
Profil: bas.
Posté le 07-06-2007 à 15:02:23  profilanswer
 


Chaos Intestinal a écrit :

You're going to have to generate all your test cases again.
 
Tu peux tailler un peu pour faire moins verboze.


Moi je verrais bien ça: simple, efficace, précis, beau.
 
http://images.imagehotel.net/187fa10425.jpg

n°1571576
zapan666
Tout est relatif
Posté le 07-06-2007 à 15:03:05  profilanswer
 

nraynaud a écrit :

au final je les ai achetées sur istockphoto.com parce que les 3-4 gratos que j'ai testé avait une recherche qui trouvait pas.


[:petrus75] C'est pour une soutenance, un truc d'étudiant quoi, donc bon, je vais pas faire mon riche a acheté des images pour ça.
Je crois que je vais me lire le reste du site  :p


---------------
my flick r - Just Tab it !
n°1571578
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 15:06:22  profilanswer
 

nraynaud a écrit :

mouais, 'faut voir les perfs aussi, fais-moi un petit update subversion depuis intellij là-dessus pour voir ....


http://storagemojo.com/wp-content/uploads/2007/04/picture-3.png
 :whistle:  
 
(plus sérieusement, les performances ont l'air au niveau d'un UFS ou Ext3, par contre le COW peut générer une certaine fragmentation du volume)


---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571590
flo850
moi je
Posté le 07-06-2007 à 15:15:48  profilanswer
 

masklinn a écrit :

http://storagemojo.com/wp-content/ [...] ture-3.png
 :whistle:  
 
(plus sérieusement, les performances ont l'air au niveau d'un UFS ou Ext3, par contre le COW peut générer une certaine fragmentation du volume)


 
la tu compare quoi ?  
different types de raid avec du ZFS ?  
 
( a la louche il y a 30/35  disques dans le SAN que tu montre , belle bete )

n°1571602
nraynaud
lol
Posté le 07-06-2007 à 15:33:25  profilanswer
 

Citation :


 
Nico.
 
Client XP, développeur & Responsable de la relation avec les débits de boisson.


ça le fait comme signature ? [:dawak]


---------------
trainoo.com, c'est fini
n°1571604
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 15:34:11  profilanswer
 

flo850 a écrit :

la tu compare quoi ?  
different types de raid avec du ZFS ?


Dans un cas très précis qui montre en réalité de cache de ZFS: http://www.markround.com/archives/ [...] mance.html


---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571613
Chaos Inte​stinal
Posté le 07-06-2007 à 15:42:20  profilanswer
 
n°1571616
Chaos Inte​stinal
Posté le 07-06-2007 à 15:45:34  profilanswer
 
n°1571617
flo850
moi je
Posté le 07-06-2007 à 15:45:44  profilanswer
 

la mise en cache ( cache du HDD, cache de la carte controleur, cache en ram ) , c'est pas ( normalement ) independant de l'os ou du filesystem ?  
 

n°1571618
Chaos Inte​stinal
Posté le 07-06-2007 à 15:45:59  profilanswer
 

http://my.blog.com
 
Parce que j'aime bien poster des liens et raconter ma life, lolilol [:pingouino]

n°1571621
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 15:47:36  profilanswer
 

flo850 a écrit :

la mise en cache ( cache du HDD, cache de la carte controleur, cache en ram ) , c'est pas ( normalement ) independant de l'os ou du filesystem ?


pas nécessairement, tu peux avoir un cache au niveau de ton FS


---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571622
nraynaud
lol
Posté le 07-06-2007 à 15:48:30  profilanswer
 

flo850 a écrit :

la mise en cache ( cache du HDD, cache de la carte controleur, cache en ram ) , c'est pas ( normalement ) independant de l'os ou du filesystem ?


je suppose que sur 2Go c'est lOS qui le fait plutôt ?


---------------
trainoo.com, c'est fini
n°1571625
flo850
moi je
Posté le 07-06-2007 à 15:53:05  profilanswer
 

masklinn a écrit :

pas nécessairement, tu peux avoir un cache au niveau de ton FS


oui , mais si le cache est sur le FS , tu ne peux pas depasser le debit du FS , et pour ce que je vois de la config, il n'a pas assez de matos pour atteindre de tels debits  
 
c'est forcement qu'il y a un element rapide qui tire parti du ZFS
 

nraynaud a écrit :

je suppose que sur 2Go c'est lOS qui le fait plutôt ?


pas compris  [:croquignol]  
 
J'ai un système assez rapide chez moi :  
en debit continu , je tape environ 300Mo /s , alors que le debit du cache atteint 2 GO/s

n°1571627
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 15:56:15  profilanswer
 

flo850 a écrit :

oui , mais si le cache est sur le FS , tu ne peux pas depasser le debit du FS , et pour ce que je vois de la config, il n'a pas assez de matos pour atteindre de tels debits


Le cache est fait en RAM par ZFS...


---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571629
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 15:58:17  profilanswer
 

nraynaud a écrit :

je suppose que sur 2Go c'est lOS qui le fait plutôt ?


Nraynaud...
 
Tous les tests ont été fait sous Solaris 10, si les perfs ZFS avaient été dues au cache OS les autres FS auraient strictement les mêmes perfs [:mlc]


---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571631
flo850
moi je
Posté le 07-06-2007 à 15:59:13  profilanswer
 

masklinn a écrit :

Le cache est fait en RAM par ZFS...


forcement . A noter qu'intel fournis avec ses cartes mere une fonctions appellée antémémoire en ecriture , qui fonctionne dnas ce sens aussi ( mise en cache des données )
 
mais par contre, c'est un peu risqué dans le cas d'ecriture ( pas trpo dans le cas d'un serveur avec onduleur , mais pour une machine perso: /)

n°1571634
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 16:01:50  profilanswer
 

flo850 a écrit :

mais par contre, c'est un peu risqué dans le cas d'ecriture ( pas trpo dans le cas d'un serveur avec onduleur , mais pour une machine perso: /)


Pas vraiment, les écritures étant atomique ça veut dire que ce que tu écrivais peut ne pas avoir été écrit (du tout), mais d'un autre côté tu ne risques absolument pas d'avoir des données à moitié écrites et un FS potentiellement flingué (qui est le résultat si l'écriture n'est pas atomique) [:spamafote]

 

C'est le même intérêt que dans une DB [:spamafote]

 

Accessoirement, si tu veux la méthode de caching de ZFS c'est un ARC

Message cité 1 fois
Message édité par masklinn le 07-06-2007 à 16:02:35

---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571635
Lam's
Profil: bas.
Posté le 07-06-2007 à 16:02:35  profilanswer
 

masklinn a écrit :

Nraynaud...
 
Tous les tests ont été fait sous Solaris 10, si les perfs ZFS avaient été dues au cache OS les autres FS auraient strictement les mêmes perfs [:mlc]


On a du mal à te faire confiance: je te rappelle que les tests MIT disent que tu es un Raciste. Ca se trouve, tu crois même à la théorie de l'évolution (celle qui dit que nos grands-parents étaient des singes).

n°1571636
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 16:03:27  profilanswer
 

Lam's a écrit :

On a du mal à te faire confiance: je te rappelle que les tests MIT disent que tu es un Raciste.


[:kbchris]

Lam's a écrit :

Ca se trouve, tu crois même à la théorie de l'évolution (celle qui dit que nos grands-parents étaient des singes).


Qui te l'as dit? [:totoz]


---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571638
flo850
moi je
Posté le 07-06-2007 à 16:11:41  profilanswer
 

masklinn a écrit :

Pas vraiment, les écritures étant atomique ça veut dire que ce que tu écrivais peut ne pas avoir été écrit (du tout), mais d'un autre côté tu ne risques absolument pas d'avoir des données à moitié écrites et un FS potentiellement flingué (qui est le résultat si l'écriture n'est pas atomique) [:spamafote]

 

C'est le même intérêt que dans une DB [:spamafote]

 

Accessoirement, si tu veux la méthode de caching de ZFS c'est un ARC


autant l'ecriture atomique ets interessante pour un serveur , autant pour une macine perso , je vois moins l'interet

 

par exmeple , tu install un soft, qui copie une chiée de fichiers

 

ton mac plante coupure EDF

 

tu dois quand meme reprendre l'install. Meme si le fichier qui etait en cours de copie n'est pas  corrompu ( vu que copie atomique ) , ton install est quand meme gauffrée . A moins que ZFS arrive a comprendre ce que tu veux faire et a faire varier sa définition d'atomique a la demande ( un bloc, un fichier, un ensemble de fichier )

Message cité 1 fois
Message édité par flo850 le 07-06-2007 à 16:12:04
n°1571640
flo850
moi je
Posté le 07-06-2007 à 16:13:43  profilanswer
 

et de toute maniere, un cache disque c'est bien , si tu as bcp plus de ram que le volumes de fichiers que tu manipule

 

ca perd tout son interet sur les gros fichiers , ou sur les config limite en ram

 

c'est d'ailleurs pour ca que dans les benchs disques/carte controleur on desactive toujours tous les caches

Message cité 2 fois
Message édité par flo850 le 07-06-2007 à 16:14:03
n°1571644
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 16:19:41  profilanswer
 

flo850 a écrit :

autant l'ecriture atomique ets interessante pour un serveur , autant pour une macine perso , je vois moins l'interet


J'ai jamais dit le contraire, mais j'avoue ne pas comprendre pourquoi tu te focalises là dessus... (et tout ce que tu me montres, c'est que dans le pire des cas l'écriture atomique ne change rien par rapport à une écriture non-atomique [:petrus75])

flo850 a écrit :

et de toute maniere, un cache disque c'est bien , si tu as bcp plus de ram que le volumes de fichiers que tu manipule


Ou s'il y a des fichiers que tu manipules extrèmement fréquement [:petrus75] [:pingouino]

Message cité 2 fois
Message édité par masklinn le 07-06-2007 à 16:20:34

---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571651
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 16:28:59  profilanswer
 

http://www.nintendo.co.jp/ds/ag3j/softmovie/index.html [:atsuko]


---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571657
_darkalt3_
Proctopathe
Posté le 07-06-2007 à 16:37:47  profilanswer
 

masklinn a écrit :

Ou s'il y a des fichiers que tu manipules extrèmement fréquement [:petrus75] [:pingouino]


De vieux souvenirs d'avant/après smartdrive se rappellent à moi [:pingouino]


---------------
Töp of the plöp
n°1571658
masklinn
í dag viðrar vel til loftárása
Posté le 07-06-2007 à 16:39:02  profilanswer
 

_darkalt3_ a écrit :

De vieux souvenirs d'avant/après smartdrive se rappellent à moi [:pingouino]


Q: bons ou mauvais?

Message cité 1 fois
Message édité par masklinn le 07-06-2007 à 16:39:45

---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?
n°1571660
Pablo Escr​obarbe
Retour d'exil
Posté le 07-06-2007 à 16:39:59  profilanswer
 

Je me fais chier on est 6 prestas pour un boulot pour seulement 2.

n°1571661
_darkalt3_
Proctopathe
Posté le 07-06-2007 à 16:40:29  profilanswer
 

masklinn a écrit :

Q: bons ou mauvais?


Plutôt bons une fois que j'eu découvert cet utilitaire magique [:vapeur_cochonne]


---------------
Töp of the plöp
n°1571666
Lam's
Profil: bas.
Posté le 07-06-2007 à 16:45:02  profilanswer
 

flo850 a écrit :

et de toute maniere, un cache disque c'est bien , si tu as bcp plus de ram que le volumes de fichiers que tu manipule
 
ca perd tout son interet sur les gros fichiers , ou sur les config limite en ram  
 
c'est d'ailleurs pour ca que dans les benchs disques/carte controleur on desactive toujours tous les caches


D'ailleurs, <blink>must read : </blink>
  http://varnish.projects.linpro.no/wiki/ArchitectNotes

n°1571681
flo850
moi je
Posté le 07-06-2007 à 16:58:37  profilanswer
 

masklinn a écrit :

J'ai jamais dit le contraire, mais j'avoue ne pas comprendre pourquoi tu te focalises là dessus... (et tout ce que tu me montres, c'est que dans le pire des cas l'écriture atomique ne change rien par rapport à une écriture non-atomique [:petrus75])

 

Ou s'il y a des fichiers que tu manipules extrèmement fréquement [:petrus75] [:pingouino]

 

je me focalise pas dessus, j'essaye de voir les avancées qui sont utiles dans le monde réel :d

 

tres bon lien

 

c'est sur qu'il y a une grosse marge de progression pour gérer ca correctement, mais je me demande si ce serai pas plutot a la charge de l'os et du compilo de faire ça

 

EDIT au secours

Message cité 1 fois
Message édité par flo850 le 07-06-2007 à 16:59:55
mood
Publicité
Posté le   profilanswer
 

 Page :   1  2  3  4  5  ..  11935  11936  11937  ..  26988  26989  26990  26991  26992  26993

Aller à :
Ajouter une réponse
 

Sujets relatifs
Plus de sujets relatifs à : [blabla@olympe] Le topic du modo, dieu de la fibre et du monde


Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)