Reprise du message précédent :

Pas encore

Les premières charrettes ont déjà commencé
 
 

La boîte a à peine dix ans, il faut le temps de se retourner  

 
Ils étaient dans les starting blocks depuis des semaines    
Tous les courriers étaient déjà prêts avec date d'effet conditionnelle.
 

WTF

Je benchmarke plusieurs JVM sur un job Spark (pas le plus gros qu'on a, mais assez compute-heavy)

Temps total (GC) en vCPU-heures:

Java 8 / HotSpot: 83.9 (6.7)
Java 17 / HotSpot: 61.3 (4.3)
Java 17 / GraalVM: 44.8 (4.3)

Avec 20% de mémoire en moins pour les exécuteurs

Welcome to 2019

Intéressant et ça confirme une intuition que je traîne depuis un moment. On est chez Databricks et donc sur des JVM 8 mais les chiffres donnent envie.
Vous tournez onprem ? Tu bench pour la lulz ou il y a une vraie volonté à migrer ?

On se traine Hadoop 2.7 et notre migration vers Ceph/S3 a un an de retard alors voilà...
C'est bien de vérifier les chiffres avancés par Oracle sur des vrais jobs.

La runtime proprio de Databricks c'est pas Java 17 pour les versions récentes? Et de toute façon avec Photon, donc tu t'en fous un peu non?

Notre cluster est on-prem. Dès qu'on a plus besoin de dépendances HDFS je vais migrer vers Java 17 (voire 21 si Spark 4.0 est sorti d'ici là), et vu que la distribution proprio de GraalVM est devenu gratuite, on va pas se priver.

Non, sur la 13.3 LTS c'est toujours du 8 https://docs.databricks.com/en/rele [...] nvironment
Et Photon on l'active pas sur tous les clusters, ça coûte un poil plus cher   Le gain est pas toujours prédictible ce qui nous imposerait de bencher pour chaque app.

Marrant je savais pas que Photon était facturé séparément et qu'ils trainaient encore des vieilles JVM par défaut pour leur runtime Spark 3.4/3.5.

https://forum.hardware.fr/forum2.ph [...] =0#t418911
 
Putain où j’ai encore été poster moi ?  

C'est vrai que j'ai vu ton message ici mais j'avais pas vraiment de réponse, tout ce qui me vient à l'esprit c'est self de choc (choke en anglois) mais même pas sûr que ce soit ça
ici ça nous arrive de taper directement à la porte d'un myrra avec nos specs quand un a besoin d'un truc de ce genre et on fait faire des bobines custom
edit : je regarderais nos specs si y'a des indices à tout hasard

Putain il est exceptionnel, c'est une RTA avec les gerbers de 3 cartes électroniques et quelques binaires en cherchant bien
les bluechecks en pâmoison

Ah mais je connaissais pas cette section, moi !
Si j'avais su, je crois que j'aurais demandé un peu d'aide pour réparer l'ampli de mon enceinte Focal plutôt que de le renvoyer chez Focal (il n'est plus sous garantie). Le truc est sensiblement plus sophistiqué que ce que j'avais imaginé, alors j'ai pas trop cherché à comprendre. Mais si j'avais su qu'il y a des électroniciens ici, je crois que j'aurais au moins passé quelques heures à chercher.

Si ça t'intéresse https://www.youtube.com/watch?v=IWzwAmjaqtw
https://www.youtube.com/watch?v=De4QjH9fpgo
Tu as raison, cette amende de 4,3 milliards pourrais bien signer l'arrêt de mort de Binance.
(Reste que toutes ces conneries sont une des raisons pourquoi j'ai pas mal d'argent investi en bourse mais que je n'ai jamais mis un sou en crypto.)

Jubijub, sur Youtube, les chaînes ne sont pas obligées de dire quand elles sont sponsorisées ?
Je crois que je viens de tomber sur la chaîne la plus fake (et  la plus cringe) de Youtube.
Ce sont les memes sur ce type qui avait fait la promotion de Sam Bankman-Fried et CZ qui ont éveillé ma curiosité.
D'ailleurs, le nombre d'abonnés me semble disproportionné par rapport aux nombres de vues.

putain je suis tombé sur une poste de HugoDecrypte qui parlait de Frenchie Shore.
Je viens de voir le truc, en fait après raclé le fond de la cuvette de chiotte on est aller encore plus bas.

Test la 21 tu vas être content également.

C'est plus une intuition à ce stade, ça fait des années qu'on le sait, tu vas gagner en perf et tu pourras enfin commencer à tweak ton GC pour en avoir d'encore meilleurs

https://endoflife.date/oracle-jdk
 
me extended support des JDK 8 et 11 qui finissent après celui du JDK 17, pas mal

c'est du VLTS

mhhh, l'offre black friday de pcloud me fait de l'oeil, là  
 
500Go à vie pour 139 euros,  
2To pour 279 euros.
 

Et ils ont une nouvelle offre à 10 To

 
Perso, les offres à vie, je n'y crois pas une seconde.

ouais, mais ça serait largement overkill

C'est dommage qu'il n'y ait pas un 3 en 1 avec l'offre famille de Pcloud pass, par contre.

Ah mais merde, le 2TB c'est pas le familly

This

 
pas trop non plus, mais la promo fait passer le prix de la lifetime à moins de 3 ans de souscription annuelle, donc ça relativise fortement l'impact du risque que l'offre s'arrête en cours de route
 

 
Bah le truc, c'est que concernant un backup de données, ce qui compte quand même pas mal au moment de choisir une offre, c'est le niveau de confiance que tu accordes à la solution en question, que ce soit sur le plan technique, privacy etc... ou sur le plan commercial.  
Une offre "à vie" pour un produit qui a coût régulier intrinsèque, ça évoque immédiatement un schéma Ponziesque... Les nouveaux entrants payent pour le fonctionnement des clients existants. Du coup, on est de toutes manières sur une fausse promesse intenable dans la durée et par conséquent sur un mensonge. Adopter une offre qui repose sur un mensonge, bah chez moi c'est niet.

https://ln.hixie.ch/?start=1700627373&count=1  un avis les googlers sur la culture qui fout le camp  

Questions aux fan de cryptographies variées :  
 
Est ce qu'il existe des algo de hash updatable partiellement : j'ai un hash d'un fichier  
je change des bouts du fichier, j'aimerai mettre à jour le hash sans avoir à tout recalculer ?  
 

moi j'ai ça : https://www.backblaze.com/cloud-backup/pricing
et au moins c'est un business modele crédible (et ça marche vraiment bien leur infra, vu que c'est une cible courante de backup dans XO )

C'est vraiment illimitay ? y'a des limites data genre en transfert en par jour ?

Spark 3.5 est pas compatible, mais de toute façon avec GraalVM 17 ou 21 ça devrait pas changer grand chose.

Non, c'est du vrai illimité

C'est du au fait que le fichier dont tu veux le hash est très large et donc ça prends du temps ?
 
Quel algo utilises-tu actuellement ? Tu peux essayer HashXX qui est très rapide (30GB/s dans les bonnes conditions).
 
Sinon si tu tiens vraiment à faire ça alors une solution serait de segmenter ton fichier et calculer le hash que de la sous partie changée, ce qui peut être difficile selon la tronche du fichier.  
 
Tu peux aussi utiliser des heuristiques pour ne pas tout lire, ce que font des projets comme https://github.com/kalafut/imohash (sampling + petits blocs et taille du fichier)
 
Sinon regarder peut être du côté des Merkle Tree qui sont souvent utilisées pour vérifier l'intégrité, peut être ça a été détourné pour stocker des hash de sous segment, bonne question.
 
Enfin je me tournerai plutôt vers une algo rapide dans un premier temps selon la taille des fichiers et la récurrence du calcul ?

Livrée a une autre adresse (dans la même rue)

 
Si tu modifies dans le fichier non, les algos SHA ne savent pas faire non.
Si ce sont des ajouts en fin de fichier, tu peux reprendre oui.

Où sont stockées physiquement les données ?

US West - DC en Californie

c'est le cas 1/
c'est ce qu'il me semblait
 

Techniquement tu peux faire, avec un arbre de Merkle: tu sépares ton fichier en blocs (soit intinsèques soit content-defined genre fastcdc), puis tu hash les hash.
 
Ça veut dire que sur un changement de contenu du recalcules le hash de la fenêtre modifiée et le hash au sommet, au lieu de devoir tout rehashed.
 
Sinon les hash de type merkle-damgard (md5, sha1, sha2) exposent tout l’état interne, c’est pour ça que les attaques par extension sont possibles. Mais ça veut dire que si tu snapshot par block (cf 1er paragraphe) tu peux reprendre ton hachage au premier bloc modifié au lieu de faire tout le fichier. Si le fichier est principalement modifié par extension ça limite le rehachage au dernier bloc. Par contre tu as aussi besoin d’une interface qui permette de recharger un hash, et ça c’est pas le cas de toutes les libs.