Reprise du message précédent :
Ok c'est plus clair pour moi.

La bonne représentation c'est sans doute la plus compacte possible. J'ai proposé une image (enfin 10, du coup : dans chaque pixel tu stockerais deux valeurs de l'histogramme local) parce que ça se prête bien à l'organisation de tes données, et tu as toutes les primitives que tu veux, mais un array ça marche aussi.

Un point que j'ai pas encore compris : les difficultés que tu rencontres, c'est quand tu construis ton intégrale, ou quand tu lis ?

Oh, je suppose que c'est la lecture le problème alors. Ouais c'est chaud des accès random sur une aussi grosse structure.

L'image que tu reconstruis elle recouvre combien de tuiles de l'image initiale, typiquement ? Une tuile d'histogrammes ça tient dans 600ko (en comptant la rangée de valeurs cumulée). Tu peux en caser quelques milliers en mémoire sans problème.

un peu partout, disons que j'ai essayé une petite dizaine de techniques donc j'ai pas un "pb précis", on est pas en train de chercher une faute de frappe.
y'a eu des moments où je consommais trop de mémoire, des moments où je cyclais trop le CPU, des moments où tout le temps était perdu dans le GC pour des raisons pas très claires (il est générationel le merdier ?)
 

on commence à s'approcher très près du soleil, je vais te répondre par MP si tu veux.  
 
Mais globalement y'a des jours où on tire groupé sur une tuile et des jours où on papillonne.

Je vais surement dire une connerie mais, tu peux pas préprocesser l'image en tuile d'histo que tu stockes sur le disque?
Il faut que ça soit du temps réel?

edit: quoi que ça ferait beaucoup de data sur le disque..

je suis en train de songer à ça aussi, stocker le cache sur disque. Je réfléchis à comment stocker les histogrammes, encore.

Je prends le truc en route et j'ai probablement rien capté, mais vu le volume ils se répèteraient pas beaucoup tes histogrammes? moyen d'avoir un dictionnaire d'histo et de stocker uniquement des références?

 
Je t’ai dit que non
 
Et il est pas tunable, entre autres sur les minheap / maxheap.  
 
Si t’as de la marge ram essaie de mettre un ballast (cherche « golang ballast » je te laisse découvrir cette beauté ), quitte à diminuer la taille de ton working set.  
 
Une alternative c’est de désactiver le GC pendant que tu churn, et de le remettre entre les work items.

zéro %  de chance qu'ils se répètent beaucoup, vu qu'ils sont sous forme intégrale, ils augmentent de manière monotone.

après il peut y avoir des manières un peu différentielles de les représenter, j'ai une idée en tête, mais elle est tellement compliquée que je sais pas la décrire et j'hésite à me lancer dans un truc aussi casse-gueule (mais en gros chaque point n'a qu'une couleur donc il ne peut toucher qu'une colonne de l'histogramme).

edit: non en fait c'est une connerie

L'histogramme par nature c'est une représentation gourmande en mémoire. La représentation optimale c'est l'image originale (modulo la compression).

Notes qu'en dehors du throughput limité du GC, l'escape analysis de Go est pas super avancée, grosso merdo si tu prends un pointeur et que le pointeur sort de la scope de la fonction (que ce soit par une closure ou par paramètre à une sous-fonction) tu vas avoir un sortie (et une allocation), sauf si inlining mais lui aussi est assez limité (IIRC suffit d'avoir une boucle et t'es zob).

Tu peux demander au compilo de dumper les résultats de l'analyse d'échappatoire, et le profiler fourni fait memprof, dan mon souvenir.

y'a peut-être aussi des conneries de ma part, genre je génère des copies implicites par ignorance.

Sinon passe sur un autre langage

c'est pas impossible, je réfléchis. C'est toujours pareil, on sait pas à l'avance ce qui va apporter un gros gain d'un coup.

C'est plus ou moins ce dont je parle, et normalement t'as des outils pour regarder là dedans.

T'es limité sur les caractéristiques hardware de la machine de prod cible ?
Car on fait des machines avec *bcp* de ram

Je sais pas, le déploiement est pas encore prévu.

Perso, je ne comprends pas (à quoi sert) le concept d'histogramme par pixel. Mais j'imagine qu'expliquer cela risque de dévoiler un peu trop le domaine du client.
Enfin bref, en "bon" élève étudiant en physique, pour moi un pixel a une couleur du spectre, qui peut être représentée par un mélange de couleurs primaires. Et un histogramme, ça serait plutôt lié à un ensemble de plusieurs pixels, par exemple une tuile.
Ou alors... la couleur du pixel est un mélange des 10-20 couleurs de la palette, et l'histogramme représente les composantes de la palette. Dans ce cas, on peut aussi décomposer chacune des couleurs de la palette en RGB, et (moyennant une décomposition linéaire) les remplacer pour chaque pixel par RGB et ne stocker que cela.
Mais bon, j'imagine que je m'égare et que ça n'a rien à voir.

imagines que tu veuilles down-sampler une vignette de BD.

OK, voici ce que j'ai compris en relisant ceci:

Tu veux calculer une image intégrale par couleur de la palette, pour savoir rapidement, au moment où tu as besoin de downsampler, laquelle est majoritaire sur un rectangle choisi au hasard donné. Le problème, c'est que le rectangle peut être de n'importe quelle taille, couvrant soit quelques tuiles adjacentes, soit potentiellement des milliers de tuiles. C'est ça, ou j'ai toujours rien compris ?

Tu as Parfaitement compris. Et si t’as compris le step suivant dans la logique, je t’invite à ne pas l’écrire ici, parce que mon client est un poil parano.

OK. Bon, alors je vais juste donner un début de solution. Et j'effacerai ce que j'ai écrit si tu me dis que j'en ai trop dit.

Il te faut probablement deux algos différents à deux échelles différentes: un pour les petites échelles et un autre statistique pour les grandes échelles. Tu ne précalcules et ne stockes des données que pour cette dernière éventualité. Ca devrait résoudre le problème.

quand j'écris une fonction CreateStructure, est-ce que la structure est placée directement au bon endroit sur le tas, ou est-ce qu'elle va être copiée au return ? est-ce que ça veut dire qu'il vaut mieux que je joue avec des pointeurs partout ?

Si tu renvoies par valeur c'est toujours copié (donc la taille de la structure est importante, si c'est une grosse structure tu risques de te retrouver avec une copie massive, je suis à peu près certain que gc fait pas de RVO).

Si tu renvoies par pointeur, et que tu construis ta structure localement, elle semble être construite directement sur le tas.

De toute façon y a une couille quelque soit le mode. Sur la pile, tu vas pas éviter une copie, et sur le tas, c'est le GC qui va faire chier. T'es obligé de mesurer pour savoir ce qui est le moins pénalisant. Sinon, il faut un langage avec une gestion plus fine de la mémoire. Mais dans un premier temps, je tenterais déjà de mettre au point un proto en Go avant d'envisager un changement de langage vers qq chose de plus compliqué.

Si je veux initialiser les valeurs dans un slice de structures(comme un constructeur C++) je dois écrire une fonction Init() qui prend un pointeur en paramètre pour éviter toute copie inutile?

Je pense, par contre ça veut dire que la slice doit être pré-allouée pour pouvoir modifier l'élément "en place".
 
Et naturellement ça a surtout du sens si tes éléments sont assez gros mais ne sont pas déjà derrière des pointeurs.

'tain j'en sais rien ce qui est gros ou petit pour ce GC

Là la question c'est plus "qu'est-ce qui est suffisamment gros pour que la copie coûte plus cher que l'alloc" non? Ça je pense qu'il faut le bencher, mais derrière t'as le cout bloquant de l'alloc + derrière le GC churn (là encore ça peut valoir le coup de mettre un ballast pour que le GC se calme un peu, si ton truc a tendance à être à cheval sur deux tailles de tas).

Putain ce que la fibre me manque déjà...

Même pas à cause du débit... Mais pour la stabilité.

Je ne compte plus le nombre de fois où le débit se casse la gueule d'un coup, ou carrément des coupures internet de quelques secondes / minutes.

J’ai passé la journée entière sur les perfs, dans le profiler, ce soir je suis 2 fois plus lent qu’hier soir
 
Je me demande si je fais un AVC, à aucun moment dans la journée une expérience a fonctionné, m’a fait comprendre un truc ou n’a été significativement reproductible.

Il y a des journées comme ça, où tout ce que tu fais t'as l'impression que c'est de la merde, que tu fais pire qu'avant, etc.
Ca arrive
 
Là je pense que t'as la tête dans le guidon.

Effet tunnel classique. Toutefois, ces échecs t'aideront probablement plus ou moins par la suite pour trouver la bonne solution (ou une bonne). Moi, le nb de fois où ça m'est arrivé la nuit d'avoir subitement une fulgurance intellectuelle et trouver la réponse à un pb sur lequel j'avais galéré toute la journée voire les journées précédentes. Des fois aussi ce qui m'a été bénéfique, c'est de laisser le pb en pause quelques jours histoire de sortir justement de cette tunnellisation intellectuelle et d'y revenir. Dans l'intervalle, sans vraiment y penser, ça m'a permis de trouver une approche différente.
 
Au fait, j'ai retrouvé le lien sur la représentation intervallaire à laquelle je pensais (au cas où tu n'aurais pas trouvé par toi-même) : https://sqlpro.developpez.com/cours/arborescence/
 
Edit : en parlant de tunnellisation intellectuelle, un bel exemple qui a malheureusement abouti à un crash d'hélico de sauvetage : https://www.youtube.com/watch?v=BATg4jm7fiw
Je trouve très intéressant sa conclusion sur la façon d'exprimer une remarque ou un désaccord de manière constructive et surtout permettant de sortir de cet effet tunnel pour la personne qui est dedans.

Petite autosatisfaction du jour : j'ai fait un semi-marathon ce matin
En 2h16

 
Tu l'as couru en exactement 1 ___alt.

bien    

c'est une unité de vitesse, de distance ou de temps ?

 
C'est un indice de performance en semi-marathon.  
Le record du monde est autour de 0,419 ___alt.

Pour le stress Nico tu devrais prendre quelques doses d'argenticum nitricum en 9 CH, (12 si vraiment tu veux des résultats rapides). Je suis sûr qu'après ça ces histoires de mémoire à libérer et de tuiles à calculer ça viendra tout seul.

Wow bien joué

Mais t'avais pas (re?)pris la course genre il y a un an ?

Youhou ! Ça va les articulations pas trop dur ?

 
Gg
Tu continues ton régime ?

J'ao eu une période course au printemps dernier, une mais l'été, repris au confinement en octobre jusqu'à Noël.
Mais j'avais jamais fait plus de 10 bornes dans ces périodes.

La depuis début mars je suis a 3 séances par semaine , entre 9 et 13 bornes a chaque fois.

Et donc ce matin, je voulais voir si je tenais plus longtemps.

Cardio ça va. Mais j'avais bien les jambes molles a la fin!