Reprise du message précédent :
si c'est possible, parce que si t'as un quadratique caché, la migraine guette.

Le pire que j'ai fait dans le même style était le calcul des indemnité des pinpons, avec des règles liées à plein de trucs : je chargeait ça dans des tables temporaires de la cible et j'appliquais des passes successives de requetes massives pour arriver à un résultats que j'inserais.
Je n'avais conservé qu'une petite étape au milieu avec des script pour des cas trop pénibles

Tu as un ETL, ou tu fais tout à la main ?

 
Sur un serveur de test avec plus de ressources que ma machine ça a l'air de tourner, mais c'est très long. Et ce serveur sert aux collègues qui bossent sur le même projet, donc c'est un peu casse-burnes de pas pouvoir bosser totalement en local quand j'ai besoin de faire des tests /du debug...du coup je cherche un peu s'il y aurait pas une idée à laquelle j'aurais pas pensé et qui me simplifierait le boulot...

 
A la main. Il faut que ce traitement de masse puisse être également lancé de manière unitaire à-partir de l'application qui s'appuie sur B, donc je préfère garder le même code histoire de garantir un comportement identique...

Tu progresses en tout cas : https://twitter.com/RexChapman/stat [...] 7828123648

 
Blackfire pour profiler du PHP
T'as des écritures concurrentes sur ta base B pendant ton process d'alimentation ?

 
La recherche apple est vraiment de qualité

 
Regarde ce que tu peux découper, passes en le maxi en requetes./. trigger (c'est vraiment puissant le sql) et script le reste
 
Je te conseille de stocker du café et de l'alcool

Je vais regarder
 

 
J'ai déjà retravaillé le truc pour pouvoir paralléliser, je fais tout ce qui peut être concurrent (et l'alimentation des LUT) dans le process principal avant de lancer le reste en // sur N threads.

Je le ferais soit avec la première option soit en sortant carrément le tout de la bdd et en le réimportant (sur des fichiers à plat parfois c'est bien plus rapide. L'inconvénient c'est aussi que comme c'est libre on peut faire bien plus de conneries).
Le problème c'est la réinjection avec vérification, souvent le travail sur les ensembles pour générer des tables temporaires va beaucoup plus vite.

 
Pour retraiter des données arborescentes à coups de triggers SQL c'est pas du café ou de l'alcool qu'il va me falloir...

 
Si tu veux dire supprimer les données de B et tout réinjecter je peux pas, j'ai des données propres à B qui peuvent être générées dans l'appli qui utilise B avec des clés étrangères vers des données issues de A.

https://www.buzzfeednews.com/articl [...] love-story
 
je pose ça, là, en prévention.

Oui c'est facilement la merde quand c'est en cours d'utilisation et qu'on a des mises-à-jour sur des gros volumes.

Une possibilité de ré-aiguillage des clés étrangères (table pivot je suppose) en laissant séparé ce qui provient de A et de B ?

P'tin
D'un coup y'a du son qui sort de mon PC de taf, bruits de micro qui se déplace, un mec qui se racle la gorge
 
Rien de lancé dans Teams
 
En fait c'est un webinar/live-stream Youtube qui va démarrer à 16h, sur une page que j'ai ouverte à 10h du mat

je ne me lancerais pas la dedans, trop de risque de merdes (rien que s'il y a 1 écriture ou lecture d'un autre process en parallèle, tout pète)
 

la représentation intervallaire des données arborescentes m'a sauvé la vie plusieurs fois

J'aurais flippé

 
Ce serait vraiment un trop gros refactoring de l'appli derrière à première vue, la part des données exploitées qui vient en fait de A est assez énorme...

Oui ce genre de zap il faut une interruption même très courte. Ça peut aussi être une appli se basant sur une vue, et cette vue zape d'une table à l'autre ?
J'y connais pas grand chose en théorie (les noms utilisés etc.), je connais que ce que j'ai fait en pratique mais même si c'était parfois de très grosses tables (plusieurs centaines de millions de lignes sur les plus grosses) c'était aussi une utilisation spécifique avec peu de connexions, ou si beaucoup c'était sur des systèmes séparés ayant une mise à jour avec coupure en pleine nuit par exemple ou des id prédéterminées à l'avance qui se remplissaient avec une taille tampon et des locks pas longs.
 
J'ai le problème ici, je reçois dans mes BDD 25 millions de lignes en mise à jour mensuelle, en annule et remplace, et on a plein d'autres données gravitant autour. Et j'ai fait des systèmes avec des matchcodes pour vérifier ce qui change.
Mais vu comme on l'utilise (on n'est pas beaucoup à se connecter) c'est bien plus facile à mettre en place.

 
J'ai pas franchement le choix de la représentation source...
Et la représentation cible ne pose pas de problème, pour le coup...c'est la bascule de l'une vers l'autre le soucis - on ne garde pas tout ce qu'on avait en entrée, il y a des noeuds et des feuilles qui sautent en fonction de règles métier coté B...

Genre nested sets a coup de left/right?
 
Une version moins chiante à maintenir (mais plus coûteuse) c’est un chemin sinon (1/2/3/4), parce qu’un btree ça match bien par préfixe donc tu peux facilement requester ton arbre à coup de like.

Bordel c'est quoi cette merde :  
https://www.coparentalys.com/
 

Closure tables

miam miam

c'est pas si chiant que ça en vrai si tu as des données qui bougent peu ( typiquement des tables de référentiel) et niveau perfs c'est assez brutal

@gatsu : mais tu t'ennuies tant que ça ? Tout le monde sait qu'une famille c'est avant tout un papa et une maman

https://www.coparentalys.com/profil.php?idp=37792

 
ouais, le genre de trucs pour lesquels j'aime bien avoir un langage un peu plus "haut niveau" que SQL comme base de travail, en fait...
 
(...puis bon je passe sur le souhait de pas se lier à un SGBD en particulier pour B, le besoin de mettre une couche d'abstraction devant la source de données A qui va changer à moyen terme, ...)

Si tu peux faire une partie du travail en RAM, préférablement la partie la plus coûteuse en traitements, tu peux mettre les LUT dans des tables temporaires en RAM ou une approche hybride avec un truc comme REDIS, mais je privilégierais les tables temporaires en RAM.

 
Bah tout mettre en RAM avec des LUT c'est un peu ce que je fais...mais j'atteins facilement les limites de ma machine de dev, et quand ça swappe ça le fait tout de suite moins, d'avoir tout en RAM...et docker pour windows ne semble pas aimer que je tente de lui refiler plus de 8Go de RAM.

 
On devrait à peine commencer à voir les conséquences du confinement.

Sinon essayer de trouver la bière en canette la plus forte du Monoprix était pas exactement le truc que je m'attendais à faire aujourd'hui

 
1) Développe le pourquoi
2) Tu oublies le plus important : le résultat.

Amsterdam Maximator ou une autre bière de clodo j'imagine.

ouais, je suis curieux de savoir

Le manque de pain, il se rattrape sur du pain liquide

 
Je suis pas sûr de ça. Le seul facteur qui devrait être impacté après 2 semaines de vrai confinement, c'est le nombre de cas supplémentaires, mais comme il ne veut plus rien dire en France, puisque lié au nombre de tests et qu'on sait que plein de gens ne sont pas testé et essuient un refus...
 
Chez la plupart des gens, on a les premiers symptômes à J+5, puis une semaine de symptômes souvent très légers, genre un vague état grippal et il faut attendre une bonne semaine de plus pour voir apparaître les vrais symptômes. C'est pas pour autant que le 15 va s'empresser de faire venir ces personnes à l'hosto et la gravité se déclare souvent encore quelques jours à une semaine plus tard. Quant à la mort, elle frappe en bout de course, sauf les personnes vraiment très fragiles qui partent plus tôt. Du coup, je table plus quasi un mois depuis le début du confinement pour voir les vrais premiers effets sur le nombre de réas et surtout sur le nombre de morts... Mais j'espère me tromper et voir un effet plus tôt.

Cet instant de rigueur scientifique lapalissien vous est offert par Hermès.

 
Les SDF de devant le supermarché m'ont demandé, ils sont plutôt cool, ils emmerdent personne et ils galère un poil plus que d'habitude en ce moment.
Y'en a un qui m'a dit cash, il est alcoolique c'est vraiment super dur à vivre en ce moment. Le sevrage alcoolique forcé c'est un peu le truc que tu souhaites à personne.
(ils voulaient des sandwichs, jleur ai pris des sandwichs aussi)
 
Le résultat de la recherche était Amsterdam Navigator à 8°.
C'est un Monoprix qui se boboise à vitesse accélérée, y'a 70 références d'IPA de hipster mes couilles mais une référence de bière de clodo

Bravo à DDT qui était pas loin
On voit les connaisseurs

 
Je reconnais qu'elle est pas mal celle là.