Bah ça dépend, vous la faites comment la purge, à la base ?

tu peux pas faire la purge pendant que c'est en ligne ? purger par paquet de 50 000 lignes toutes les minutes pendant la prod ?

http://www.lemonde.fr/web/depeches [...] -52,0.html mais butez les

création d'une table temporaire qui contient toutes les clefs à purger (même système de clefs pour toutes les tables à purger), création d'index sur la table temporaire, puis jointure + delete par tranches de 200'000 lignes (pour pas flinguer la tempdb)
 
Là j'ai modifé la méthode, j'ai ajusté pour sélectionner des paquets d'abord assez petits puis de plus en plus gros, voir ce que ça donne, plutôt qu'un gros tas de qques millions d'un coup qu'on segmente ensuite en tranches de 200000 lignes.
 
Résultats dans ? heures.

Question barbu, j'ai un chemin vers un repertoire réseau dans un shell script qui tourne sur cygwin, en ligne de commande j'y accède comme ça:
 
\\\\host/rep/sousrep/
 
Maintenant j'aimerai avoir la même chose dans le script mais apparemment j'ai pas bien compris comment échapper le \
 

http://www.opengroup.org/onlinepub [...] hap02.html
 
donc
VAR="'\''\''\''\'host/rep/sousrep"
 
mais non

 
création d'une table temporaire qui contient toutes les clefs à purger (même système de clefs pour toutes les tables à purger), création d'index sur la table temporaire, puis jointure + delete par tranches de 200'000 lignes (pour pas flinguer la tempdb)
 
Là j'ai modifé la méthode, j'ai ajusté pour sélectionner des paquets d'abord assez petits puis de plus en plus gros, voir ce que ça donne, plutôt qu'un gros tas de qques millions d'un coup qu'on segmente ensuite en tranches de 200000 lignes.
 
Résultats dans ? heures.
 

 
On va peut-être devoir faire comme ça. Enfin c'est quand même pas une méthode où on reste serein vu la charge constante de la base (enfin, surtout ces tables là), mais si on n'a pas le choix...

 
Et vous avez profilé ce bouzin ? Même de façon très primitive : qu'est-ce qui prend le plus de temps ?

Ouais stait ce que je disais toutaleure, le TCP/IP était pas activé

ahah lol
vous savez d'ou venait le souci du constructeur de copie qui copiait rien du tout ? ben attention les yeux : le programme "g++" du linux du client était en fait un lien symbolique qui pointait vers une version 2.7.2.2 de 1997
et bien sur, l'admin système du client avait bien fait la mise à jour vers un GCC récent (4.2) mais ce con avait omis de modifier le lien
(en même temps, ils utilisent jamais GCC mais bon...)

euh, dites, j'ai un truc bizarre là, en C++
j...
c'est quoi ce bordel ? (compilo : gcc 4.2)

ahah lol
vous savez d'ou venait le souci du constructeur de copie qui copiait rien du tout ? ben attention les yeux : le programme "g++" du linux du client était en fait un lien symbolique qui pointait vers une version 2.7.2.2 de 1997
et bien sur, l'admin système du client avait bien fait la mise à jour vers un GCC récent (4.2) mais ce con avait omis de modifier le lien
(en même temps, ils utilisent jamais GCC mais bon...)

 
 
...
 
--version c'est trop complique pr toi ?
 

le client me dit qu'il est en gcc 4.2, moi je le crois hein, je peux supposer qu'il connait bien le boulot pour lequel il est payé

ahah lol
vous savez d'ou venait le souci du constructeur de copie qui copiait rien du tout ? ben attention les yeux : le programme "g++" du linux du client était en fait un lien symbolique qui pointait vers une version 2.7.2.2 de 1997
et bien sur, l'admin système du client avait bien fait la mise à jour vers un GCC récent (4.2) mais ce con avait omis de modifier le lien
(en même temps, ils utilisent jamais GCC mais bon...)

elles viennent d'où vos données à purger ? c'est pas par une colonne 'date' ?

c'est justement comme ça que je m'en suis aperçu étron
le client me dit qu'il est en gcc 4.2, moi je le crois hein, je peux supposer qu'il connait bien le boulot pour lequel il est payé

 
Si, il y a une date dans l'histoire, pourquoi ?

lol
T'es nouveau dans l'info, toi ?

function $cluster_by(arr,fun) {
    function dict(arr) {
        var d = {}
          arr.each(function(item) {
            if(!d[item[0]])
                d[item[0]] = [item[1]];
            else
                d[item[0]].push(item[1]);
        });
        return d;
    }
 
  var transformed = Array.map(arr,fun);
  var zipped = $zip(transformed,arr);
  return $H(dict(zipped)).values();
}

 
It's a win    
 
Edit : J'pense que le setdefault est à revoir
Edit2 : J'ai volontairement inversé l'ordre des params, dédicasse à mirror

sinon, y'a une bonne raison pour qu'en 97 les barbus ne sachent toujours pas compiler une norme de 1990 ?

ahah lol
vous savez d'ou venait le souci du constructeur de copie qui copiait rien du tout ? ben attention les yeux : le programme "g++" du linux du client était en fait un lien symbolique qui pointait vers une version 2.7.2.2 de 1997
et bien sur, l'admin système du client avait bien fait la mise à jour vers un GCC récent (4.2) mais ce con avait omis de modifier le lien
(en même temps, ils utilisent jamais GCC mais bon...)

--version c'est trop complique pr toi ?

pourquoi vous copiez les ID dans une table intermédiaire ?

sinon, y'a une bonne raison pour qu'en 97 les barbus ne sachent toujours pas compiler une norme de 1990 ?

si ta fonction classante retourne des false, undefined ou 0 ton test if(!d[item[0]]) va merder

 
Euh,  
VAR="\\\\host/rep/sousrep"

 
En gros, on a n tables à purger, mais qui sont en fait des "sous-domaines" à des tables de référence X et Y, donc avec des clefs externes.
Donc, plutôt que de faire n jointures sur les tables X, Y et table-à-purger, pour choper le bon périmètre à effacer, on le fait 1 seule fois dans une table temporaire, on l'indexe, et on l'utilise ensuite n fois pour purger nos n tables.

encore une fois, j'ai bien assez de taf pour en plus vérifier celui des autres

sinon, y'a une bonne raison pour qu'en 97 les barbus ne sachent toujours pas compiler une norme de 1990 ?

Juste par curiosité, que faisait Visual C++ à l'époque ?
Je me rappelle avoir eu il y a pas si longtemps que ça (en 2004 je crois) des gros problèmes avec VC++ qui n'implémentait pas tous les conteneurs de la STL

Juste par curiosité, que faisait Visual C++ à l'époque ?
Je me rappelle avoir eu il y a pas si longtemps que ça (en 2004 je crois) des gros problèmes avec VC++ qui n'implémentait pas tous les conteneurs de la STL

 
stadire que VC++ 6 avait de bien plus gros soucis que ça, alors si yavait le pb il passait surement inaperçu.

à l'époque c'était VC++4, et quand tu vois la gueule du 6, tu imagines le pire
y'a vraiment qu'à partir du 7 qu'il a vraiment  commencé à être utilisable

c'est justement comme ça que je m'en suis aperçu étron
le client me dit qu'il est en gcc 4.2, moi je le crois hein, je peux supposer qu'il connait bien le boulot pour lequel il est payé

nan, mais je fais un minimum confiance quand même, surtout quand j'envoie au client une liste des points à vérifier avant intervention (dont notamment la version de gcc) et qu'il me valide tous les points
encore une fois, j'ai bien assez de taf pour en plus vérifier celui des autres