Reprise du message précédent :

 
Ah mais je sais bien, c'est bien pour ca que je te demande d'où tu sors ton topic_id là

En gros :
 
=> récupérer les IDs de tous les topics dans lesquels l'user à posté
=> delete user qui va cascader sur les topic, les posts, la nav
=> faire une boucle sur tous les IDs de topics récupérés pour mettre à jour le champ "pos" de la table nav ...
 
Ça fait beaucoup de requêtes au final non ? D'autant que je ne sais toujours pas comment faire une boucle dans MySQL pour mettre à jour le "pos" de chaque post pour chaque topic ...

Hé ben c'est pas des boucles qu'il faisaient les gens ?
 
Et s'il y a lock, même si tu fais toutes tes requetes via PHP, pourquoi quelqu'un tomberait sur le topic pendant la suppression, puiqu'il est inaccessible ? (s'il est locké en lecture)
 
Mais sinon, tu peux pas te démerder avec une seule requete SQL et des variables, genre "UPDATE posts SET pos=@cpt++" ?
Mais ça a déja été dit, donc je pense me taire

 
Here I come  

 
Avec un index sur (topic_id, id)

Han méssébiensur !

Vous pensez quoi de ça :

CREATE TRIGGER delUser BEFORE DELETE ON user
FOR EACH ROW BEGIN
    DELETE FROM post WHERE user_id = OLD.id ORDER BY topic_id;
END//

CREATE TRIGGER delPost BEFORE DELETE ON post
SET @last_topic_id = 0;
FOR EACH ROW BEGIN
    IF last_topic_id != OLD.topic_id THEN
        CALL updateNav(OLD.topic_id);
        SET last_topic_id = OLD.topic_id
    END IF;
END//

CREATE PROCEDURE updateNav(topicId INT)
BEGIN
    SET @position = 0;
    UPDATE nav SET pos = IF(1, @position:=@position+1, 0)
    WHERE topic_id = topicId
    ORDER BY id;
END//

DELETE FROM user WHERE id = 12

Je vais tenter

CREATE TRIGGER delUser BEFORE DELETE ON user
FOR EACH ROW BEGIN
    DELETE FROM post WHERE user_id = OLD.id ORDER BY topic_id;
END//

CREATE TRIGGER delPost BEFORE DELETE ON post
SET @last_topic_id = 0;
FOR EACH ROW BEGIN
    IF last_topic_id != OLD.topic_id THEN
        CALL updateNav(OLD.topic_id);
        SET last_topic_id = OLD.topic_id
    END IF;
END//

CREATE PROCEDURE updateNav(topicId INT)
BEGIN
    SET @position = 0;
    UPDATE nav SET pos = IF(1, @position:=@position+1, 0)
    WHERE topic_id = topicId
    ORDER BY id;
END//

DELETE FROM user WHERE id = 12

Non mais si tu veux la requete qui réindexe tout faut demander hein

Pour info ça mettait 13 minutes pour indexer 1 200 000 messages sur mon ancien forum quand on a mis en place la numérotation des messages en remplacement du LIMIT

Mais là ça réindexe la totalité des messages non, même si on ne supprime qu'un seul membre non ?

Ah ouais j'avais pas fait gaffe que c'était pour les topics où un user particulier a participé
Je te laisse le soin d'adapter tout ça
 
Sur tes triggers mélange pas les BEFORE et AFTER

Ouaip.
 
Merci pour ton aide

J'ai du mal avec la deuxième partie de mon code, je n'arrive pas créer le trigger comme il faut.

J'ai testé ça :

CREATE TRIGGER `bysboard`.`before_delete_post` BEFORE DELETE ON `bysboard`.`byb_post`
    SET @last_topic_id = 0;
    FOR EACH ROW BEGIN
        UPDATE byb_topic SET posts = posts - 1 WHERE id = OLD.topic_id;
        UPDATE byb_forum SET posts = posts - 1 WHERE id = OLD.forum_id;
        UPDATE byb_category SET posts = posts - 1 WHERE id = OLD.category_id;
        IF @last_topic_id <> OLD.topic_id THEN
            CALL updateNav(OLD.topic_id);
            SET @last_topic_id = OLD.topic_id
        END IF;
    END//

J'ai aussi essayé de remplacer la deuxième ligne par

SET @last_topic_id = 0//

Mais je dois pas avoir compris totalement la création des triggers

Bon a priori un trigger commence obligatoirement par FOR EACH ROW BEGIN
 
SiLe pb est que si je fous mon SET @last_topic_id = 0 dans la boucle, ben elle va être remise à zéro à chaque fois non ?

C'est bon je m'en sors \o/
 
Maintenant je remets tout à plat, et je refais le point sur toutes les procedures, les triggers et les fonctions

Et tu partages
Ah oui au fait mon code est en GPL  

Y ressemble à quoi ton forum ? Il n'est pas listé au début du topic si j'ai bien lu

Encore faudrait-il que je m'en sorte

Lien en signature

Edit : et si, je suis dans la liste, le dernier

Fake

Je parlais de celui de Ratibus, le tien j'ai déjà regardé, ça avance vite
Le lien dans sa sign ne montre pas de forum et il n'est pas listé visiblement...

J'ai apporté ma touche perso pour booster les perfs de celui-ci : http://www.mountyhall.com/Forum/default.php
C'est pour un RPG online.
J'ai apporté les amélio pour ce champ position et aussi pour refondre la recherche complètement : ça marche avec Sphinx là

 
"je m'en sors" = "je suis en train de m'en sortir"
 
sinon j'aurais dis "je m'en suis sorti" ²³
 

 
Au temps pour moi

C'est rapide . C'était l'enfer avant ?
Sphinx ça a l'air vraiment sympa, mais faut avoir son propre serveur pour l'installer.

EDIT : tiens, on ne peut pas aller + loin que 999 pages avec la case pour lister les topics et on sent le LIMIT+ORDER derrière vu le tps de génération qui grimpe . C'est un peu + chiant de le faire pour les topics, avec les sticky & co.

Pour les topics oui c'est avec des limit de mémoire

J'ai le RPS qui rame à mort ... comment je peux faire pour savoir ce qui le fait ramer comme ça?

edit: c'est passé mais ça peut tjs servir ^^

Bon, concernant ma tentative de cet après midi, de mass delete du user "invité" qui avait donc + de 17000 posts et que j'ai killé au bout de 20 minutes ( )

Je viens de relancer un massDel avec ma nouvelle méthode.

Verdict : 1 minute et 6 secondes, pour supprimer 17000 posts et réordonné les topics concernés, c'est mieux

Bon alors par contre désolé, mais ça a viré les posts de tout le monde (sauf les miens, n'étant pas un invité )

Au final, je trouve ça pas mal du tout \o/

Edit : J'en aurai chié en tout cas Je vais me coucher; 'nuit

 
Te reste plus qu'à laisser tourner ton botàflood toute la nuit pour faire 10 millions de messages, et de réessayer

Je suis mort, je vais me coucher, et puis tant qu'à faire j'attendrai de mettre en ligne la dernière version qui apporte son lot d'optimisation.
 
Ensuite il faudra que je me demerde à faire un petit script shell qui va flooder en topic, et flooder les topics créés avec un flood de post, et avec des user_id different, pour tester en situation reelle.

 

 
 
 
Ouaip pas étonnant, je suis en train de tout chambouler dans la gestion des permissions/users/triggers/procedures etc. Ça va cartonner
 
 
 
Pas de pb ^^

Bon, j'ai ENTIÈREMENT redéveloppé mes triggers et procedures, ça m'aura pris deux jours à tout réécrire.

J'ai aussi écrit une procédure stockée pour remplir ma DB. Sur le "petit" test suivant :

> 2 catégories
> contenant chacune 2 forums
> contenant chacun 2 topics
> contenant chacun 100 posts
> écris par 10 users différent aléatoirement

(Donc 800 posts)

Le mass delete d'un user prend 0.2 secondes

Je suis en train de remplir la DB avec plus de topics & posts, mais c'est long ^^

Je vous tiendrai au courant.

Edit : Le mass delete comprend :
- La suppression de tous les topics & posts de l'user
- La mise à jour de la table de navigation pour les topics non supprimés dont des posts ont été supprimés
- La mise à jour des compteurs de posts pour les tables topic, forum & category, et le compteur de topic pour les table forum & category
- La suppression des droits de l'user
- La suppression des posts dans la table de navigation
- La suppression du user dans la table des user_group
- La mise à jour du compteur de membre/groupe dans la table des groupes

heu, la suppression de ses topics, ce n'est pas vraiment une bonne idée, t'imagine par exemple s'il est l'auteur de ce topic ou bien de blabla@prog? de tres gros topics supprimé ...

Pourquoi tu te focalises sur le mass-delete? Ca arrive tous les combien? Et quand bien même ça devrait arriver:
 
1) soit le gars s'est juste inscrit pour foutre la merde, et dans ce cas il se fera vite repérer, donc il y aura à peine 100 posts à effacer.
 
2) soit c'est un "ancien" qui est parti en couille un jour en se prenant la tête avec qqn d'autre. Il aura plusieurs milliers de message, certains surement très utiles, tu auras juste les 100-200 derniers de ses messages à effacer, là où il a commencé à déraper.
 
A mon avis tu cherches à optimiser un truc qui n'a pas lieu d'être. Tu pourrais plutôt bosser sur l'anti-spam ou le répérage des bots, là y'a du boulot et c'est eux qui te feront perdre le plus de temps.

1> Exact pour le delete d'un topic, je vais modifier pour que ça affecte le topic à un profil special.

2> Je ne me "focalise" pas sur le mass delete, mais c'est le point le plus "lourd" du forum. Si j'arrive avoir un truc ultra rapide en deletant un user, qui va laisser des trous de gruyères partout, alors le delete d'un post unique, ou d'un topic sera largement plus rapide.

En m'étant focalisé sur le plus complexe ça m'a permis de largement optimiser les requêtes moins complexes.

L'insertion des nouvelles datas est finie :
- 2 catégories
- 3 forums / catégorie
- 3 sujets / forum
- 10000 posts / sujet

Soit 180 000 posts au total.

Temps de remplissage : 39 minutes (soit ~80 posts / seconde)

Tps d'exécution

> Delete d'un post : 0.0 seconde en fin de topic, 0.38 secondes en début de topic
> Delete d'un topic (10000 posts) : 1.2 secondes
> Delete d'un forum : 0.9 secondes
> Delete d'une catégorie : 7.9 secondes
> Delete d'un user : 4.3 secondes
> Insertion d'un post : 0.03 seconde
> Creation d'un topic : 0.02 seconde

Bon pour le reste ça affiche 0.00 seconde

Donc au final ça me convient, je n'ai aucun temps trop important à mes yeux, et j'ai des compteurs de posts/topics/forums/membres toujours à jour, ainsi que la table de navigation qui permet donc un affichage super rapide même au fin fond des gros topics.

Je vais pouvoir avancer sur autre chose maintenant

Ta vitesse de remplissage est naze
Si t'y vas à coup d'INSERT unitaire t'es pas arrivé
INSERT en bulk ou alors LOAD DATA pour les meilleures perfs en insertion

Je sais,c'est juste une boucle WHILE en SQL qui me créé les users, les topics etc...
 
Mais c'est pas évident de remplir la BDD différemment pour avoir quelque chose d'homogène. (à savoir, des posts écris par une dizaine d'user aléatoirement, dans des topics aléatoires...)

t'as combien de messages dans ton forum pour tes test de vitesse?

c'est plus le cas sur la 2007.2

ca coute presque rien ce genre de mise à jour

ben j'ai testé, ca prend quelques secondes, et ca seulement pour un seul mesage, puis faut recommencer pour chaque post supprimé