Reprise du message précédent :

 
Ha oui quand meme !

C'est pas une mauvaise idée tient !

19G de moteur de recherche, 36G au total

Je sais plus, disons qu'il y a quelques mois, avant de m'y mettre, je cherchais une alternative à phpMéMé et j'avais lu des trucs plutot sympa sur ton forum.
Mais bon, c'est aussi un des plus chers, alors je me suis développé le mien de mes mimines.

C'est marrant que le moteur de recherche prenne plus de place que les autres données alors que le moteur contient justement ces données

faut pas oublier les indexs

Les autres données ont aussi des indexs  

Bah c'est carrément logique dit comme ça

tu as une partie qui contient messages, sujets, membres, flags etc
une partie qui contient la recherche des messages
 
C'est pas forcément logique
 
edit: effectivement je voulais dire le moteur de recherche ne contient qu'une partie de ces données

Je doit être bête, c'est quoi les données mis de coté pour le moteur de recherche, je pige pas ?

Rien que les flags, chez moi ca prends bcp de place.

Tu les stockes comment ?

Moi je dis qu'il a une sorte de thésaurus, ou chaque mot est rattaché à plein de topics/messages

c'est ce que je fais actuellement.

Ben c'est le principe de l'indexation
quand vous mettez un index sur une colone c'est ce qui se passe
 

Euh merci. Mais c'est pas la meme chose que de mettre un index sur une colonne. Encore moins un index fulltext. C'est un peu plus compliqué que ca.

Page générée en 38.365 secondes sur le moteur de recherche avec 'salut' comme recherche
 
c'est chiant à faire les moteurs de recherche quand meme

Utilise le moteur de google pour la recherche...

 
Ca mets 28ms chez moi. Par contre, y'a 15 000 msg    

Recherche de salut dans les messages sur 15000 messages :  
 
Page générée en 0.049 secondes
 
C'est plus lent
 
Bon c'est un cpu a 300Mhz aussi

j'en suis qu'à la premiere ebauche du moteur . C'est tres porc. Ca devrait etre vite mieux.

Pour l'instant, c'est docmaboul qui a le forum le plus rapide je présume non ?

tout est relatif. faudrait tester son forum avec les memes options, des millions de messages comme sur hfr des milliers  de connéctés et avec la meme config serveur ...

d'un coté, c'est le seul forum a sortir du <1ms pour la page d'acceuil

Joce, tu te sens de demander à M.arc & Sly de laisser bencher les forums des polios de HFR sur leurs serveurs

Oui, cependant, ce n'est pas les mêmes technologies utilisées ici... car il utilise des mises en cache sur disque dur, donc lorsque tu consultes une page, tu ne fais que lire un fichier, il n'y a plus de requête.
 
Les inconvénients de son système : adieu la personnalisation des couleurs, and co.
La mise en cache implique une même présentation pour tout le monde, et / ou si c'est simplement l'information qui est stockée, alors il y aura requête pour récupérer les paramètres personnels du membre connecté -> requêtes -> augmentation du temps de génération et de la charge serveur
 
A+

Tout n'est pas nécessairement en cache hein, d'ailleurs il indique le nombre de hits/miss
 
C'est juste qu'il n'y a quasiment jamais de miss
 
Non parce que je doute que md.net n'ait pas un système de cache quelque part

Je n'ai pas trop suivi son explication, c'est un peu "trop" technique et compliqué pour moi ...

On doit pouvoir le faire en php ça Genre en utilisant une API dédié cache, comme Turk MMCache eAccelerator, il y pas mal de fonctions sympa sur cette api, et elle est opensource en plus

Nan, ya la bêta 2 du forum de The Real Smiley...

et encore, c'est apache qui doit rallentir la page

Il mettait pas les pages en cache mais les données

c'est mauvais  

ah, quand même

n'empêche que ça pête: http://docmaboul.dyndns.org/tests/ [...] /stats.htm

Mais bon là j'imagine que j'ai tapé dans un cas super défavorable où le mot est vachement présent mais bon sur des requetes plus habituelles le moteur de recherche des forums md s'en sort très bien

Bonjour,
Je prévois de dévlopper un forum, mais je me heurte à quelques problèmes.
 
Pour faire face à de gros volumes de données, genre 20 millions de posts sur un forum, il faudrait peut-etre que je sépare certaines donées? Par exemple, chaque table sera
post_$cat
reponses_$cat
 
Pensez-vous que c'est nécesssaire?
 
Autre chose: Comment puis-je faire un système de drapeaux comme phpbb ou mesdiscusions?
Merci

pour les flags, on en a déjà pas mal débattu dans le topic, fais une petitre recherche intra-topic et tu devrais trouver de bonnes infos

et si tu as 20millions de posts par cat tu fais quoi?

Je pensais faire ce genre de découpage des tables, mais si tu obtient pas mal de posts dans un nombre conséquent de catégorie, il risque de te falloir beaucoups de RAM pour stocker tout les index...

que ce soit une grosse table ou plusieures petites, le volume d'index aura la meme taille. Je pense meme que plusieurs petits est plus efficace lorsque ca devient vraiment tres gros.