Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1307 connectés 

  FORUM HardWare.fr
  Programmation
  SQL/NoSQL

  [MySQL] Diviser une table en +eurs [dérive en MySQL général !]

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

[MySQL] Diviser une table en +eurs [dérive en MySQL général !]

n°172991
Poulou
Posté le 08-07-2002 à 16:43:38  profilanswer
 

Je travaille sur des tables MySQL de plusieurs Go où il leur arrive souvent d'avoir des pbs (index corrompues,etc.). Une solution éventuelle serait de séparer les tables en plusieurs petites avec une séparation par contrainte de temps (par jour, semaine, mois, etc.) ou de taille (100Mo,500Mo...). Précision : ce n'est pas un entrepôt de données mais des tables avec l'enregistrements de plusieurs lignes/secondes donc cette séparation se ferait en temps réelle.
D'où ma question : est-ce possible, automatisable ? Si oui comment ?  
Merci pour toute précision et expérience personnelle !


Message édité par Poulou le 15-07-2002 à 09:07:59
mood
Publicité
Posté le 08-07-2002 à 16:43:38  profilanswer
 

n°173100
bobdupont
Posté le 08-07-2002 à 18:23:11  profilanswer
 

ben ça dépend quelles données tu exploite dans ces tables, si ce ne sont que les plus récentes, tu peux déplacer les anciennes données.
 
C'est automatisable en utilisant cron (ou le planificateur windows).

n°173113
Poulou
Posté le 08-07-2002 à 18:41:26  profilanswer
 

Le pb c'est que c'est des données qui sont éventuellement exploitables donc pas possible de faire un backup et de les déplacer pour plus s'en servir. Par contre comment créer des "anciennes données" comme tu dis ? (précision, quoique je pense que c pareil sous Windows, mais je suis sous Linux). Je sais que le format de tables InnoDB permet de créer plusieurs fichiers automatiquement lorsqu'il atteint la limite du système de fichier. J'aimerai donc faire un truc dans le genre mais en choississant mes propres tailles de fichiers... Possible ?

n°173821
joce
Architecte / Développeur principal
"BugHunter"
Posté le 09-07-2002 à 17:02:47  profilanswer
 

je trouve ca anormale que tu es des index corrompus comment tu te demerdes ?

n°174498
Poulou
Posté le 10-07-2002 à 16:34:34  profilanswer
 

Ben à vrai dire si j'arrivais à le reproduire quand je veux ça m'arrangerait ! J'ai assez régulièrmeent des erreurs 'Duplicate index entry' et des 'Can't open file: xxxx.MYD (errno: 145)' (l'erreur 145 correspondant à 'Table was marked as crashed and should be repaired';).
Je tourne pour l'instant sur un MySQL 3.23.40 et j'envisage de voir pour passer sur une 3.23.51 mais bon je suis pas convaincu que ça puisse résoudre mes problèmes...

n°174644
joce
Architecte / Développeur principal
"BugHunter"
Posté le 10-07-2002 à 20:03:06  profilanswer
 

ca m'est jamais arrivé sur HFR, t'as pas un problème de dur ou un pb materiel ?


---------------
Protèges carnets personnalisés & accessoires pour bébé
n°174652
zion
Plop
Posté le 10-07-2002 à 20:20:54  profilanswer
 

joce a écrit a écrit :

ca m'est jamais arrivé sur HFR, t'as pas un problème de dur ou un pb materiel ?




 
Euh, ca m'est déjà arrivé aussi, et pas sur une grande table et la machine était pas naze... Je faisais juste bcp d'insert en un très court laps de temps, et il aimait pas du tout.
 
Essaie d'upgrader quand même  ;)


---------------
Informaticien.be - Lancez des défis à vos amis
n°174817
joce
Architecte / Développeur principal
"BugHunter"
Posté le 11-07-2002 à 08:18:41  profilanswer
 

Zion a écrit a écrit :

 
 
Euh, ca m'est déjà arrivé aussi, et pas sur une grande table et la machine était pas naze... Je faisais juste bcp d'insert en un très court laps de temps, et il aimait pas du tout.
 
Essaie d'upgrader quand même  ;)  



heu on peut pas dire sur HFR je fasse pas bcp d'insert en un coup surtout quand tu regardes le moteur de recherche


---------------
Protèges carnets personnalisés & accessoires pour bébé
n°174851
Poulou
Posté le 11-07-2002 à 09:33:36  profilanswer
 

Moi aussi au niveau de l'utilisation, c'est pas mal d'insert et de select en même temps mais bon vu les différentes applications (web ou non) qui utilisent MySQL, je ne pense pas que mon appli le fasse fonctionner de manière particulièrement critique... Par contre, le fait que ce ne soit pas un serveur dédié mais une machine qui fasse plein d'autres choses dont loguer en base y joue surement. Là, on m'a demandé de reproduire en test les plantages... Alors bon à mon avis si il y avait un "truc" pour faire planter MySQL ça se saurait ! :(
zion: ça s'est résolu comment ton problème ? D'autres expériences, problèmes identiques ?

n°175107
zion
Plop
Posté le 11-07-2002 à 13:59:11  profilanswer
 

Poulou a écrit a écrit :

zion: ça s'est résolu comment ton problème ? D'autres expériences, problèmes identiques ?




 
Ca date d'il y a quasi 2 ans, et ca s'est résolu par un bout de ficelle en calculant l'ID moi même (Je sais, c'est mal  :p )
 
Mais joce, c'était pas un script c'était un programme qui en rajoutait quelques dizaines de milliers d'affilées, et MySQL aimait vraiment pas


---------------
Informaticien.be - Lancez des défis à vos amis
mood
Publicité
Posté le 11-07-2002 à 13:59:11  profilanswer
 

n°175114
Poulou
Posté le 11-07-2002 à 14:07:50  profilanswer
 

Ct un champ auto_increment qui posait problème ? Ca peut correspondre à mes erreurs. De mon côté c également un programme en C qui balance des logs donc beaucoup d'un coup également. J'ai peur que de calculer l'id manuellement ralentisse pas mal le système.

n°175121
zion
Plop
Posté le 11-07-2002 à 14:18:23  profilanswer
 

Poulou a écrit a écrit :

Ct un champ auto_increment qui posait problème ? Ca peut correspondre à mes erreurs. De mon côté c également un programme en C qui balance des logs donc beaucoup d'un coup également. J'ai peur que de calculer l'id manuellement ralentisse pas mal le système.




 
Oui c'était un auto_increment, et c'est clair que ca ralenti si c'est toi qui le calcule, mais bon... essaie toujours d'upgrader, j'ai plus jamais eu un truc équivalent sur les dernières versions  ;)


---------------
Informaticien.be - Lancez des défis à vos amis
n°175155
Poulou
Posté le 11-07-2002 à 15:01:41  profilanswer
 

Je bosse actuellement sur MySQL 3.23.40 (qui a un an) donc bon ça devait pas être la même que pour toi. Je vais essayer de passer sur la 3.23.51 (ou 4 ??) mais j'aimerai bien arriver à faire un jeu de test qui arrive à me la faire planter pour voir si ça change quelque chose. Mais bon c pas gagné !

n°175878
joce
Architecte / Développeur principal
"BugHunter"
Posté le 12-07-2002 à 19:49:59  profilanswer
 
n°175879
Limit
Posté le 12-07-2002 à 20:09:43  profilanswer
 

joce a écrit a écrit :

Passe à la 4.0.2 ! :)



elle sort quand la finale ?

n°175880
joce
Architecte / Développeur principal
"BugHunter"
Posté le 12-07-2002 à 20:12:05  profilanswer
 

attends déjà la beta :)
mais ca fait longtemps que j'ai pas vu de bugs pour la 4.0.2


---------------
Protèges carnets personnalisés & accessoires pour bébé
n°175881
Limit
Posté le 12-07-2002 à 20:14:09  profilanswer
 

ah vi, c'est tjs la alpha [:sisicaivrai]

n°176030
joce
Architecte / Développeur principal
"BugHunter"
Posté le 13-07-2002 à 17:07:04  profilanswer
 

c'est peut-être de l'alpha mais c'est stable et ca rocks (le forum HFR tourne avec la 4.0.2)


---------------
Protèges carnets personnalisés & accessoires pour bébé
n°176048
Limit
Posté le 13-07-2002 à 20:09:02  profilanswer
 

Et elle est vraiment mieux ?
niveau rapidité ?
 
mais bon, je pense quand meme attendre la version finale qu'on va installer sur le serveur.

n°176212
joce
Architecte / Développeur principal
"BugHunter"
Posté le 14-07-2002 à 23:30:52  profilanswer
 

oh oui elle est vraiment mieux :)
Et elle rocks niveau rapidité.
Enfin chez MySQL de l'alpha ca correspond à du final chez Crosoft :D


---------------
Protèges carnets personnalisés & accessoires pour bébé
n°176214
Limit
Posté le 15-07-2002 à 00:22:15  profilanswer
 

mais, tu as eu des bugs depuis que tu l'as installé ?
t'as du faire des reports de bugs, nan ? :D  
 
Ou elle est vraiment nickel ?
 
je vais quand meme l'installer en local :D

n°176233
Poulou
Posté le 15-07-2002 à 09:03:44  profilanswer
 

Je vais également faire des tests mais bon une alpha en production (même si elle est stable) ça passerait moyen... Je pense qu'au niveau rapidité c'est surtout la mise en cache qui optimise les select non ? D'ailleurs vu que ça devient le topic tests MySQL, est-ce que quelqu'un a testé les tables InnoDB ? Fiabilité, performances ? Sur le papier ça semble vraiment bien en tout cas...

n°195830
joce
Architecte / Développeur principal
"BugHunter"
Posté le 15-08-2002 à 22:18:17  profilanswer
 

RELAX Sky a écrit a écrit :

je vais mettre la 4.0 rien ke pour les subselect :D



y a pas de subselect dans la 4.0 :p

n°195832
joce
Architecte / Développeur principal
"BugHunter"
Posté le 15-08-2002 à 22:19:07  profilanswer
 

Limit a écrit a écrit :

mais, tu as eu des bugs depuis que tu l'as installé ?
t'as du faire des reports de bugs, nan ? :D  
 
Ou elle est vraiment nickel ?
 
je vais quand meme l'installer en local :D



je suis responsable de 1/3 des bugs reports sur MySQL 4.0.2 :sol: :D

n°195833
joce
Architecte / Développeur principal
"BugHunter"
Posté le 15-08-2002 à 22:19:59  profilanswer
 

Poulou a écrit a écrit :

Je vais également faire des tests mais bon une alpha en production (même si elle est stable) ça passerait moyen... Je pense qu'au niveau rapidité c'est surtout la mise en cache qui optimise les select non ? D'ailleurs vu que ça devient le topic tests MySQL, est-ce que quelqu'un a testé les tables InnoDB ? Fiabilité, performances ? Sur le papier ça semble vraiment bien en tout cas...



4.0.3 est une beta.
le query cache optimise bcp oui.
InnoDB c'est stable (c'est dans la branche 3.23.xx également)

n°195850
--greg--
Posté le 15-08-2002 à 23:18:48  profilanswer
 

joce a écrit a écrit :

c'est peut-être de l'alpha mais c'est stable et ca rocks (le forum HFR tourne avec la 4.0.2)



:lol:

n°195853
joce
Architecte / Développeur principal
"BugHunter"
Posté le 15-08-2002 à 23:20:49  profilanswer
 

heu le forum est très stable, jamais vu de plantage de mysql :heink:

n°195854
--greg--
Posté le 15-08-2002 à 23:23:01  profilanswer
 

cte troll  :ouch:

n°195867
joce
Architecte / Développeur principal
"BugHunter"
Posté le 16-08-2002 à 01:25:20  profilanswer
 

heu nan :mad:

n°195923
--greg--
Posté le 16-08-2002 à 11:33:18  profilanswer
 

:D  
 
 
c'est l'association "forum hfr" et "stable" qui m'a fait sourire.
me fait pas ressortir mes screenshots stp :D
 
maintenant que ce soit du à mysql ou pas, prttt....
 
 [:--greg--]

n°196168
joce
Architecte / Développeur principal
"BugHunter"
Posté le 17-08-2002 à 00:35:40  profilanswer
 

--greg-- a écrit a écrit :

:D  
 
 
c'est l'association "forum hfr" et "stable" qui m'a fait sourire.
me fait pas ressortir mes screenshots stp :D
 
maintenant que ce soit du à mysql ou pas, prttt....
 
 [:--greg--]  




faut pas confondre quand je tripotte le code et quand y a une vrai merde.
Y a jamais eu aucune merde liée à MySQL en tout cas.

n°196471
--greg--
Posté le 17-08-2002 à 22:59:32  profilanswer
 

joce a écrit a écrit :

 
faut pas confondre quand je tripotte le code et quand y a une vrai merde.
Y a jamais eu aucune merde liée à MySQL en tout cas.



jdis pas :D
mais quand tu "tripottes" le code, ça rend le forum instable on est bien d'accords :)
tiens tant que je t'ai sous la main: j'ai jamais compris pourquoi tu faisais pas ces tripotages sur une machine de test? à la limite meme sur la meme machine, mais sur une copie du script??

n°196478
zion
Plop
Posté le 17-08-2002 à 23:12:52  profilanswer
 

--greg-- a écrit a écrit :

 
tiens tant que je t'ai sous la main: j'ai jamais compris pourquoi tu faisais pas ces tripotages sur une machine de test? à la limite meme sur la meme machine, mais sur une copie du script??




 
Parce que ca donne tout son charme à HFR... Les gens sont contents sur BlaBla, ca donne de l'animation quand joce code  [:banzai]


---------------
Informaticien.be - Lancez des défis à vos amis
n°196481
--greg--
Posté le 17-08-2002 à 23:16:37  profilanswer
 

Zion a écrit a écrit :

 
 
Parce que ca donne tout son charme à HFR... Les gens sont contents sur BlaBla, ca donne de l'animation quand joce code  [:banzai]  



:lol:  
au fait il a changé le smiley lol ou j'ai revé?

n°196501
joce
Architecte / Développeur principal
"BugHunter"
Posté le 17-08-2002 à 23:40:06  profilanswer
 

t'as révé :d

mood
Publicité
Posté le   profilanswer
 


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  SQL/NoSQL

  [MySQL] Diviser une table en +eurs [dérive en MySQL général !]

 

Sujets relatifs
[mysql] UPDATE : je comprends pas...[mysql] nombre d'entree d'une table ?
[php mysql] pour gerer des date[MySQL] Solution la plus rapide pour transformation de date
[MySQL] Select tables optimized away[mysql] += ???
[php mysql] pourquoi faire une "select * " dans une requete c est mal?[MySQL] Remplir une base avec 3Go de données ???
Rechercher les doublons dans une table? 
Plus de sujets relatifs à : [MySQL] Diviser une table en +eurs [dérive en MySQL général !]


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR