Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2260 connectés 

  FORUM HardWare.fr
  Programmation
  SQL/NoSQL

  Migration Oracle vers MySQL plus de 10 millions d'enregistrements

 



 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Migration Oracle vers MySQL plus de 10 millions d'enregistrements

n°1947066
gustoune
Posté le 03-12-2009 à 17:09:07  profilanswer
 

Bonjour à tous,
 
Je dois faire une étude pour la migration d'une base de données d'Oracle vers MySQL avec des millions d'enregistrement.
 
J'ai déjà fait pour plusieurs Go de données, mais là, je me demande si les outils standards de migration vont tenir le coup ?
 
Je pense faire un web service qui pointe sur oracle et qui va chercher les données, les reformates pour accélérer le processus.
 
Pouvez vous me donner des conseils ?
 
Merci

Message cité 2 fois
Message édité par gustoune le 03-12-2009 à 17:09:20
mood
Publicité
Posté le 03-12-2009 à 17:09:07  profilanswer
 

n°1947133
Tibar
Posté le 03-12-2009 à 21:01:52  profilanswer
 

Bonsoir,
 
Je n'ai jamais fait de migration d'Oracle vers MySql, mais uniquement d'Oracle vers Sql Server ou inversement. Je ne vois pas trop où tu veux en venir avec la méthode du web service ?
Les millions d'enregistrement ne devraient pas trop poser de problème (en tout cas entre Oracle et SQL Server ça se passe bien).Si tu passes par un web service, tu vas ajouter 2 connecteurs de bdd, un programme au milieu pour traiter tes données, et ce sera plus compliqué de faire de l'ensembliste. Avec un outil ou même des SQL Loader, tu traiteras simplement tout ça non ?
 
Bon courage,

n°1947555
gustoune
Posté le 05-12-2009 à 16:24:54  profilanswer
 

Tibar a écrit :

Bonsoir,
 
Je n'ai jamais fait de migration d'Oracle vers MySql, mais uniquement d'Oracle vers Sql Server ou inversement. Je ne vois pas trop où tu veux en venir avec la méthode du web service ?
Les millions d'enregistrement ne devraient pas trop poser de problème (en tout cas entre Oracle et SQL Server ça se passe bien).Si tu passes par un web service, tu vas ajouter 2 connecteurs de bdd, un programme au milieu pour traiter tes données, et ce sera plus compliqué de faire de l'ensembliste. Avec un outil ou même des SQL Loader, tu traiteras simplement tout ça non ?
 
Bon courage,


 
 
Oui, mais j'ai des tables de 10 millions d'enregistrements minimum, avec une table qui en fait plus de 300 millions du coup je vois mal mon petit logiciel faire ca. avec un web service, c'est plus rapide non ?
 
 
 
Merci de ton retour .

n°1947587
couak
Posté le 05-12-2009 à 20:55:44  profilanswer
 

si tu es plus à l'aise avec ton web service vas-y, de tte facon il y a rarement plus rapide que les outils en natif du SGBD

n°1947600
Dion
Acceuil
Posté le 05-12-2009 à 22:57:06  profilanswer
 

t'as bien raison gustoune, rien de plus efficient que de passer par un webservice pour faire sql vers sql !

 

xmlerde vaincra !


Message édité par Dion le 05-12-2009 à 22:57:27

---------------
When it comes to business/legal topics, just assume almost everyone commenting has no idea what they’re taking about and have no background in these subjects because that’s how it really is. Harkonnen 8-> Elmoricq 8====>
n°1947776
couak
Posté le 07-12-2009 à 06:58:44  profilanswer
 

je pense que c'est une histoire d'affinité, migrer 10 million de lignes c'est pas énorme, si c'est plus rapide pour lui de le faire en webservice et qu'il a le temps pour la migration et la coupure disponible, y'a pas de raison...

n°1947786
oliver_37
PSN ID : DelOliver
Posté le 07-12-2009 à 08:15:31  profilanswer
 

Après cela dépend de la largeur d'une ligne pour ces 10 millions.
Autrement il y a la méthode classique d'unload/load, où il faut créer un fichier à partir de la table sous Oracle puis charger par un loader sous MySQL.
A mon avis c'est le plus rapide, mais nécessite un peu de développement.

n°1947800
flo850
moi je
Posté le 07-12-2009 à 09:09:42  profilanswer
 

si tu as une migration  à faire, tu prends une ETL plutot que de le redevelopper à la main
Soit tu te diriges vers des outils libres comme Talend, soit des outils payants ( ici on utilise data intelligency , d'oxio )


---------------

n°1947820
skeye
Posté le 07-12-2009 à 10:23:20  profilanswer
 

des tables de 300 millions de lignes sous mysql?[:tibo2002]


---------------
Can't buy what I want because it's free -
n°1947824
couak
Posté le 07-12-2009 à 10:36:12  profilanswer
 

c'est sûr qu'il faudra un peu benchmarker, après il me semble que mysql intègre maintenant du partionnement, non ?

mood
Publicité
Posté le 07-12-2009 à 10:36:12  profilanswer
 

n°1947825
skeye
Posté le 07-12-2009 à 10:37:11  profilanswer
 

couak a écrit :

c'est sûr qu'il faudra un peu benchmarker, après il me semble que mysql intègre maintenant du partionnement, non ?


aucune idée, mais perso j'oserais même pas tenter le coup.[:joce]


---------------
Can't buy what I want because it's free -
n°1947827
Harkonnen
Modérateur
Un modo pour les bannir tous
Posté le 07-12-2009 à 10:42:40  profilanswer
 

sinon j'ai un outil de conversion fait main, qui fait de la conversion Oracle vers MySQL :o
100% assembleur, se reposant sur la plus basse couche possible du sgbd (OCI pour Oracle, et natif pour MySQL), interface immonde (2 listboxes qui présentent les 2 bases), mais exécutable de 4936 octets et vitesse moyenne de 80000 lignes/s en fonction du type de données à migrer [:kbchris]

 

edit: il marche plus sous Vista et 7 [:zytrasnif]

Message cité 1 fois
Message édité par Harkonnen le 07-12-2009 à 10:43:53

---------------
J'ai un string dans l'array (Paris Hilton)
n°1947831
couak
Posté le 07-12-2009 à 11:10:37  profilanswer
 

avec ce genre d'outil tu mets en péril le marché du hardware :o il est préférable de faire un webservice basé sur hibernate pour relancer le marché des CPU, de la RAM et des disques SSD

n°1947833
Harkonnen
Modérateur
Un modo pour les bannir tous
Posté le 07-12-2009 à 11:18:09  profilanswer
 

faudrait que je reprenne le développement de ce bouzin tiens... déjà le rendre compatible Win 7, et faire une interface utilisable par quelqu'un d'autre que moi même [:jean-guitou]

Spoiler :

à condition que je retrouve les sources [:pingouino]


---------------
J'ai un string dans l'array (Paris Hilton)
n°1947834
drasche
Posté le 07-12-2009 à 11:25:48  profilanswer
 

Harkonnen a écrit :

sinon j'ai un outil de conversion fait main, qui fait de la conversion Oracle vers MySQL :o
100% assembleur, se reposant sur la plus basse couche possible du sgbd (OCI pour Oracle, et natif pour MySQL), interface immonde (2 listboxes qui présentent les 2 bases), mais exécutable de 4936 octets et vitesse moyenne de 80000 lignes/s en fonction du type de données à migrer [:kbchris]
 
edit: il marche plus sous Vista et 7 [:zytrasnif]


Mais tu es fou :D


---------------
Whichever format the fan may want to listen is fine with us – vinyl, wax cylinders, shellac, 8-track, iPod, cloud storage, cranial implants – just as long as it’s loud and rockin' (Billy Gibbons, ZZ Top)
n°1947836
drasche
Posté le 07-12-2009 à 11:27:49  profilanswer
 

gustoune a écrit :

Bonjour à tous,

 

Je dois faire une étude pour la migration d'une base de données d'Oracle vers MySQL avec des millions d'enregistrement.

 

J'ai déjà fait pour plusieurs Go de données, mais là, je me demande si les outils standards de migration vont tenir le coup ?

 

Je pense faire un web service qui pointe sur oracle et qui va chercher les données, les reformates pour accélérer le processus.

 

Pouvez vous me donner des conseils ?

 

Merci


Un ETL sinon rien, c'est prévu exactement pour ce genre de choses.

 

Ton webservice, tu vas passer perdre plus de temps à le programmer qu'à migrer tes données.


Message édité par drasche le 07-12-2009 à 11:28:51

---------------
Whichever format the fan may want to listen is fine with us – vinyl, wax cylinders, shellac, 8-track, iPod, cloud storage, cranial implants – just as long as it’s loud and rockin' (Billy Gibbons, ZZ Top)
n°1947839
Harkonnen
Modérateur
Un modo pour les bannir tous
Posté le 07-12-2009 à 11:34:54  profilanswer
 

drasche a écrit :


Mais tu es fou :D


c'est ce que m'avait dit mon boss de l'époque :o
déjà il me prenait pour un fou de faire ça chez moi pendant mes lolLoisirs, et en plus quand je lui ai dit le fonctionnement du truc (allocation de la plus grande plage mémoire dispo sur la machine, recopie d'Oracle vers la mémoire, puis de la mémoire vers MySQL après conversion des données via MMX ou SSE si dispo -ce qui permet de traiter 2 voire 4, 8 ou 16 champs dans le même cycle en fonction de la taille des données-, et contrôle final de l'intégrité des données à la FPU), il voulait me faire interner [:petrus75]
testé à l'époque sur une table ne contenant que des champs de taille 1 octet (CHAR) : transfert de 3 millions de lignes en 4 secondes [:kbchris]

 

j'avais même fait une version 3DNow! à l'époque, c'était la techno qui avait le vent en poupe [:ddr555]


Message édité par Harkonnen le 07-12-2009 à 11:35:21

---------------
J'ai un string dans l'array (Paris Hilton)
n°1947840
couak
Posté le 07-12-2009 à 11:35:14  profilanswer
 

nan, un export/import au format CSV ca marche aussi :o

n°1947846
flo850
moi je
Posté le 07-12-2009 à 11:52:03  profilanswer
 

a condition de bien pendre en compte les diverses encodages de fichier, et paramètre d'échappement


---------------

n°1948108
Tamahome
⭐⭐⭐⭐⭐
Posté le 07-12-2009 à 18:00:55  profilanswer
 

gustoune a écrit :

Bonjour à tous,
 
Je dois faire une étude pour la migration d'une base de données d'Oracle vers MySQL avec des millions d'enregistrement.
 
J'ai déjà fait pour plusieurs Go de données, mais là, je me demande si les outils standards de migration vont tenir le coup ?
 
Je pense faire un web service qui pointe sur oracle et qui va chercher les données, les reformates pour accélérer le processus.
 
Pouvez vous me donner des conseils ?
 
Merci


 
faut faire du Bulk.


---------------
Hobby eien /人◕ ‿‿ ◕人\

Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  SQL/NoSQL

  Migration Oracle vers MySQL plus de 10 millions d'enregistrements

 

Sujets relatifs
[oracle] rechercher une valeur dans toute les tables?Erreur mysql : corrupted double-linked list
Plantage lors de l'execution d'une requete [PHP/MySQL]Perte de connexion avec la base MySQL
Problème de connexion avec le serveur MySQLOracle 10 - multiple lignes pour même id
Problemes requetes PHP/MySqlmigrer php 4.4 vers php 5 sous wordpress ovh
Lien imprimer basculant vers une autre feuille CSSASP - MYSQL -
Plus de sujets relatifs à : Migration Oracle vers MySQL plus de 10 millions d'enregistrements


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR