[SqlServer] Jointure multi serveurs

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : [SqlServer] Jointure multi serveurs

WhyMe

HFR ? Nan, connais pas ...

J'ai une table 'données en cours' et une table 'données archivées' sur un serveur.
Les 2 tables sont monstreuses en volume.
Une jointure sur ces 2 tables fait mouliner le serveur.

Si je passe ma table 'données archivées' sur un 2ème serveur ( les 2 serveurs sont de même puissance et connectés en lan 1000Mb/s ) et que je fais une jointure entre mes 2 serveurs, la charge se trouve donc répartie sur 2 machines.

Je vais y gagner / perdre qqchose en durée de traitment ?

Publicité

sircam

I Like Trains

Tu comptes utiliser une table "link" ou "virtuelle" (je ne connais pas la terminologie SQLServer) ?

Je pense que tu vas y perdre.

---------------
Now Playing: {SYNTAX ERROR AT LINE 1210}

WhyMe

HFR ? Nan, connais pas ...

En gros, je compte utiliser çà :

SELECT
*
FROM
(
SELECT * FROM [NomTable]
UNION
SELECT * FROM [NomServeur2].[NomBase].[dbo].[NomTable]
) _Union

Je viens de faire un p'tit test pour la syntaxe, çà fonctionne :jap:

Arjuna

Aircraft Ident.: F-MBSD

euh... oublie cette syntaxe pour un dblink

sinon, t'entends quoi comme "monstrueux" ?

vire-moi tout ce suite de putain de UNION et met "UNION ALL", si tes tables sont grosses, tu vas déjà gagner 80% du temps de traîtement

Message édité par Arjuna le 21-10-2005 à 15:34:46

WhyMe

HFR ? Nan, connais pas ...

Donées en cours environ 20 000 000 de lignes
Données archivées environ 120 000 000 de lignes
Et sur les disques çà prend pas mal de gigas

UNION ALL !?! je vais regader ds la doc ce que çà fait :jap:

Tu proposes quoi comme syntaxe ( à part le UNION ALL ) ?

Arjuna

Aircraft Ident.: F-MBSD

UNION, ça fait un distinct.

UNION ALL, ça fait pas de distinct

Et un distinct sur des millions de lignes, même avec un index unique, ben ça ramme tout ce que ça peut

betsamee

Asterisk Zeperyl

de toutes les facons SQL Server c est de la merde ca rame tout le temps [:petrus75]

Message cité 1 fois

sircam

I Like Trains

betsamee a écrit :

de toutes les facons SQL Server c est de la merde ca rame tout le temps [:petrus75]

Rooooh, mais tu sors, toi !

---------------
Now Playing: {SYNTAX ERROR AT LINE 1210}

WhyMe

HFR ? Nan, connais pas ...

Bon je viens de tester le UNION ALL, verdict : aucun changement

Arjuna

Aircraft Ident.: F-MBSD

Voici un exemple avec des tables "relaivement volumineuses" sous SQL Server 2000 sur mon portable, et sans aucun index :

Code :

select count(*) from evp
=> 410184 lignes
=> 15 secondes
select count(*)
from
(
select *
from evp
where codsoc = 2
) tmp
=> 406802 lignes
=> 15 secondes
select count(*)
from
(
select *
from evp
where codsoc = 3
) tmp
=> 1878 lignes
=> 17 secondes
select count(*)
from
(
select *
from evp
where codsoc = 2
union
select *
from evp
where codsoc = 3
) tmp
=> 408680 lignes
=> 157 secondes (il s'est mis à swapper comme un porc à partir de 90 secondes)
select count(*)
from
(
select *
from evp
where codsoc = 2
union all
select *
from evp
where codsoc = 3
) tmp
=> 408680 lignes
=> 32 secondes (pour le même résultat !)

Publicité

Arjuna

Aircraft Ident.: F-MBSD

t pas doué

WhyMe

HFR ? Nan, connais pas ...

T'es un p'tit joueur là ...

SELECT COUNT(*), SUM ( Price )
FROM
(
SELECT * FROM Ticket
UNION ALL
SELECT * FROM [NomServeur].dbo.ticket
) _union

Moi çà prend 5mn avec ou sans ALL

100 484 796 de lignes au total ...

Arjuna

Aircraft Ident.: F-MBSD

je t'ai dis :
-> portable (donc disque dur pourri et que 512 Mo de RAM)
-> aucun index sur la table

attends que je mette des index, tu va pleurer

Arjuna

Aircraft Ident.: F-MBSD

ceci dit, le coup du pareil avec ou sans all, ça vient du fait que t'as deux serveurs... une grande partie des 5 minutes est dûe au transfert des données sur le réseau.

refait avec tout dans la même base.
je met ma main à couper que le union all est 3 à 4 fois plus rapide

WhyMe

HFR ? Nan, connais pas ...

Je viens de refaire le test en utilisant la même table ( comme ton exemple ) et çà ne change rien, même tps d'éxécution.

Tu m'envoies ta main par La Poste ?

Arjuna

Aircraft Ident.: F-MBSD

:heink:

c'est pas possible, t'as clairement un problème. il est rigoureusement impossible qu'un union all ne mette pas moins de temps qu'un union tout court

sircam

I Like Trains

100 balles sur Arju. [:pingouino]

---------------
Now Playing: {SYNTAX ERROR AT LINE 1210}

Arjuna

Aircraft Ident.: F-MBSD

merde, avec tes conneries, je suis en train de pourrir le serveur oracle de prod

la base qui est sur mon Pc est un import dans sql server de cette base (donc même volumétrie) mais j'ai oublié que si le serveur est prod est bien plus gros, y'a plein de monde connectés dessus

y'a tout qui ramme :whistle:

Arjuna

Aircraft Ident.: F-MBSD

oracle c'est vraiment d'la merde

c'est plus lent que mon portable sans index

Arjuna

Aircraft Ident.: F-MBSD

ah... j'y pense... un gus doit être en train de modifier ou saisir une commande, ça fait des lock sur les lignes... alors ma requête doit attendre pour les compter

sircam

I Like Trains

:ouch:

Zy va sur le serveur de prod... Ce gars est un dangereux.

---------------
Now Playing: {SYNTAX ERROR AT LINE 1210}

Arjuna

Aircraft Ident.: F-MBSD

ben y'a pas de serveur de test

c'est marrant, en fait ma requete a été lockée par une transaction initiée par un utilisateur... qui s'est retrouvée bloquée par ma requete

elle a perdu les 92 lignes de sa commande, elle était verte

(c'est pas moi j'ai rien fait, mon toad n'était même pas ouvert [:ddr555]

nini_404

moi, perso pour faire ca, j'utilise la version pro de rammoir qui permet de booster ta mémoire vive

Arjuna

Aircraft Ident.: F-MBSD

:heink: c'est quoi ce truc

WhyMe

HFR ? Nan, connais pas ...

Voilà ce que je viens de tester de ma machine sur le serveur de dév :

Code :

select count(*) from invoiceline
=> 1219688 lignes
=> 0 secondes
select count(*)
from
(
select *
from invoiceline
where ID_InvoiceLineType = 1
) tmp
=> 578295 lignes
=> 11 secondes
select count(*)
from
(
select *
from invoiceline
where ID_InvoiceLineType = 2
) tmp
=> 101077 lignes
=> 0 secondes
select count(*)
from
(
select *
from invoiceline
where ID_InvoiceLineType = 1
union
select *
from invoiceline
where ID_InvoiceLineType = 2
) tmp
=> 679372 lignes
=> 1 secondes
select count(*)
from
(
select *
from invoiceline
where ID_InvoiceLineType = 1
union all
select *
from invoiceline
where ID_InvoiceLineType = 2
) tmp
=> 679372 lignes
=> 0 secondes

T'es sûr que le pb viens pas de ton côté ? [:airforceone]

Arjuna

Aircraft Ident.: F-MBSD

Entre "0" secondes et "1" seconde, je vois une différence notable moi.

Ensuite, que ce soit 0 ou 1 seconde, il est où le problème ? C'est bien assez rapide non ?

Arjuna

Aircraft Ident.: F-MBSD

PS: et comme j'ai dit, n'utilise pas de DBLink pour faire une requête de type UNION, sinon dans tous les cas, le contenu entier d'une des deux tables sera transmi via le réseau, tu auras donc dans tous les cas des perfs pourries

WhyMe

HFR ? Nan, connais pas ...

Là mon exemple sert juste à montrer qu'en utilisant EXACTEMENT la même syntaxe que toi, je n'arrive pas à avoir un écart significatif entre UNION et UNION ALL contrairement à ce que toi tu as !

WhyMe

HFR ? Nan, connais pas ...

Pour en revenir à ma jointure de base, la requête va être traitée séquentiellement ou en parallèle sur chaque serveur ?

Arjuna

Aircraft Ident.: F-MBSD

c'est pas une jointure, c'est un union
pour cette raison, elle sera traîtée séquenciellement

d'ailleurs, je pense qu'avec une jointure aussi : là t'es pas en mode load balancing, tu fais juste référence à une table distante, y'a qu'un seul serveur qui travaille

WhyMe

HFR ? Nan, connais pas ...

Merci bien monsieur :jap:

WhyMe

HFR ? Nan, connais pas ...

Marrant, je viens de retester le ALL ds une de mes requêtes, et là c'est bénéfique :

Code :

SELECT
TicketsUnion.*,
NationalCallType.ID_NationalCallType AS ID_NationalCallType,
NationalCallType.Description AS NationalCallType,
InternationalCallType.Name AS InternationalCallType,
PeriodType.ID_PeriodType AS ID_PeriodType,
PeriodType.Description AS PeriodCallType,
dbo.ConvertDuration ( duration ) AS FormattedDuration,
ContractList.ID_Customer AS ID_Customer,
ContractList.ID_Contract
FROM
(
SELECT * FROM Ticket
UNION ALL
SELECT * FROM ProdInvoiced_200401_200406.dbo.ticket
UNION ALL
SELECT * FROM ProdInvoiced_200407_200412.dbo.ticket
UNION ALL
SELECT * FROM ProdInvoiced_200501_200506.dbo.ticket
UNION ALL
SELECT * FROM ProdInvoiced_200507_200512.dbo.ticket
) TicketsUnion
INNER JOIN PhoneLine ON PhoneLine.ID_PhoneLineVoiceInfo = TicketsUnion.ID_PhoneLineVoiceInfo
INNER JOIN ContractList ON ContractList.ID_Contract = PhoneLine.ID_Contract
LEFT JOIN NationalTariff ON NationalTariff.ID_NationalTariff = TicketsUnion.ID_NationalTariff
LEFT JOIN NationalCallType ON NationalCallType.ID_NationalCallType = NationalTariff.ID_NationalCallType
LEFT JOIN InternationalTariff ON InternationalTariff.ID_InternationalTariff = TicketsUnion.ID_InternationalTariff
LEFT JOIN InternationalCallType ON InternationalCallType.ID_InternationalCallType = InternationalTariff.ID_InternationalCallType
LEFT JOIN PeriodType ON PeriodType.ID_PeriodType = NationalTariff.ID_PeriodType

et là je suis passé de 50~55s à 35~40s ( base de Prod, donc chuis pas le seul dessus ), juste en ajoutant le ALL après chaque UNION, sur cette requête bidon :

Code :

select count(*) from ticketlist where id_invoice <= 250000

( résultat : 17 702 845 de lignes )

WhyMe

HFR ? Nan, connais pas ...

Bon je reviens sur le topic

Ma requête précédente est intégrée ds une vue TicketList.

Cette requête
SELECT ... FROM TicketList WHERE ... ORDER BY BeginDate
génére une "erreur réseau générale" !?!

En virant le "ORDER BY BeginDate", çà marche !?!

J'ai repassé les 4 "UNION ALL" en "UNION", et là le "ORDER BY BeginDate" fonctionne !?!

Ube idée ?

Publicité

FORUM HardWare.fr

Programmation

SQL/NoSQL

[SqlServer] Jointure multi serveurs

Sujets relatifs
delete avec jointure	MySQL jointure directement dans MySQLAdmin
SQLSERVER	Transfert auto entre deux serveurs :)
Requete sql appelant deux serveurs differents??	Appli multi sgbd
faire un update avec une jointure oracle	Tri multi tableaux
[SQLServer]Erreur OleDB	include, parametre, deux serveurs
Plus de sujets relatifs à : [SqlServer] Jointure multi serveurs

Page générée en 0.095 secondes