[blabla@olympe] Le topic du modo, dieu de la fibre et du monde

Recherche :

Sujet(s) à lire :
- Who's who@Programmation

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 26877 26878 26879 .. 27192 27193 27194 27195 27196 27197 Page Suivante Page Précédente Bas de page
Auteur	Sujet : [blabla@olympe] Le topic du modo, dieu de la fibre et du monde

el_barbone

too old for this shit ...

Reprise du message précédent :
https://www.20minutes.fr/societe/41 [...] nce-rafale

Message cité 3 fois

---------------
En théorie, la théorie et la pratique sont identiques, en pratique, non.

Publicité

Flaie

Ils ont poussé très loin le seum de la CDM

Message cité 1 fois

XaTriX

el_barbone a écrit :

https://www.20minutes.fr/societe/41 [...] nce-rafale

Parfait ce casus belli pour agrandir notre territoire. On leur laisse Bruxelles et la fabrique à terro et hop

Message cité 3 fois

---------------
Proxytaf ? non rien

el_barbone

too old for this shit ...

Flaie a écrit :

Ils ont poussé très loin le seum de la CDM

grave.

---------------
En théorie, la théorie et la pratique sont identiques, en pratique, non.

R3g

fonctionnaire certifié ITIL

el_barbone a écrit :

https://www.20minutes.fr/societe/41 [...] nce-rafale

https://x.com/RocwoDeRetour/status/1977822011356594490

Citation :

Je suis ingénieur aérospatial de formation, j'aime bien les avions de chasse je m'y connais un peu.
Je ri fort.
Genre là, tu as la Belgique, la putain de Belgique qui a all in sur un avion de frappe en profondeur.
Ils comptent envahir qui ptdr ????

Message cité 1 fois

---------------
Au royaume des sourds, les borgnes sont sourds.

Jubijub

Parce que je le VD bien

nucl3arfl0 a écrit :

Quelle idée à la con que j'ai voulu me lancer dans l'isolation de mes vlans. Quel enfer, des tag par ci des untagged par là, des équipements plus accessible, obligé de trouver une passerelle directement sur l'équipement, le switch qui reboot et qui me fait sauter toute ma config bref un bonheur [:domo-kun]

Bon sinon Jubi, ils ont mis un nouveau design sur YouTube, mode "Glass" j'ai l'impression pour suivre la tendance.
A la poubelle le petit dégradé rouge violet [:herbesahne]

1/ ça m’intéresse je vais essayer ça bientôt
2/ je lis les présentations UX de temps à autre. Pudiquement je vais dire que c’est une expertise que je ne possède pas suffisamment pour avoir une opinion valide

Message cité 1 fois

---------------
Jubi Photos : Flickr - 500px

Plam

Bear Metal

ratibus a écrit :

C'est quoi l'adresse ?

:lol: Tu m'étonnes

---------------
Spécialiste du bear metal

nucl3arfl0

Better Call Saul

Jubijub a écrit :

1/ ça m’intéresse je vais essayer ça bientôt

Puis avant de commencer, vérifie si t'es équipements supportent ce que tu veux faire, s'il n'y a pas des blagues côté firmware.

J'en ai eu une belle des blagues sur mes AP wifi, même modèle mais deux en v1 et l'autre en v3, exactement même config mais l'un était injoignable pour le management (il fallait activer une option et mettre l'id du vlan management, corrigé en v3, mais ballec en v1).

Message cité 3 fois

el muchacho

Comfortably Numb

el_barbone a écrit :

https://www.20minutes.fr/societe/41 [...] nce-rafale

el muchacho a écrit :

On a profité de l'OTAN, c'est une évidence. Ca a permis aussi de repousser aux calendes grecques la question épineuse de l'Europe militaire.

Et l'on voit immédiatement la différence entre les pays qui veulent continuer de profiter du parapluie américain, parapluie qui va finir par se refermer de plus en plus, face à ceux comme la France, qui souhaitent depuis toujours une plus grande autonomie européenne.

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

el muchacho

Comfortably Numb

XaTriX a écrit :

Parfait ce casus belli pour agrandir notre territoire. On leur laisse Bruxelles et la fabrique à terro et hop

Il faut le faire avant qu'ils ne réceptionnent les 32 autres F-35

Mais sinon, il y a une évidence, c'est que Dassault n'a pas les capacités de livrer dans des temps raisonnables.

Message cité 1 fois
Message édité par el muchacho le 15-10-2025 à 10:03:44

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Publicité

XaTriX

el muchacho a écrit :

Il faut le faire avant qu'ils ne réceptionnent les 32 autres F-35

Mais sinon, il y a une évidence, c'est que Dassault n'a pas les capacités de livrer dans des temps raisonnables.

Je crois que Dassault a dit qu'il pouvait ouvrir des lignes et augmenter la cadence mais c'est vrai que si en face ça produit déjà à mort c'est difficile à concurrencer.
Après bon la Belgique blindé de F35 c'est pas super utile (?)

Message cité 2 fois

---------------
Proxytaf ? non rien

el muchacho

Comfortably Numb

XaTriX a écrit :

Surtout, l'autre con belge qui se plaint que c'est un avion uniquement français et pas européen aurait pu négocier l'ouverture d'usines en Belgique. Parce que même si les usines de Lockheed produisent plus vite, personne n'est à l'abri d'une priorisation pour l'armée amerloque ou un autre commanditaire jugé plus important que la Belgique, comme on le voit avec les sous-marins australiens.

Message édité par el muchacho le 15-10-2025 à 10:36:38

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

nraynaud

lol

R3g a écrit :

https://x.com/RocwoDeRetour/status/1977822011356594490

Citation :

Je pense que la guerre en Ukraine a un peu démontré que même le défenseur doit aller attaquer en profondeur son envahisseur, en particulier quand c’est le plus grand pays du monde.

---------------
trainoo.com, c'est fini

flo850

moi je

XaTriX a écrit :

ça produit une version qui aura un package obligatoire d'amélioration moteur a faire avant la mise en prod , non ?

Citation :

The US has waived Switzerland's share of its development costs. While the new F-35 will not require a completely new engine in future, upgrades to the engine and cooling system are planned starting in the mid-2030s. These improvements are being implemented as part of a combat maintenance program.

c'est le package de refroidissement, pas le moteur

Message édité par flo850 le 15-10-2025 à 11:48:59

---------------

Dion

Acceuil

Brillante idée Flo :love:

---------------
It is not called show art

el muchacho

Comfortably Numb

Bon, un peu déçu par mes tests, quand je fais du partitionnement sous Postgres, les perfs baissent fortement.
Je ne sais pas bien ce qui induit cette perte de perfs:

postgres:~$ time psql -c "COPY tw_weather_data FROM '/tmp/tw_weather.csv' DELIMITER ',' CSV HEADER;"
COPY 131985329

real 8m52.287s
user 0m0.054s
sys 0m0.010s
postgres:~$ psql
psql (18.0 (Ubuntu 18.0-1.pgdg22.04+3))
Type "help" for help.

postgres=# \timing
Timing is on.
postgres=# select count(*) from tw_weather_data;
count
-----------
131985329
(1 row)

Time: 8439.525 ms (00:08.440)

SELECT
StationId,
max(Td) AS max_td
FROM tw_weather_data
WHERE (EXTRACT(YEAR FROM MeasuredDate) = 2023) AND (Td IS NOT NULL)
GROUP BY StationId;
Time: 43912.632 ms (00:43.913)

postgres=# SELECT
StnPres,
SeaPres,
Tx,
Td,
RH,
WS,
WD,
WSGust,
WDGust,
Precp,
PrecpHour
FROM tw_weather_data
WHERE (StationId = 'C0UB10') AND (MeasuredDate >= '2023-12-23') AND (MeasuredDate < '2023-12-24')
ORDER BY MeasuredDate ASC
LIMIT 10;
stnpres | seapres | tx | td | rh | ws | wd | wsgust | wdgust | precp | precphour
---------+---------+----+-----+-----+------+-----+--------+--------+-------+-----------
1029.5 | 11.8 | 78 | 2.7 | 271 | 5.5 | 275 | -99.8 | -99.8 | | -99.8
1029.8 | 12.3 | 78 | 2.7 | 289 | 5.5 | 308 | -99.8 | -99.8 | | -99.8
1028.6 | 12.3 | 79 | 2.3 | 251 | 6.1 | 289 | -99.8 | -99.8 | | -99.8
1028.2 | 13 | 75 | 4.3 | 312 | 7.5 | 316 | -99.8 | -99.8 | | -99.8
1027.8 | 11.1 | 89 | 7.1 | 310 | 11.6 | 322 | -99.8 | -99.8 | | -99.8
1027.8 | 11.6 | 90 | 3.1 | 269 | 10.7 | 295 | -99.8 | -99.8 | | -99.8
1027.9 | 12.3 | 89 | 4.7 | 296 | 8.1 | 310 | -99.8 | -99.8 | | -99.8
1028.2 | 12.2 | 94 | 2.5 | 246 | 7.1 | 283 | -99.8 | -99.8 | | -99.8
1028.4 | 12.5 | 94 | 3.1 | 265 | 4.8 | 297 | -99.8 | -99.8 | | -99.8
1028.3 | 13.6 | 91 | 1.2 | 273 | 4.4 | 256 | -99.8 | -99.8 | | -99.8
(10 rows)

Time: 210.547 ms

postgres=# SELECT
MIN(SeaPres),
MAX(SeaPres),
AVG(SeaPres)
FROM tw_weather_data;
min | max | avg
--------+-------+--------------------
-159.1 | 224.8 | 14.465947954977004
(1 row)

Time: 23238.896 ms (00:23.239)

SELECT
StnPres,
SeaPres,
Tx,
Td,
RH,
WS,
WD,
WSGust,
WDGust,
Precp,
PrecpHour
FROM tw_weather_data
WHERE (StationId = 'C0UB10') AND (MeasuredDate >= '1980-12-23') AND (MeasuredDate < '2023-12-24')
ORDER BY MeasuredDate ASC
LIMIT 10;
stnpres | seapres | tx | td | rh | ws | wd | wsgust | wdgust | precp | precphour
---------+---------+----+-----+-----+-----+-----+--------+--------+-------+-----------
1010.5 | 18.6 | 84 | 1.1 | 285 | 3.7 | 278 | -99.8 | -99.8 | | -99.8
1010 | 18.4 | 87 | 0.7 | 248 | 2.7 | 222 | -99.8 | -99.8 | | -99.8
1009.1 | 18.4 | 88 | 0.8 | 251 | 3 | 264 | -99.8 | -99.8 | | -99.8
1008.7 | 18.3 | 90 | 1.2 | 262 | 2.8 | 233 | -99.8 | -99.8 | | -99.8
1009.2 | 18.3 | 91 | 1 | 260 | 3.1 | 253 | -99.8 | -99.8 | | -99.8
1010.2 | 18.2 | 92 | 0.6 | 244 | 2.9 | 269 | -99.8 | -99.8 | | -99.8
1010.1 | 17.8 | 95 | 1.3 | 273 | 3.6 | 324 | -99.8 | -99.8 | | -99.8
1010.8 | 18.2 | 94 | 0.8 | 236 | 6.1 | 341 | -99.8 | -99.8 | | -99.8
1010.8 | 19 | 93 | 1.6 | 282 | 3.4 | 318 | -99.8 | -99.8 | | -99.8
1011 | 20.2 | 84 | 1.4 | 309 | 3.4 | 304 | -99.8 | -99.8 | | -99.8
(10 rows)

Time: 21768.702 ms (00:21.769)

A comparer avec les résultats précédents. J'ai utilisé pg_partman pour partitionner par trimestre les pluis de 100 années de données (531 partitions).

Globalement, je passe de 8-9 second à 20-22 secondes, à part une requête qui est accélérée par un index BRIN sur les dates.

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Flaie

Quelques pistes qui me viennent:
- tu fais pas de vacuum / analyze entre ton import et tes queries, les stats sont surment pas à jour.
- je suis pas sur que l'élagage fonctionne bien avec un where extract(year from ...), essaye voir avec MeasuredDate >= date '2023-01-01' and MeasuredDate < date '2024-01-01' (c'est bien une colonne timestamp?)
- tu as un index sur StationId + MeasuredDate ?

comment tu crées les partitions ?

Message cité 2 fois
Message édité par Flaie le 15-10-2025 à 13:04:46

el muchacho

Comfortably Numb

Flaie a écrit :

Bonnes pistes.
Ceci étant, je suis dans les mêmes conditions avant/après, et encore, j'ai alloué plus de mémoire à Postgres (shared_buffers, etc) après.

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Jubijub

Parce que je le VD bien

XaTriX a écrit :

Parfait ce casus belli pour agrandir notre territoire. On leur laisse Bruxelles et la fabrique à terro et hop

pas besoin, j'avais déjà mis mon bishop pour fabriquer une claim, on est couverts

nucl3arfl0 a écrit :

Fais toi un beau schéma d'architecture avec les flux, qui parle à qui, sur quel port c'est branché, sur quel équipement, où est l'équipement, quel vlan, quel plage d'ip etc, parce que ça m'a servi systématiquement.
Si ton schéma est pas carré et détaillé tu cours à la cata.
Prévois de quoi te brancher en rj45 un peu partout, de sauver tes config régulièrement etc.

Puis avant de commencer, vérifie si t'es équipements supportent ce que tu veux faire, s'il n'y a pas des blagues côté firmware.

J'en ai eu une belle des blagues sur mes AP wifi, même modèle mais deux en v1 et l'autre en v3, exactement même config mais l'un était injoignable pour le management (il fallait activer une option et mettre l'id du vlan management, corrigé en v3, mais ballec en v1).

bonne idée, j'ai commencé

pour le matos je vais avoir un routeur Mikrotik + 2 access point Ubiquiti U7-Pro-Wall, je sais pas trop à quoi m'attendre. Ubiquiti est censé être bon là dedans

---------------
Jubi Photos : Flickr - 500px

Dion

Acceuil

:sol:

---------------
It is not called show art

el muchacho

Comfortably Numb

Flaie a écrit :

comment tu crées les partitions ?

ostgres=# CREATE INDEX idx_tw_weather_ts_stationid ON tw_weather_data(stationid,MeasuredDate);
CREATE INDEX
Time: 158806.788 ms (02:38.807)
postgres=# SELECT
StnPres,
SeaPres,
Tx,
Td,
RH,
WS,
WD,
WSGust,
WDGust,
Precp,
PrecpHour
FROM tw_weather_data
WHERE (StationId = 'C0UB10') AND (MeasuredDate >= '1990-12-23') AND (MeasuredDate < '2023-12-24')
ORDER BY MeasuredDate ASC
LIMIT 20;
stnpres | seapres | tx | td | rh | ws | wd | wsgust | wdgust | precp | precphour
---------+---------+----+-----+-----+-----+-----+--------+--------+-------+-----------
1010.5 | 18.6 | 84 | 1.1 | 285 | 3.7 | 278 | -99.8 | -99.8 | | -99.8
1010 | 18.4 | 87 | 0.7 | 248 | 2.7 | 222 | -99.8 | -99.8 | | -99.8
1009.1 | 18.4 | 88 | 0.8 | 251 | 3 | 264 | -99.8 | -99.8 | | -99.8
1008.7 | 18.3 | 90 | 1.2 | 262 | 2.8 | 233 | -99.8 | -99.8 | | -99.8
1009.2 | 18.3 | 91 | 1 | 260 | 3.1 | 253 | -99.8 | -99.8 | | -99.8
1010.2 | 18.2 | 92 | 0.6 | 244 | 2.9 | 269 | -99.8 | -99.8 | | -99.8
1010.1 | 17.8 | 95 | 1.3 | 273 | 3.6 | 324 | -99.8 | -99.8 | | -99.8
1010.8 | 18.2 | 94 | 0.8 | 236 | 6.1 | 341 | -99.8 | -99.8 | | -99.8
1010.8 | 19 | 93 | 1.6 | 282 | 3.4 | 318 | -99.8 | -99.8 | | -99.8
1011 | 20.2 | 84 | 1.4 | 309 | 3.4 | 304 | -99.8 | -99.8 | | -99.8
1011 | 19.9 | 87 | 1.5 | 350 | 4.9 | 336 | -99.8 | -99.8 | | -99.8
1010.3 | 20.1 | 88 | 1.9 | 334 | 5.1 | 323 | -99.8 | -99.8 | | -99.8
1009.5 | 21.1 | 82 | 1.7 | 302 | 4.6 | 303 | -99.8 | -99.8 | | -99.8
1009 | 21.9 | 78 | 1.3 | 44 | 3.6 | 47 | -99.8 | -99.8 | | -99.8
1008.4 | 21.6 | 80 | 0.2 | 0 | 3.7 | 32 | -99.8 | -99.8 | | -99.8
1008.2 | 20.7 | 87 | 1.9 | 57 | 5.7 | 33 | -99.8 | -99.8 | | -99.8
1008.5 | 20.9 | 84 | 2 | 54 | 6.9 | 56 | -99.8 | -99.8 | | -99.8
1009.3 | 20.2 | 89 | 3 | 34 | 6.6 | 28 | -99.8 | -99.8 | | -99.8
1009.7 | 19.7 | 94 | 0.8 | 350 | 6.7 | 70 | -99.8 | -99.8 | | -99.8
1009.8 | 19.7 | 94 | 0.7 | 329 | 3 | 336 | -99.8 | -99.8 | | -99.8
(20 rows)

Time: 399.966 ms
postgres=# SELECT
StnPres,
SeaPres,
Tx,
Td,
RH,
WS,
WD,
WSGust,
WDGust,
Precp,
PrecpHour
FROM tw_weather_data
WHERE (StationId = 'C0UB10') AND (MeasuredDate >= '2023-12-23') AND (MeasuredDate < '2023-12-24')
ORDER BY MeasuredDate ASC
LIMIT 20;
stnpres | seapres | tx | td | rh | ws | wd | wsgust | wdgust | precp | precphour
---------+---------+----+-----+-----+------+-----+--------+--------+-------+-----------
1029.5 | 11.8 | 78 | 2.7 | 271 | 5.5 | 275 | -99.8 | -99.8 | | -99.8
1029.8 | 12.3 | 78 | 2.7 | 289 | 5.5 | 308 | -99.8 | -99.8 | | -99.8
1028.6 | 12.3 | 79 | 2.3 | 251 | 6.1 | 289 | -99.8 | -99.8 | | -99.8
1028.2 | 13 | 75 | 4.3 | 312 | 7.5 | 316 | -99.8 | -99.8 | | -99.8
1027.8 | 11.1 | 89 | 7.1 | 310 | 11.6 | 322 | -99.8 | -99.8 | | -99.8
1027.8 | 11.6 | 90 | 3.1 | 269 | 10.7 | 295 | -99.8 | -99.8 | | -99.8
1027.9 | 12.3 | 89 | 4.7 | 296 | 8.1 | 310 | -99.8 | -99.8 | | -99.8
1028.2 | 12.2 | 94 | 2.5 | 246 | 7.1 | 283 | -99.8 | -99.8 | | -99.8
1028.4 | 12.5 | 94 | 3.1 | 265 | 4.8 | 297 | -99.8 | -99.8 | | -99.8
1028.3 | 13.6 | 91 | 1.2 | 273 | 4.4 | 256 | -99.8 | -99.8 | | -99.8
1027.9 | 14.3 | 80 | 3.3 | 339 | 7.9 | 331 | -99.8 | -99.8 | | -99.8
1027.2 | 14.1 | 85 | 3.1 | 292 | 8.7 | 325 | -99.8 | -99.8 | | -99.8
1025.5 | 16.3 | 81 | 0.2 | 0 | 4.3 | 272 | -99.8 | -99.8 | | -99.8
1024.8 | 15.6 | 78 | 2.3 | 326 | 5 | 329 | -99.8 | -99.8 | | -99.8
1024.1 | 15.6 | 79 | 3 | 308 | 6.4 | 315 | -99.8 | -99.8 | | -99.8
1024 | 15.8 | 84 | 0.5 | 282 | 6.3 | 280 | -99.8 | -99.8 | | -99.8
1023.8 | 14.8 | 92 | 1 | 259 | 3.5 | 274 | -99.8 | -99.8 | | -99.8
1024.4 | 15.3 | 86 | 1.9 | 334 | 5.4 | 328 | -99.8 | -99.8 | | -99.8
1024.8 | 15.3 | 88 | 1.1 | 268 | 6.5 | 324 | -99.8 | -99.8 | | -99.8
1024.9 | 16 | 84 | 5.2 | 320 | 7.8 | 323 | -99.8 | -99.8 | | -99.8
(20 rows)

Time: 1.173 ms

C'est mieux

Message édité par el muchacho le 15-10-2025 à 13:50:05

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Dion

Acceuil

Que cherches tu à valider avec ces tests ?

Message cité 2 fois

---------------
It is not called show art

el muchacho

Comfortably Numb

Table partitionnée vs non partitionnée:

postgres=# SELECT
StationId,
max(Td) AS max_td
FROM tw_weather_data -- partitionnée
WHERE (MeasuredDate >= date '1985-01-01' and MeasuredDate < date '2024-01-01') AND (Td IS NOT NULL)
GROUP BY StationId;
Time: 20113.532 ms (00:20.114)
postgres=# SELECT
StationId,
max(Td) AS max_td
FROM tw_weather_data2 -- non partitionnée
WHERE (MeasuredDate >= date '1985-01-01' and MeasuredDate < date '2024-01-01') AND (Td IS NOT NULL)
GROUP BY StationId;
Time: 12467.429 ms (00:12.467)

Message cité 2 fois
Message édité par el muchacho le 15-10-2025 à 14:07:20

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

hephaestos

Sanctis Recorda, Sanctis deus.

Dion a écrit :

Que cherches tu à valider avec ces tests ?

Message édité par hephaestos le 15-10-2025 à 13:58:25

el muchacho

Comfortably Numb

Dion a écrit :

Que cherches tu à valider avec ces tests ?

T'occupe.

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Dion

Acceuil

Tu exagères, ton projet est financé par de l'argent public et des aides d'état, tu fais bosser un champion européen du codage, tu pourrais quand même nous dire à quoi ça sert de faire des select sur une VM qui tourne sur un laptop sur quelques dizaines millions de lignes sur un modèle de données digne d'un premier TP SQL

Message cité 1 fois

---------------
It is not called show art

Devil'sTiger

XaTriX a écrit :

Parfait ce casus belli pour agrandir notre territoire. On leur laisse Bruxelles et la fabrique à terro et hop

Heu on se calme, il y a Charleroi dans le coin, tu veux pas Charleroi

el muchacho a écrit :

Table partitionnée vs non partitionnée:

Tu te places dans le pire cas possible, qui sera toujours plus lent que sans partition: tu full scan vu que tu demandes toutes les partitions (1985 a 2024).

De deux, dans les tests du dessus:
(EXTRACT(YEAR FROM MeasuredDate) = 2023)

- j'aurai probablement fait ca cote code pour simplifier la tache de PG a choisir les index (comme dit Flaie)

Message cité 2 fois

el muchacho

Comfortably Numb

Dion a écrit :

Mes premiers essais montrent que:
1) ClickHouse est très rapide, la techno derrière a l'air très solide. Malheureusement l'import CSV a l'air buggé. Et au vu de la liste de bugs, c'est pas super rassurant sur le projet. Les mecs poussent des fonctionnalités à moitié codées dans la branche principale. C'est vraiment dommage, car les pefs sont impressionnantes.

2) PostgreSQL semble plus lent quand la table est partitionnée. Je m'y attendais, mais le surcoût a l'air nettement plus considérable que ce que je pensais. Après, ce n'est pas sûr que ce soit vraiment un problème.

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Flaie

el muchacho a écrit :

Table partitionnée vs non partitionnée:

Et si tu sélectionnes seulement une année sur la partitionnée et non partitionnée ?

Message cité 2 fois

el muchacho

Comfortably Numb

Devil'sTiger a écrit :

C'est exprès que je teste des cas moisis. Les utilisateurs feront des requêtes moisies.
Mais c'est aussi le genre de cas d'utilisation dont on peut avoir besoin. Enfin généralement, ça se limite un ou 2 ans, mais il sera courant de requêter des millions de lignes.

Message cité 1 fois

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

XaTriX

Devil'sTiger a écrit :

Heu on se calme, il y a Charleroi dans le coin, tu veux pas Charleroi

Ah oui mais si on prend pas Charleroi on aura pas Genève la prochaine fois [:zedlefou:1]

Message cité 1 fois

---------------
Proxytaf ? non rien

SekYo

nucl3arfl0 a écrit :

Vraie question: vous avez vraiment besoin d'un setup si complique chez vous, ou c'est plus un hobby et c'est parce que ça vous intéresse ?

Message cité 4 fois

el muchacho

Comfortably Numb

Flaie a écrit :

Et si tu sélectionnes seulement une année sur la partitionnée et non partitionnée ?

Pardon...

postgres=# SELECT
StationId,
max(Td) AS max_td
FROM tw_weather_data2 -- non partitionnée
WHERE (MeasuredDate >= date '2023-01-01' and MeasuredDate < date '2024-01-01') AND (Td IS NOT NULL)
GROUP BY StationId;
Time: 11442.904 ms (00:11.443)
postgres=# SELECT
StationId,
max(Td) AS max_td
FROM tw_weather_data
WHERE (MeasuredDate >= date '2023-01-01' and MeasuredDate < date '2024-01-01') AND (Td IS NOT NULL)
GROUP BY StationId;
Time: 685.748 ms

Effectivement, sur un an, il y une grosse différence. :jap:

Message cité 1 fois

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Flaie

el muchacho a écrit :

Pardon...

Effectivement, sur un an, il y une grosse différence. :jap:

Ce qui semble évident puisqu'elle est .. partitionnée, preuve que ça fonctionne

Message cité 1 fois

ratibus

Et plus de 500 partitions ça fait beaucoup non ?

Message cité 2 fois

Devil'sTiger

XaTriX a écrit :

Ah oui mais si on prend pas Charleroi on aura pas Genève la prochaine fois [:zedlefou:1]

France grande, visons la Turquie, en plus c'est joli a cette saison [:fatal error:6]

Flaie a écrit :

Ce qui semble évident puisqu'elle est .. partitionnée, preuve que ça fonctionne

Vala

el muchacho a écrit :

Les partitions c'est plus efficace quand tu tappes disons une dizaine de partitions max. Au dela (genre le fullscan du dessus) tu vas voir quelque chose de plus lent au contraire.

Ca dépend les opérations que tu fais, mais entre les partitions et les index normalement tu devrais pas trop avoir de cas horrible.

Suivant ce dont tu as besoin il y a d'autres solutions comme:
https://github.com/timescale/timescaledb

Par exemple, pour timescaleDB, on a remarqué que c'était encore pire quand tu full scan, mais encore plus rapide sous pas mal de conditions.

Donc a chaque fois faut tester...

Plam

Bear Metal

Tiens en parlant de Clickhouse ça me fait penser qu'on devrait trouver une ressource pour consolider des données d'un peu partout en interne pour faire une seule grosse base facilement exploitable pour nos calculs de métriques business et aussi bien sûr de la business analyse un peu poussée :jap: J'ajoute à la liste des trucs à faire

Message cité 1 fois
Message édité par Plam le 15-10-2025 à 16:55:45

---------------
Spécialiste du bear metal

Flaie

Much est ton homme et il free-lance

Message cité 2 fois

Kenshineuh

Plam a écrit :

Ça sera plus facile quand on aura réussi à migrer en SQL aussi.

Message cité 1 fois

el_barbone

too old for this shit ...

Flaie a écrit :

Much est ton homme et il free-lance

et son contrat actuel, lui laisse beaucoup de temps. [:ultravox]

---------------
En théorie, la théorie et la pratique sont identiques, en pratique, non.

el muchacho

Comfortably Numb

ratibus a écrit :

Et plus de 500 partitions ça fait beaucoup non ?

C'est ce que je pensais aussi, mais d'après ce que je lis ici et là, le planner de Postgres supporte plus de 1000, voire 2000 partitions depuis la version 10.
Sinon j'aurais partitionné par année, ce qui en faisait 4 fois moins.

Flaie a écrit :

Ce qui semble évident puisqu'elle est .. partitionnée, preuve que ça fonctionne

Oui, une fois que tu lis une partition en cache, toutes les recherches sont bufferisées pour toutes les lignes, alors que pour les 39 années, ça ne tient pas dans la taille de buffers que j'ai allouée.

Message cité 2 fois
Message édité par el muchacho le 15-10-2025 à 17:16:24

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien

Publicité

Page : 1 2 3 4 5 .. 26877 26878 26879 .. 27192 27193 27194 27195 27196 27197

Page Suivante

Page Précédente

Haut de page

FORUM HardWare.fr

Programmation

[blabla@olympe] Le topic du modo, dieu de la fibre et du monde

Sujets relatifs
Plus de sujets relatifs à : [blabla@olympe] Le topic du modo, dieu de la fibre et du monde

Page générée en 0.106 secondes