Reprise du message précédent :
Je suis sûr qu'il y a des experts @MongoDB ou autre diablerie NoSQL ici, non?  

Non on est des professionnels ici, on utilise des technos pertinentes

 
J'en ai utilisé, je suis pas sûr d'être un expert par contre.

je touche en ce moment, c'est quoi ton besoin ?

 
Pourtant ma boite me dit ça à chaque fois

ouais, justement.
 
Contexte : j'ai une appli avec sa DB Oracle, pas trop grosse (90 millons de lignes pour la plus grosse table)
 
Pour réduire les indispo dûes aux évolutions de modèle avec migration de données, on nous demande d'évaluer le coût d'un passage à une techno NoSQL
 
Outre que je ne vois pas bien comment ça répondrait au problème, à part à nous faire coder des mappings entre les formats différentes versions de l'API Rest (qu'on ne peut pas décomissionner au fur et à mesure de l'arrivée des nouvelles parce que les consommateurs ne font pas l'effort de migrer), ce qui ne répondra pas vraiment au problème de la fréquence des MEPs vu qu'on passera plus de temps à écrire ce code qu'Oracle n'en passe à migrer des données, j'ai une autre question  
 
Aujourd'hui notre appli a du mal à remonter des "grosses" grappes de données.
 
En gros, on a des personnes avec des relations sur des éléments,. Les relations portent des contrats.
 
Les jointures sur 4 tables (personne, relation, contrat, éléments) sont assez gourmandes et chiantes.
 
Au moment de l'écriture, on a la grappe complète, donc on pourrait la coller en DB document.
 
La question, c'est de savoir si une DB document sera capable de gérer des contraintes du genre :
 

Vous avez pensé à partitionner ?
J'ai le sentiment à chaud que vos données pourraient bien s'y prêter

Dans l'idéal il faudrait revoir le modèle en profondeur.
Le partitionnement pourquoi pas, mais on pourrait surtout séparer les contrats actifs et résiliés, et les relations courantes et historiques dans des tables séparées .
Parce que la consultation concerne rarement ce qui est résilié, et la modification jamais. Donc ça fait un paquet de données qu'on pourrait coller a part, éventuellement partitionné par date, ou en document, justement.

Donc quitte à revoir le modèle de données, au lieu de le faire en passant sur du NoSQL avec tout ce que ça va comporter d'emmerdes (apprentissage et exploitation d'une techno additionnelle nouvelle pour vous), remettez au carré le modèle actuel dans le SGBD actuel.

Tiens rati tes nike tu les as comment? J’ai test via leur store online pour pouvoir essayer les air force que t’as reco (et les lunar qui ont aussi du potentiel) et ça se vautre avec une erreur qui dit rien d’utile que j’utilise ma carte fr ou la be.

Ces dernières années j'ai acheté toutes mes paires de Nike sur le site officiel pendant les soldes.
Paiement avec Paypal à chaque fois par contre (à mon avis j'avais pas ma CB sous la main la première fois et du coup j'ai toujours continué comme ça ).
Conditions de retour au top d'ailleurs, tu reçois les paires commandées directement avec des bons de retour (mais je crois que c'est assez standard aujourd'hui chez les vendeurs de chaussures en ligne).
Pour les Air Force 1 t'as dû voir, y a plusieurs hauteurs disponibles. Moi c'est des High (payées entre 55€ et 65€).

Je viens de passer en revue la production de dentelle et autre trucs de ma mère au cours des 10 dernières années, c'est ridicule. J'ai pas appris autant de trucs nouveau entre 30ans et 40 qu'elle entre 60 et 70 ans.
 
Et à 45 ans elle a passé un brevet professionnel d'électrotech.

Pour le moment on nous demande de chiffrer la chose, donc on va le chiffrer. Ca va être cher

Il y a evidemment une question de buzzword là dedans, et aussi, je pense, une idée théorique des archis de SI, qui ont décidé que notre appli n'avait pas la responsabilité de la cohérence des relations, alors que le top management nous  challenge sur la qualité de donnée de ladite relation

Après sur le fond, apprendre et exploitr une nouvelle techno, ça me dit à fond, mais pas si ça n'apporte aucun avantage ou que ça pose plus de problème que ça n'en règle.

est-ce que tu peux extraire ta requête sur contrat dans une vue, et ensuite jouer sur le cache ou la matérialisation de cette vue?

 
Pour expliquer mieux le modèle, on parle de compteur élec .
Les personnes sont titulaires du compteur, et dessus ils ont des contrats de fourniture d'élec (et la relation "titulaire" peut porter plusieurs contrats, dont normalement un seul est courant, c'est quand tu passes de EDF à Engie, en gros)
 
Pour les personnes morales, ona  la modélisatoin de l'INSEE : entreprise (SIREN) / Etablissements (SIRET)
 
Les cas qui nous posent problème, c'est quand on chope une entreprise qui a plusieurs milliers d'établissements avec chacun un ou plusieurs compteurs et les contrats qui vont avec (ex : la poste)
Ou quand on chope une entreprise qui a choisi de mettre tous les compteurs sous la responsabilité d'un seul établissement (on en a un avec 1700 compteurs)
 
(la question de savoir ce que vont bien pouvoir foutre les utilisateurs avec les 15000 établissements et compteurs de LA Poste dans leur IHM est pertinente Mais la réponse Pagination ne marche pas super à cause du second cas)
 
Pour la vue, on a essayé, mais ça marche pas super.
 
En gros, pour le moment en perfs j'ai :  
 
- JPA de base, avec des fetch en lazy par endroits (à corriger pour ce cas précis d'utilisation, mais bon) => trop long
- vue matérialisée (mais qu'on peut pas mettre en auto-update, et nos clients veulent la donnée la tout de suite) => mieux, mais trop long
- requête SQL + resultSet à la papa => moins bien que la vue (~30%), mais pas suffisant pour passer sous le temps de réponse attendu.
 
Ah oui.. J'ai pas parlé du temps de réponse attendu... En gros, on a des mecs qui gèrent les flux, et qui refusent de monter le timeout au dessus de 5 secondes.
On a beau leur dire qu'on parle de ~14 cas sur l'ensemble des entrerprises françaises ils s'en balancent...
 
Et ça vaut pour tous nos services => la consultation de l'étabvlissement qui porte 1700 compteurs, ça rame aussi.
 
Après... Je viens de tester un truc à base de "j'aviosn pas pensé à regarder le hibernate.fetch_size", et ça va beaucoup plus vite
 
2 secondes pour remonter La Poste, contre 26  
Je suis pas mal, là.....
 
Il n'en reste pas moins que pour la haute dispo, il faut qu'on fasse l'étude NoSQL...(en gros, ils reprochent à un schéma SGBDR de devoir se mettre à jour de temps en temps, avec MaJ de données qui imposent un arrêt applicatif)
 
Les théoriciens de l'archi d'entreprise chez le client disent qu'en NoSQL il n'y a pas de schéma, donc on peut avoir l'entreprise A au format document JSON V1, et l'entreprise B au format document JSON V2
 
MAIS on devrait se fader les transformations de format en entrée/sortie.. Et ça, c'est chiant.
 
L'autre solution c'est de faire en sorte que nos services soient capables d'encaisser les modifications de format, et "migrent" la donnée au fil de l'eau (à la consultation, quoi), mais ils veulent pas, parce que un READ ne doit pas modifier la donnée... Perso, j'en ai un peu plein le cul de leurs positions dogmatiques, mais bon.

putain Le passage de 26 à 2 secondes c'était avec le JPA.
Avec la requête brute et le resultSet je suis à 1.5 seconde

Bon, du coup comme le sujet perf était la top priorité des 10 semaines à venir (PI planning jeudi à Nanterre), je vais avoir une bonne nouvelle

MAis comme quoi, le DBA qui me disait que "ouiiii, ça fait trop de données, c'est normal que ça soit lent", j'ai eu raison de le faire chier pour qu'il analyse un peu plus avant..
C'est en m'expliquant pourquoi c'était plus lent avec SQDevelopper qu'avec SQLPlus qu'il m'a donné l'idée de regarder le fetch_size (à 10 par défaut dans le driver Oracle)

Au passage je connaissais pas cette subtilité de JDBC, comme quoi j'ai pas encore assez fait de back.

Ouais donc déjà les technos que vous utilisez depuis des années vous les connaissez pas vraiment, alors si c'est pour foutre une techno hype à moitié à la place, c'est se tirer une balle dans le pied direct

 
je dis pas qu'il est responsable du truc. Simple quand il ya un problème, il y a ceux qui le cause, et ceux qui peuvent le résoudre. Il fait partie de ceux qui pourrait le résoudre, mais je trouve pas qu'il ait été particulièrement efficace là dedans (par ex juste avant la reprise de septembre il y a eu un gros rassemblement de tous les opposants à Johnson. Corbyn a leadé le truc (très bien), mais il a proposé ensuite que ce soit lui le leader du gouvernement temporaire, ce qui a fait un gros épouvantail et a fait capoté le truc. Il aurait proposé qqn de plus modéré (par ex un centriste, ou un tories modéré) son truc avait des chances de se faire.
je te rejoins sur le fait que son parti semble pour l'instant aligné derrière ce qu'il propose, mais du coup c'est la meme chose que les tories : il fait ce que son parti veut, même si c'est contre productif.

T'as le droit de perdre des données ?

Jusqu'au jour où tu trouves des entrées avec un schéma qui correspond à rien de connu Ou le truc au format V1 qui est en fait V0.999

Bah j'avoue ne jamais avoir eu ce genre de problème avant.. pourtant sur les 2 précédents projets j'ai jamais eu a toucher a ça alors que manifestement, il y en a probablement eu besoin.

Et avant ça, ma dernière xp en back c'était du MySQL (qui d'après ce que je lis n'a pas le problème) il y a 15 ans.

La différence c'est que pour les 2 autres projets, il y avait un expert oracle très bon chez le client, et que ça devait déjà être fait avant que j'arrive (c'est pas des trucs from scratch)... La on en est au point où on avait du java 6 sur un projet débuté en 2017, aucun environnement de perf qui ait des caractéristiques comparables a la prod, et Les credentials du responsable technique en dur dans un jenkinsfile pour faire les déploiements.

Non.
Enfin, dans les faits on en perdrait ils en auraient rien a foutre je pense
La mise a jour de l'INSEE n'a pas tourne depuis mai, parce que personne n'a vu que le fichier qu'on utilisait (mis a dispo par une plate forme d'échange) était remplacé par une API http.
On a le code prêt depuis 2 mois, mais l'ouverture de flux prend des semaines (voire des mois), donc on n'a pas pu tester en conditions réelles

On a trouvé de bugs délirants, du genre qui remplace le Siret par un autre... Du coup en consultatîon, l'entreprise voit les données d'une autre...

Mais tant qu'on respecte scrum Et safe, ils sont contents.

Oui, j'imagine.
Après perso je ferais bien le Switch juste pour l'opportunité d'essayer, mais bon.

Teste avec du json dans du PostgreSQL.  
Sur nos projets avec beaucoup de search, on a toujours un datastore primaire avec du Percona et du secondaire avec Solr ou Elasticsearch.

Ouais je regardais sur le site et je voulais commander les AF1 '07 Mid, les LF1 '18 et les SF AF1 Premium. Après elles sont pas du tout en solde, sauf les SF. Mais dans tous les cas la commande veut pas passer donc bon…

T'as un compte N+?

Tu peux faire du json dans oracle.

Ce truc est tout simplement une émanation de Satan, qui indexe quand il en a envie.

Merci pour les vidéos sur les ordinateurs quantiques pour les nuls, je comprends mieux le principe de base
 
Maintenant je veux creuser ce que sont les quantums !

Un quantum (des quanta) c'est juste un minimum indivisible impliqué dans une interaction. Ce que tu veux c'est plus quantum mechanics / quantum theory.

Ça couvre pas tout, mais https://en.wikipedia.org/wiki/QED:_ [...] and_Matter est vraiment pas mal en intro pseudo-générale (comme son nom l'indique ça couvre QED plus que QM mais ça a l'avantage d'être assez concret dans la mesure où ça cause de l'interaction entre matière et lumière / EM), tu peux regarder les vidéos et / ou lire le bouquin (qui est très court et sympa).

 
Super, merci

C’est quand le notaire m’a demandé mon régime matrimonial que j’ai compris qu’on était pas sortis de l’auberge.

"Du kale et des oeufs brouillés" c'était pas la réponse attendue?

Et du quinoa bio

pas d'acai ?

Non pas de compte N+.

Ca fait tourner toute notre prod ecommerce sans souci

Ici on a plein de merdes : l'indexation qui peut démarrer avec 10, 20, 30+ secondes de retard, le serveur qui s'écroule sans arrêt (alors que le hardware suit)... Pas génial

dites la location d'un appartement meublé pour une courte période de temps, ça se fait en dehors de airbnb ?
 
genre que ce soit suffisamment peu cher pour qu'on le garde les week-ends où on est pas là et qu'on le garde un mois.

Quelle version ?

Vous avez quoi comme serveur smtp ?

Pour quel usage?

Home
Celui de free me casse les noix