Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1672 connectés 

  FORUM HardWare.fr
  Programmation
  BI/Big Data

  Comment écrire 1 million de données/sec ?

 



 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Comment écrire 1 million de données/sec ?

n°2244979
el muchach​o
Comfortably Numb
Posté le 04-12-2014 à 21:42:14  profilanswer
 

Deux tests sur des clusters sous Google Compute Engine:

 

Cassandra sur 330 serveurs (3 milliards de messages)

 

Aerospike sur 50 serveurs (100 millions de messages, dataset en RAM, donc ce n'est pas comparable avec le test de Cassandra)

 

Retours d'expérience entre les deux: http://stackoverflow.com/questions [...] -cassandra


Message édité par el muchacho le 07-12-2014 à 06:17:39
mood
Publicité
Posté le 04-12-2014 à 21:42:14  profilanswer
 

n°2245702
el muchach​o
Comfortably Numb
Posté le 11-12-2014 à 09:44:48  profilanswer
 

Au tour de la base key-values FoundationDB de la jouer gros bras:
14,4M d'insertions/sec sur 32 instances Amazon c3.8xlarge, dans des transactions ACID qui plus est ! (1 milliard de couples clé-valeur, les transactions sont bien commitées sur disque)

 

A noter que le test ne dure que 5 mn, donc les clefs pourraient être entièrement en RAM, et que la base ne gère pas plusieurs data centers. Pas open source, payant au-dela de 6 processes, mais il faut compter le coût total du cluster: si une BD nécessite un cluster 4x plus petit, le coût total en production peut être inférieur.


Message édité par el muchacho le 11-12-2014 à 13:17:20
n°2245748
BenO
Profil: Chercheur
Posté le 11-12-2014 à 13:07:42  profilanswer
 

Sans oublier des requêtes limitées à 5 secondes  [:cerveau zytrasnif]


---------------
Python Python Python
n°2245749
el muchach​o
Comfortably Numb
Posté le 11-12-2014 à 14:01:43  profilanswer
 

Ouais, ça peut être un peu ennuyeux. De toute façon, cette base ne me paraît pas mature pour le moment, même si elle a l'air prometteuse. A 500 000 inserts/s/node, les perfs sont vraiment au top (et en lecture, ils atteignaient >8,5M reads/s). Tellement que ça en est presque suspect...


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  BI/Big Data

  Comment écrire 1 million de données/sec ?

 

Sujets relatifs
Macro vba récupérant les données de fichiers de sous dossiersGestion de Base de données partagées Excel
[Excel][VBA] Ajouter plusieurs séries à un plot nb données variablesBug lors de récupération de données dans BDD
Inserrtion données et recherche de valeursProblème pour insérer des données sur MySQL
Comment créer un lien avec des éléments d'une base de données?Base de données Access vers SQL server
Ecrire dans un fichier binaireAccéder aux données de cette manière : bien ou pas bien ?
Plus de sujets relatifs à : Comment écrire 1 million de données/sec ?


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR