Reprise du message précédent :

Moi j'ai été régulièrement convié à des réunions de stratégie marketing dans une boîte inconnue. Il a fallu que je réponde 4 ou 5 fois que je n'étais pas la personne à laquelle ils pensaient pour qu'ils mettent à jour leurs carnets d'adresse.

Si vous ne savez pas quoi mater cet a-m, voici un stream 1080p en direct de l'ISS: https://www.youtube.com/watch?v=RtU_mdL2vBM

Incroyable ce truc.

Encore un fake de Hollywood pour tenter de nous convaincre que la terre n'est pas plate

'jour    
 
On me remonte fréquemment le même type de besoin, à savoir l’analyse de fichiers (type logs) pour détecter des éventements en tenant compte de plusieurs entrées (lignes). Ça fini souvent par l'écriture d'un parser custom, et on a toujours l'impression de faire le même programme à une vache près. Par fichier de log, j'entends un fichier texte, XLS ou CSV, avec un ou des patterns récurrents.
J'aurais tendance à coller ça dans ElasticSearch parce que c'est un peu le réflexe en ce moment, mais j'ai un doute que l'outil soit adapté à la corrélation de multiples documents.
J'ai regardé vite fait Splunk et Graylog mais là encore j'ai l'impression que c'est avant tout fait pour traiter les entrées une à une.
 
Vous avez des softs, framework ou même patterns à me conseiller ?
 
Exemples boiteux

Une séquence est une série d'une même combinaison des deux premiers paramètres (par exemple tous les foo+bar) avec X minutes maximum d'écart entre le premier et le dernier.
On veut détecter des séquences avec plusieurs pattern pour détecter une séquence, le précédent étant un exemple.
=> Faire la somme de 'Param 3' sur la séquence.
=> Détecter qu'une séquence foo+bar ne s'est pas terminée par 0000
=> Lister les séquences qui n'auront pas été détectées par l'un de nos pattern

pour des contraintes aussi complexes à mon avis tu n'auras rien de plus flexible et de lisible qu'un vrai langage de prog, comme du python par exemple.

https://techcrunch.com/2017/07/02/m [...] -of-staff/
et soudain, une marée de Jubi qui envahi le marché du travail ...
 
Tu penses qu'ils vont créer des statups dont le business model repose sur la menace d'audit de licences ?

+1, intégrer un langage de programmation dans l'application, il n'y a rien de mieux. Surtout si il est accessible par le client, ensuite il fait sa tambouille lui-même tout seul.
C'est ce que j'avais fait dans le complex event processor (aka stream processor) que j'avais développé il y a pas mal d'années pour exactement cette application. Le client pouvait définir ses propres expressions régulières, et ensuite développer des scripts qui s'exécutaient sur les données parsées.

En fait, ce que j'avais développé, c'est exactement ce que LeRiton cherche à faire.
Après il y a maintenant quelques outils qui peuvent faire ça comme Esper et StreamCruncher, entre autres (à l'époque,l'auteur de ce dernier outil l'avait développé en même temps que moi le miens, et on était en contact par mail. Malheureusement, le miens n'était pas open source et il a arrêté le sien. Il recommande maintenant Apache Flink ou Spark).

Donc http://blog.ippon.fr/2015/06/03/ap [...] edondance/

 
ça ressemble beaucoup à de la "data science", donc je dirais Python/Pandas ou R. Selon les volumes, tu peux avoir besoin de trucs plus costauds, cf les reco des autres
 

ce sont les sales, ce que je peux comprendre ( leur orga est incroyable, à chaque call y'a 5 personnes MS pour une de chez nous)
 
par contre je suis pas dans les ventes moi Je suis anciennement Product Manager, et récemment Architecte / Analytics lead
 

Premier jour chez Google. L'armée de stagiaire qui polluent la journée d'intégration c'est relou... Sinon c'est comme une rentrée à l'école en mieux organisé et avec une meilleure cantine. Ah et aussi j'ai vu une démo du projet sur lequel je vais bosser. Tain

 
awk  

La procédure pour prendre des congés est comment ? T'as combien de RTT ?

Après sérieusement je sais pas encore trop mais je pense que ça va être plutôt plus calme par rapport à ma boîte de l'année passée, ils insistent pas mal sur les 40 heures par semaine.

c'est cool.
Ma question était à moitié sérieuse : ça fait grosse boite vu de l'intérieur aussi ?

Oh. Jusqu'à présent j'ai fréquenté que des petites boîtes ou des grosses institutions. Ça ressemble beaucoup aux grosses institutions sauf que l'intranet claque à mort (et on court-circuite le rapetisseur d'url pour faire des liens maisons, ça claque aussi)

Et à l'Université j'avais pas d'onglet "benefits" Dans ma page RH...

Et ces fils de pute de l'IT ont déballé mon Mac  

On a un service qui interagir avec Google Drive (getAllFiles(), get(), delete(), etc) et actuellement on a une bonne dizaine de tests dessus.
 
Premier problème : l'API est vraiment lente, exécuter cette grosse dizaine de tests rajoute une dizaine de minutes.
 
Second problème : par moment l'API retourne des 500 inexpliquées. Lorsque l'on fait une release avec le maven-plugin-release (qui exécute deux fois la suite de tests) on peut perdre jusqu'à une heure à cause de ça (si ça arrive lors de la seconde exécution).
 
Troisième problème : la nécessité d'avoir un compte Google de test pour interagir avec l'API.
 
Je devrais mocker les appels à l'API ou tout simplement supprimer ces tests
Ou alors ça ne vous choque pas

Mock (si tests unitaires) ou WireMock (si tests d'intégration)

Bah c'est un test de l'intégration de l'API externe, ça me semble une bonne idée de les avoir histoire de voir si rien n'est pêté (par vous ou par eux, s'ils décident de changer une partie de l'API d'un jour à l'autre). Par contre ils pourraient ne pas tourner par défaut et tourner juste occasionnellement sur un CI (genre nightly ou quoi). Il est ptet aussi possible d'identifier les tests vraiment internes (qui pourraient tourner sur un mock) du reste, mais globalement il me semble une bonne idée d'aller valider votre bordel contre le vrai endpoint sinon vous tournez dans le vide et votre truc va finir pêté.

En dehors de ça AFAK vous êtes fuckés, Google semble pas vraiment avoir des endpoints de test/integ.

non non non !    
 
maintenant que hephaestos est employé là-bas, il est responsable de tout ce qui est lié à google de près ou de loin
 
hephaestos, quand je tape "fae" au lieu de "face" dans ma barre chrome, il me suggère pas facebook, résout ça au plus vite, merci

 
Ce sont des tests d'intégration exécutés avec PHPUnit
 

 
Quand Jenkins build une snapshot l'idéal serait de détecter lorsqu'il y a un changement sur le ou les services associé(s) au drive et d'exécuter les test associés mais je ne sais pas si c'est possible.
 
Quand Jenkins build une release ça me parait pertinent d'exécuter ces tests d'intégration mais on en revient au problème numéro deux

Ouais, on a bien un problème avec la test suite
 

Bah non, quand Google pête son API vous êtes pas notifiés
 
C'est pour ça que je suggère des daily/nightly, vous lances pas ces tests par défaut mais genre 4x/j toute la suite tourne integ comprise.

Après Google devrait pas changer son API.
Si Google est down tu réponds 502 ou 504.
Et tu surveilles tout ça en prod avec des alertes qui seront plus réactives qu'un job Jenkins toutes les 6 heures.

Ne pas suggérer Fb c'est pas un bug c'est une fiture

Ouais c'est un stream processor que tu veux, cf mon message précédent.
 
 

Dans l'enquête sécurité :  
 

 
GLOIRE.

je viens de découvrir que toutes les locations de toutes les communes listées là: https://www.legifrance.gouv.fr/affi [...] e=20170703
n'ont qu'un mois de préavis pour se barrer \o/

haha, Gaëtan aurait du se faire chier des heures à trouver (voire faire inventer si elle n'existait pas) puis implémenter une procédure interne qui lui aurai couvert son cul, assister à 12000 réunions et se faire engueuler par son chef qu'il n'atteint pas ses objectifs. Gaëtan a probablement fait perdre moins de temps et moins d'argent à l'entreprise puisqu'il n'a fait intervenir que des techniciens à bas pour nettoyer son poste en quelques heures alors que sinon il aurait mobilisé des gros salaires dans des réunions qui n'auraient de toutes façons pas été plus rapides que la ré-installation.

+1
Spark, Flink, Storm/Heron, ... en gros faut aller regarder les projets Apache aux noms de Pokémon.
 

Chez S*ms*ng on avait une news letter mensuelle sur la sécurité, avec des exemples du genre
 
Employé A était torché après un repas d'équipe, a attouché employée junior B, vomi dans le restaurant et s'est battu avec des passants, avant de finir au poste de police.

• Employé A: rétrogradation et diminution de deux bandes sur l'échelle des salaire
• Manager A: réprimande officielle.

Employé C a grugé ses heures de pointage en badgeant dans un autre bâtiment.

• Licenciement.

Nom de la boîte, qu'antp leur colle un procès.

Je m'en occupe  

Merci à tous pour vos conseils.
Je vais garder 'stream processor' en tête pour les recherches. J'ai un peu lurké Spark pour cet usage. Pour certains cas d’analyse ça va effectivement coller (typiquement tout ce qui peut se résumer à un map/reduce), pour certains comme la détection de cycles ou séquences, c'est un peu plus flou.

How I found a bug in Intel Skylake processors

La question c'est « est-ce que l'auteur utilise Jenkins ? » (attention, blague de geek subtile )