Reprise du message précédent :

 
Idem enfin ça dure depuis 2 jours.

 
Pour db2 possible je connais pas assez
Pour lotus meme le serveur ce n'est plus vrai

Et bonne année sinon

Bonne année les aigris

Bonne aigritude à tous

Je vous souhaite pleins de lusers toute l'année 2011

Qui dit "lusers" dit "travail", qui dit "travail" dit "avoir un travail" --> OK, Merci ! Autant pour vous

Bananier ! J'vous souhaite une belle année pleine de surprises mais sans kernel panic, sans RAID5 doublement amputé, sans chat incontinent, sans cassoulet à outrance, sans technicien qui s'enferme dans les chiottes, sans stagiaire qui bidouille la prod, sans chauffeur et sans toutes les autres emmerdes diverses et variées qu'on a eu jusqu'ici
 

T'aurais pu souhaiter une bonne migration sous SAP et Domino à tous, tant que tu y étais...  
A+,
 

 
Merci, j'avais zappé que j'y étais aussi à partir de ce soir

Mais...
 
12h00 le 01/01/11 :
 

 
OK...
 
05h37 le 02/01/11 :
 

Suivi de :  

 
Puis deux minutes plus tard, en rafale :  
 

 
Et un petit finish him :  
 

 
 
 
 
Vérification faite côté log réseau, aucune activité inhabituelle, rien. Tout le système est passé hors ligne, à l'exception du FTP et du SMTP/POP, mais toutes les applis MS du serveur étaient HS, à commencer par RDP.  
 
 

 

 
Dans une université ?
 

 
"mais je comprends pas, ca marchait avant !!!"    

 
OK, donc toi ça te semble normal que sur un serveur, une appli ne redémarre pas, sans raison ni modification ?

ouais, c'est les bugs non reproductibles, que j'appelle parfois "le coté mystique du metier", pouvant etre du à une particule cosmique au mauvais endroit au mauvais moment, a une accumulation d'electricité statique au mauvais endroit au mauvais moment etc, et ca donne des trucs indiagnostiquables, non reproductibles, qui arrivent une fois par decennie mais contre lesquels la seule protection a part un cluster geo quad-mirroré c'est l'exorcisme et les talismans vaudou
 
ca arrive ouais, et meme que l'appli jamais elle se relance et le serveur tombe avec, corruption de la console et tout et tout alors que le bordel il tournait depuis des mois/années sans reboot, et qu'apres le reboot bah ca retombe en marche pour aussi longtemps
 
c'est toujours surprenant quand ca arrive, mais on s'y fait. il faut surtout savoir reconnaitre ce type de merde et faire le reboot salvateur et plus y penser... car tu pourrais passer 2 jours a lancer des debugs et des dumps memoire et tout dessasembler et tu trouveras pas qu'est ce qui a bien pu changer ce putain de bit 0x00000100 dans ce putain de registre CPU alors que la donnée en mémoire est bien 0 et non 1
 
donc non, c'est pas normal, mais si ca le refait pas apres reboot ni au cours de l'année suivante (y compris a l'anniversaire calendaire, on sait jamais ), bah pragmatisme powah, on peut pas blinder avec 1m de plomb un datacenter et pointer au multimetre tout les points de masse d'une baie serveur quoi...
 
 
si ca veut pas retomber en marche, la ok c'est un vrai probleme bien sur !

J'ai déjà rencontré un bug kernel qui, au bout de 497 jours, repassait l'uptime à 0, ce qui faisait toutes sortes de bizarreries dans les applications, notamment celles des serveurs en cluster 2N qui se surveillent l'un l'autre à coup de heartbeat, les 2 serveurs passant master en même temps car le slave recevait une réponse à son polling 497 jours en retard

 
Bug connu (et casse couille, il m'a fait perdre ma course à l'uptime contre l'ingé réseau dans mon ex mission )

quiconque a deja eut a gerer un parc d'imprimantes a deja vu des boitiers/carte jetdirect qui disparaissent d'un coup, ca clignote et tout mais ca ne pingue plus, debranche/rebranche le cable rien n'y fait, et la carte n'est plus visible via le menu ad-hoc...
 
debrancher l'imprimante, sortir la carte, souffler dessus, la remettre, rallumer hors-secteur pour bien vider l'alim, rebrancher et ho ca retombe en marche  
 
"mais j'ai juste soufflé dessus !!???" qu'elle me faisait la dame
"ca faisait combien de temps que vous l'aviez pas off/on cette imprimante ?"
"ho bah depuis que vous nous l'aviez mise, y a un an a peu pres"
 
 
 
pour moi, c'est du meme tonneau, la seule protection c'est des reboot preventifs

ou alors du matos tellement cher et tellement de qualité spatiale qu'il vaut mieux payer un smicard par serveur pour qu'il le reboot une fois par mois, ca reviendra toujours moins cher...

@Gloubi T'imagines pas le temps que ça a pris pour faire la correction en interne (kernel custom)

Sinon des crashs où la machine se petit suisside (freeze total, rien dans les logs, console vide, reboot élec obligé, aucun symptôme qui annonce le freeze) je connais un endroit où ça arrive régulièrement (mais pas souvent) et c'est un mystère qui dure depuis... longtemps

ha j'avais aussi eut le cas d'une appli tellement mal foutue qu'elle bousillait le serveur sur lequel elle tournait, elle mangeait une certaine quantité d'une obscure table d'alloc systeme (invisible sauf a coup de processmon avec les debug symbols installés...) et finissait par arracher toute l'interface graphique, tout ce qu'on pouvait faire c'est un shutdown -r en ligne de commande car meme la console etait devenue noire, comme les sessions TSE

si c'est regulier au point que ca ne surprend meme plus, y a deux choix, soit l'appli programmée a la zob comme je dit au dessus, soit l'installation electrique est a chier de chez a chier si c'est un probleme transverse multi plateformes
 
 
y a aussi les fibres qui deconnent mais pas tant que ça, genre une vibration ou la dilation entre les deux t° de consigne de la clim et bim ca saute...
la faut pointer les compteurs d'erreur, paye ton scripting...

Les 2 sont suspectés mais l'investigation a été menée un peu dans tous les coins sans succès. Je crois que le seul truc pas testé ça a été de changer de marque de serveurs, car plusieurs générations d'un même fabricant ont présenté le truc, plusieurs datacenters différents, etc... et niveau soft ils arrivent pas à activer/inventer assez de debug pour comprendre ce qui foire  
 
Sinon dans le genre truc qui part d'une bonne intention mais pas tjrs parfait : oom-killer. Quand ya un memory leak qui finit par empêcher le kernel de fonctionner sereinement, oom-killer fait le ménage et kill les applications gourmandes. Sauf qu'en pratique, plutôt que de tuer ZE consommateur de mémoire, il tire dans le tas et en vient à killer sshd par exemple

contre les trucs mal foutus, stop/start  
 
mention spéciale a networker 7.3.x

 
T'as Solaris 5/6/7/8 aussi qui a certaines dates particulières repasse à UNIX temps 0
 
Y'a un patch mais ça fait zarb là première fois que tu vois ton serveur en 1970  

epoch fail !

Nan mais en même temps vous êtes payés pour que tout ça tourne, si ça marchait tout seul et que c'était parfaitement fiable, tout serait externalisé et on serait au chomedu. Faut être un peu honnête des fois.

t'étais meme pas né en 70
 
ha si, pardon

meme une machine avec paliers auto-graissants doit etre rechargé en huile de temps a autre hein

   
A+,

 
Vu que c'est logiciel on devrait plutôt être dans un truc du style mouvement perpétuel, cad sans contraintes de frottement donc pas d'interventions (analogiquement à tes écrits) mais l'outil informatique étant ce qu'il est et surtout les devs étant ce qu'ils sont ( ), ta remarque est tout a fait valable et justifiée

 
Il faut peut-être graisser régulièrement les devs

comme dit Slyde, on vous donne du boulot, alors un peu de reconnaissance svp

Ca c'est bien ce qui risque de se passer pour pas mal de petits informaticiens à leur compte dans les procahines années : lec homdu suite à la montée en puissance du cloud...

y a pas que le dev' dans l'info...

 
lolz look who's talking

 
Mouais, alors ça c'est pas encore fait. Et je te dis ça parce que je bosse en parallèle sur 3 projets de cloud privés, qui seront largement aussi complexes à administrer que des archis non centralisées...  
Les problématiques seront différentes, mais un déport massif des investissements des boites vers du cloud privé, honnêtement, je n'y crois pas.

Putain de drivers nvidia de merde
 
Je trouve un truc sur le net a propos de mes problèmes de rdp, je tente la maj des drivers nvidia. Au reboot il me voit plus la carte, et part sur du generic et me demande systématiquement de rebooter pour terminer l'install. 1h que je cherche

 
On y pensera    
 
 

oui, pis voir le nombre de boites qui refusent le cloud because pas savoir ou sont leurs données, les problemes de fiabilité du cloud microsoft etc...