Reprise du message précédent :
Y a des gens chauds en programmation de log-vraisemblance sur Stata parmi vous camarades ?

L'exemple que je donne est encore pire : il ne dit pas "je pense que le dé est truqué mais j'ai 5% de chances de me planter", il dit "je n'ai pas le droit d'affirmer que le dé est truqué, même en me laissant 5% de chances de me tromper".
 
Autrement dit, la conclusion est "on ne peut pas conclure".

Techniquement on a le droit de rejeter l'hypothèse de non significativité si le alpha passe en dessous de 5%  ("on rejette H0" ) ce qui ne dit pas que c'est juste, ça dit juste que c'est extrêmement peu probable que ça soit faux.

Bref, p < 5% => "je garde"

c'est un axiome cherchez pas plus loin ; en stats c'est une certitude, les tests statistiques c'est rien, en plus c'est des probabilités.

------

les erreurs types 1 c'est les faux négatifs (calculables)
les erreurs type 2 c'est les faux positifs (non-calculables)

------

Focalisez surtout sur la spécification (quelles séries ?) le choix du modèle (regression ?) et la saleté de données (hétéroskédastiques ?) c'est ça le sujet des stats inférentielles.

 
Je vais essayer d'orienter un stage de master vers de l'analyse statistique (même si ce n'est pas du tout mon domaine de formation ). Du coup je passerai peut-être poser quelques questions aux experts    
L'analyse probabiliste est très en vogue en tout cas. Même si certaines personnes sont très attachées aux méthodes déterministes

Salut rata !
 
T'as le master ESA de univ. Orléans (généraliste) qui a l'air pas mal, au vu de la précision des questions sur leur forum http://www.univ-orleans.fr/deg/masters/ESA/ (1,5k messages, dernier avant-hier)  
 
Sinon le forum du CIRAD (des agro ... sale) "statisticiens sur R" :
http://forums.cirad.fr/logiciel-R/ (368k messages, le dernier ce matin)  
 
J'ai demandé à leur modérations hier soir si c'était possible de faire des références croisées entre nos forums.
 
Je vous tiens au jus à ce sujet

J'y rentre cette année au M1 ESA d'ailleurs

Merci pour le petit forum  

Pour revenir à l'alpha, ce qui est marrant c'est qu'à la base tu peux te dire avant de faire tes tests ton modèle "hmmm je vais prendre 5%" et tu te rends compte que tes résultats tournent à 7-8% pour rejeter l'hypothèse nulle, du coup tu te permets de pas trop rester à 5%, ça m'est arrivé cette année sur quelques travaux rendus, et notre prof le faisait souvent aussi. Dans un but éducatif ça passe, dans un but pro je sais pas.

 
future élite de la nation    
 
Franchement vu comment tas lair daimer l'économétrie tu vas kiffer le ESA je pense  

je suis pas assez excellent pr me permettre de faire ça mais certains Pr. le font, d'après la légende, peut-être qu'ils ont assez de pif je sais pas

Je sais que la banque de france prend 8% pour certains modèles voir 10% des fois

Donc ça doit dépendre des services
5% c'est qd mm bien restrictif

Quand je fais des tests perso ue suis restrictif 5 ou 1%
Quand je veux virer des variables et selon le contexte je vais jusqu'à 8 ou 10

C'est une méthode bizarre ça quand même, assez datée je dirais.

Ce qu'on m'a appris et que je trouve beaucoup plus logique : je fais mon test statistique et je reporte la valeur pivotale (la p-value du test).

De toute façon, pour tout seuil inférieur à la p-value on ne rejettera pas l'hypothèse nulle tandis que pour tout seuil supérieur on le fera. Donc autant reporter la p-value et voir par la suite si c'est un seuil acceptable pour la décision à prendre, c'est de toute façon le seuil le plus bas que l'on peut prendre pour rejeter H0.

Je comprends pas ton message

Bien sur qu'on affiche la pvalue après c'est le seuil qui peut varier selon si tu veux être très restrictif ou pas

Par exemple pour un test d'indépendance BDS tu as plusieurs dimensions et c'est mieux d'adapter ton seuil à ta dimension (qui est déjà en soit un facteur qui te permet d'être restrictif ou non)

 
J'ai pas trop de notion d'éco mais pour ce genre de modèles c'est l'incertitude sur les variables où le choix d'une hypothèse plus "restreinte" qui fait augmenter l'erreur?
 
Pour le pib par exemple il me semble facile de dire que la croissance sera comprise entre -5% et 5% avec 99.X% de certitude, même si ce n'est pas très utile .

heu ... on parle toujours de la significativité statistique là ? (/ex. pr coeffs d'une régression & tests ala white/bp)

https://fr.wikipedia.org/wiki/Signification_statistique

Moi je parle d alpha

Ces 5% sont assez standarts, mais certains domaines demandent bien plus: par exemple la récente fausse découverte d'une particule au LHC avec une p-value de 10e-6: http://resonaances.blogspot.ch/201 [...] gover.html

C'est aussi plus facile avec une science dite "exacte".

Toutafay

J'essaie d'apporter un peu de vraie science à ce topic d'économistes / socialistes sociologistes

Pour ceux du fond :

alpha = seuil de significativité
p = résultat du test

si p<alpha : rejet de H0 -> acceptation de H1
si p>alpha : non-rejet (acceptation) de H0 -> rejet de H1

faites hyper attention à ce que sont H0 & H1 ... c'est différent pour chaque test.

 Fail

Ce que tu décris c'est la règle de décision entre H0 et H1 de Neyman Pearson mais je sais plus ou j'avais lu que pour certains statisticiens (Fisher ?) rejeter H0 n'est pas équivalent à accepter H1

Ça peux paraître chelou mais en gros quand tu fais ton test si tu rejettes H0 tu peux rien conclure d'autre
Faut changer tes données et retester H0

C'est presque de la philo après

Non effectivement, rejeter H0 ce n'est pas accepter H1, ce sont deux opérations différentes qui se succèdent.

Si tu choisi un alpha à 5% (le seuil de significativité statistique, différent dans chaque discipline) ... et si p<alpha alors tu rejettes H0 avec 5% de chances de faire une erreur de type 1 (5% de chance de faire un faux négatif) ensuite tu peux accepter H1 ... avec une chance inquantifiable (beta) de faire une erreur de type 2 (faux positif).

Après faut garder en tête que ce sont d'excellents tests. C'est comme le dicton à propos des cons plein de certitudes et des intelligents plein de doutes : ce sont des tests hyper-performants qui ont des défauts.

C'est comme ... rien n'est juste en science, techniquement. C'est juste pas encore falsifié. Toutes les théories sont fausses en fait. Jamais vous ne produirez un modèle juste.

... Ceci dit les types pour qui vous bossez ils s'en foutent hein, de tout ça. Pour eux vous produisez des certitudes.

C'est ce que j'appelle les maths normandes.
 
Si tu lances 1000 fois une pièce et que tu obtiens :
 
- 335 fois pile et 665 fois face, tu peux affirmer que la pièce est truqués au seuil de 99.99999999999999999999999%
Tu as la quasi certitude que la pièce est truquée
 
- 460 fois pile et 540 fois face, tu peux affirmer que la pièce est truquée au seuil de 95%
Il est raisonnable de penser que la pièce est truquée si tu acceptes de te planter une fois sur 20
 
- 470 fois pile, tu ne peux pas affirmer que la pièce est truquée au seuil de 95%
Si tu n'acceptes pas de te planter plus qu'une fois sur 20, tu ne peux rien conclure.
("On ne rejette pas l'hypothèse que la pièce n'est pas truquée", maths normandes !)
 
- 470 fois pile, tu peux affirmer que la pièce est truquée au seuil de 90%
Si tu acceptes de te planter une fois sur 10, tu peux penser que la pièce est truquée.
 
- 493 fois pile, tu peux affirmer que la pièce est truquée au seuil de 20%
Si tu acceptes de te planter huit fois sur 10, tu peux penser que la pièce est truquée.
(Cela n'a concrètement aucun sens)
 
 
Dîtes moi si je me trompe hein, je ne suis pas statisticien.
 
Voici les résultats que j'ai trouvés :  
intervalle de fluctuation à 99.99999999999999999999999% : [336 ; 664]
intervalle de fluctuation à 99% : [459 ; 541]
intervalle de fluctuation à 95% : [469 ; 531]
intervalle de fluctuation à 20% : [494 ; 506]

Je pense que tu te rapproches beaucoup. C'est chiant les test-stats parce que c'est invulgarisable en fait.

C'est juste une construction théorique étrange

on en parle aussi des tests de reproductabilité ?

Les t-stats c'est pour les cinglés, cherchez pas.

Il est cool ce topic

Ce tableau la première fois il m'a donné des cauchemards, surtout quand notre prof de statistiques a tenté de nous l'expliquer en vulgarisant au max.

Mais c'est vrai que dire que tu peux accepter H0, ça veut pas dire que H1 est faux, ça traumatise un peu au début, t'as l'impression que tu joues à un jeu où on se fout de ta gueule.

Genre ça serait comme dire "ce crayon il est bleu mais attention ça veut pas dire qu'il est pas rouge".

------

Topic rule #2 : seuls ceux qui le sentent répondent en essayant de vulgariser au max.
Internet rule #8 : There are no real rules about posting

------

=> sujet sur la comparaison de différents modèles en compétition, en passant par le Critère d'Information d'Aikaike  

https://fr.wikipedia.org/wiki/Crit% [...] d%27Akaike (1973)
http://forums.cirad.fr/logiciel-R/ [...] f=11&t=221

laïus

J'ai appris l'existence du AIC en apprenant la méthode Box-Jenkins destinée à définir les (p,d,q) les plus efficaces dans la fit d'un modèle ARIMA. (principe dit de parcimonie : on cherche le AIC le plus réduit en comparant x modèles avec des (pdq) différents, l'objectif est de faire une ~peréquation entre le AIC réduit au max et les pqd réduits au max aussi). Nota : Les arima sont des modèles de prédiction de séries temporelles saisonnalisées.

Apparemment : il est possible de généraliser cette approche pour comparer plusieurs modèles en compétition.

effectivement tu peux regarder AIC dans la méthode de Box Jenkins mais pourquoi AIC et pas BIC ? ou HQ ? ou Likehood ratio (qui est un test et pas un critère) ?
Ces critères d’information (AIC/BIC/HQ) sont basés sur l’information de "Kullback et Leibler" -> en gros c'est des estimateurs de l’écart entre f_0 la densité inconnue des observations dont on dispose et f_p la densité associée au modèle AR(p). (f_0 peut être en dehors de la structure des AR(p)...)
pour faire simple : tu cherches à minimiser l’écart entre les deux densités f_0 et f_p, donc tu vas choisir les estimations qui minimisent la valeur de des critères
perso quand je fais ce genre de truc je sors tous les critères/tests

exemple :

là tu vois que si tu avais choisi HQ tu prendrais un lag de 3 mais AIC, LR et FPE te donnent un lag 38
perso je prends toujours le lag max au début

pour comparer deux modèles candidats tu peux aussi utiliser :
Le RMSE (Root Mean Squared Error), MAE (Mean Absolute Error) , MAPE (Mean Absolute Percentage Error), Theil Inequality Coefficient etc
là pareil je sors un tableau avec plein d'indicateur et tu regardes si un modèle est plus performant sur la majorité des indicateurs

 
Pour choisir ton p et q, tu peux aussi passer par l'eacf de tes données. http://faculty.chicagobooth.edu/ru [...] 0/lec9.pdf
 
C'est graphique et c'est assez facile, après c'est pas méga exact non plus.
 
Mais après en effet, pour comparer lequel est le meilleur, le critère AIC reste assez solide, mais putain c'est tellement chiant à faire Si j'avais pas été flemmard, j'aurais fait une fonction qui permet d'extraire les AIC de mes Arima et ensuite me sortir le meilleur  modèle, ça prend deux secondes à faire sous R ce genre de conneries.

Bonjour, on m'a demande de poster ça ici, parait que ça pourrait aider l'un d'entre vous :

Comment débuter dans la Data Science ?

http://jereze.com/fr/blog/debuter-data-science

Becoming a Data Scientist – Curriculum via Metromap

Cliquer sur l'image ne fait rien du tout

Drap  
 
Je suis IR CNRS donc je fait ca toute la journée !

Bonjour a tous,

Une question basique, dont j'ai une reponse (je crois), mais il y a probablement d'autres facons de faire mieux:

J'ai plein d’échantillons A, B, C, etc....

Pour chaque echantillons, j'ai plein de valeurs: y, X1, X2, X3, X4, X5, etc....

J'aimerais voir si je peux expliquer Y par les valeurs X1, X2, X3.

Donc il faut faire une régression lineaire multiple ou un ANOVA (ce qui est exactemenet la meme chose).

Mais y'a-t-il mieux ?

Maintenant, est-ce qu'il y aurait aussi moyen de faire des groupes (categories) dans mes echantillons A, B, C... et de voir si ces groupes peuvent ameliorer le modele ? Genre les coefficients differents dans chaque groupe ?

Merci.

Dites-voir, j'aurais besoin d'une opinion.
 
J'ai une table 2x2 avec des valeurs de comptage:

 
Pour savoir si j'ai un excès ou depletion quelque part, je lance un Fisher's exact test. Ca me donne un odd ratio de 1.16 et une p-value de 0.008. Donc j'en conclus qu'il y a plus souvent des fruits de couleur rouge qu'attendu.
 
Maintenant, j'ai une table 2x3:

 
J'aimerais savoir si dans chaque cellule, le nombre attendu est normal, ou different que normal. Je ne peux pas appliquer le Fisher's exact test directement sur la table car il ne marche que sur une table 2x2.  
 
Par contre, un truc que j'ai parfois vu est de contracter la table pour chaque cellule, faire le Fisher's test et de reporter le odd ratio et la p-value pour chaque cellule. Genre comme ceci pour la premier cellule:
 
Cellule = 1738
Ligne = 824 (somme de la ligne - cellule)
Colonne = 1376+1785 = 3162  (somme de la colonne - cellule)
Table = 727+1142 = 1868 (somme de la matrix - (colonne+ligne+cellule))
 
mat <- matrix(c(1738, 3162, 824, 1868), nrow=2)
fisher.test(mat)
 
=> Odd ratio = 1.24, p-value = 1.801e-05
 
 
Puis ensuite répéter l’opération pour les cinq autres cellules, reporter une table avec les six odd ratios et p-values obtenues, et ajuster le seuil de significativité alpha a 0.05/6 (Bonferroni correction, car six cellules).
 
1) Qu'est-ce que vous pensez ?
2) C'est erroné de faire comme ca ?
3) Si c'est juste, ca porte un nom cette procédure ?
4) Y'aurait une autre facon plus elegante de faire ca ?
 
 

Personne pour mon problème ci-dessus ?