Reprise du message précédent :
C'est une prédi sur l'immobilier en France, aka des tendances de long terme, les MCE permettent de mixer les effets de court terme et les écarts par rapport à la tendance de long terme.  
 
Je compte sur un volume de données impressionnantes pour dépasser l'OFCE et l'INSEE avec un design sur chacune des 13 grandes régions et sur les six métropoles régionales qui ont des dynamiques propres.  
 
l'OFCE et l'INSEE ont un tropisme national qui a pu les empêcher de faire des designs sur chaque zone qui a ses dynamiques démographiques propres qui ont des effets très forts sur le dyn. de la croissance de ces régions.
 
L'inspiration vient de là : fig 3 & 4.
http://www.insee.fr/fr/themes/docu [...] 501#inter2  
 
l'insee a un modèle macroéconomique (tx centraux, pib démog, tx chômage ...) ; tandis que l'OFCE utilise des indicateurs avancés (mises en chantier ...) pour prédire l'offre et donc les prix.
 
Moi j'ai accès à des données avancées semestrielles et localisées ... sur 25 ans fichues dans un SI Oracle dernier cri.  
 
séries temporelles de 50 données * 19 modèles * 6 variables macro + 1 variable avancée exclusive.  
 
Je vais les exploser sans me fouler j'ai juste à charger et apprendre à utiliser le package Roracle.
 
Par contre je suis d'accord le machine learning c'est juste de la fölie (mais je laisse ça aux plus jeunes) et le tree based peut être intéressant mais il n'y a pas de retour à la moyenne. Ce qui est essentiel ici.

Dites moi mes statisticiens sûrs, un pdf pour apprendre R rapidement? Mon boss a refiler à nous, simple stagios, un projet de topics modelling sur R, sauf qu'on y connait rien. Merci bien

La base de la base de R c'est le doc officiel : https://cran.r-project.org/doc/manu [...] -intro.pdf

C'est le fondamental au dessus, mais tu ne dois jamais coder en R sans piger les math hein. C'est dangereux.

https://sites.google.com/site/econo [...] software/r -> intro facile
http://www.statmethods.net/ -> les principales fonctions du soft (utilises R studio, c'est plus fun)
http://www.r-bloggers.com/ (tous les sujets sont couverts et tu peux pépon du code si tu te sens)

Drap

Signet dataviz - méthode de réalisation de cartes par anamorphose avec d3.js & R  
 
oldies : https://fr.wikipedia.org/wiki/Carte_choropl%C3%A8the
newies : https://blog.m0le.net/2013/10/20/au [...] selection/
 
Package 'maps' pour R : fruste, moche, pas du tout user friendly, bref, un grand kiff    
 
package : https://cran.r-project.org/bin/wind [...] _3.1.0.zip
pdf : https://cran.r-project.org/web/packages/maps/maps.pdf
 
Links vers le d3.js : une librairie javascript qui s’intègra facilement dans vos pages html    
 
- possibilités offertes par le langage : https://github.com/d3/d3/wiki/Gallery
- tutoriels officiels pour vos démarrages : https://d3js.org/
 
Illustration et résultats atteignables :  

 
... ça pète, non ?!  
 
Généralités, blogs ou groupes sur internet :
 
- http://www.r-bloggers.com/search/maps
- https://www.facebook.com/groups/172 [...] 8/?fref=ts

.o/  

alors vous en êtes ou Vox ?

J'avance tranquillement sur R en taffant sur le poly, mais j'ai un peu de mal, c'est différent de tout ce que j'ai fais avant. Et puis plus que R, c'est l'article de recherche qu'il nous a refilé à étudier qui me fait peur. Toi qui disais qu'il fallait comprendre les maths, va vraiment falloir que je m'investisse sérieusement dans le truc (Surtout que notre boss n'est là qu'une fois par semaine, du coup c'est travail en autonomie only pour le moment)

https://cran.r-project.org/web/pack [...] models.pdf

Drap

Il va sûrement s'amuser avec le Latent Dirichlet Allocation aussi

1. Je te suggère de lire l'article à l'envers et d'avoir wikipedia ouvert sur le côté Vox. Je fais toujours de cette façon et de très loin le plus efficace. Les articles sont fréquemment organisés pour des matheux mais si t'as un autre crusus ça sera plus facile.

=> 5 (summary) - intro - 3 application - 2 specification - 4 exemple ... et pour finir les math avec le chapitre 1.
=> https://fr.wikipedia.org/wiki/Fouille_de_textes

2. Pour des renforcements théoriques : Khan academy en français est une excellente ressource. C'est du niveau Tlse S certes mais comme dit D.W, si tu gères pas ces machins là ça ne servira strictement à rien de t'escrimer.

https://fr.khanacademy.org/math/pro [...] nferential

Merci bien Dio

allez Vox, ♪♪ du but on s'rapproche ♫♫
https://www.youtube.com/watch?v=tv3dLD3hZes

Dernier jour de la semaine. Défi ? Gérer cette architecture et ce test que j'apprends depuis trois jours :

https://fr.wikipedia.org/wiki/Mod%C [...] %A9gration
https://en.wikipedia.org/wiki/Johansen_test (dsl, rien en .fr)

s'il y a des spécialistes dans la salle ...  

@Vox

Si vous avez soucis de code R (t'en auras forcément, comme nous tous) tu peux mes les MP, je les fous dans ma machine et je te les test/débog' : la gestion des arguments est chiant des fois et les copains sont là pour ça.

On va se mettre à coder le truc mardi prochain, si j'ai des problèmes je te mp!

Question :  
 
j'ai des données issues de l'insee qui correspondent à mon échelon régional, mais le souci c'est que ces données (entre autres les recensements de population nécessaires au calcul de la croissance démographique) ne sont disponibles que de cinq ans en cinq ans.  
 
Quel calcul faire pour remplir les quatre années intermédiaires de ces satanées données ?  
 
 
en espérant que je ne suis pas le seul à bosser ce soir ...

yesssss merci

interpolation linéaire ça suffira tu penses ? ou bien ça vaudra réellement le coup de me fader un polynomiale ?

edit : c'est de la démographie, ça bouge pas des masses non-plus. Les tendances changent forcément, mais rien de bien violent. allez va pour une linéaire.

sim'

edit. p***** de calcul d'interpolation trop simple que j'arrive pas à coder dans OOcalc  

edit 2 : finalement c'est excessivement facile à effectuer, soit en lineaire, soit en poly, dans R.

Les fonctions marchent toutes seules en plus : http://www.r-bloggers.com/interpol [...] in-base-r/

edit 3 : un petit topic de researchgate détaillant la façon d'interpréter les paramètres d'une VECM (.co.uk)
https://www.researchgate.net/post/H [...] efficients

Signet séries temporelles : L’immobilier en France métropolitaine '75 -> 2k15 /1er essai
 
-> légende :  le réel en vert, les approximations en violet
 

 

• voici le résultat de cinq jours de travail ...

... destiné à effectuer des approximations de l'évolution de la valeur ajoutée en euros courants du secteur de la construction de 1975 à 2015 en France métro.
c'est la grandeur exo que j'ai choisie pour établir l'état du marché de l'immobilier neuf en France, à partir des grandeurs endo. définies par Camille Sutter, une ENS de Malakoff
 
 

• Données :  

- insee (éco-pop-emploi)
http://www.insee.fr/fr/themes/them [...] us_theme=1
http://www.insee.fr/fr/themes/them [...] produit=OK  + calculs interpolation par Diosc.  
http://www.insee.fr/fr/themes/them [...] produit=OK
 
- banque de france (crédits - ménages ... depuis 75 -> no BCE)  
http://webstat.banque-france.fr/fr [...] de=5384836
 
- ocde  (va - construction)
http://stats.oecd.org/BrandedView. [...] bf1efb2-fr + calculs des volumes par Diosc.
 
 

• une modélisation arima

- https://fr.wikipedia.org/wiki/ARMA
- https://en.wikipedia.org/wiki/Box%E2%80%93Jenkins pour le fit  
- https://sites.google.com/site/econo [...] ima-models pour la progra en R  
 

• une modélisation var  

- https://fr.wikipedia.org/wiki/Vecte [...] ssif_(VAR) avec un lag 1  
- https://en.wikipedia.org/wiki/Parti [...] n_function  
- https://cran.r-project.org/web/packages/vars/vars.pdf
 

• une modalisation vecm

- https://fr.wikipedia.org/wiki/Mod%C [...] %A9gration
- https://en.wikipedia.org/wiki/Johansen_test (en anglais désolé)
- http://www.inside-r.org/packages/cran/tsDyn/docs/VECM
 
 
80h de taf pour des machins assez correctement fittés avec les cinq variables issues du taff de Camille

hello les geeks
 
petite question :
j'ai fait une regression multiple et j'obtiens des résultats corrects (j'ai fait des backtest ca fit plutôt bien)
mais :
j'ai fait des tests de white et BPG et je suis hétéro
j'ai aussi fait des tests CUSUM et CUSUM² et mon modèle ne les passe pas
 
du coup je me demande si je dois vraiment mettre mon modèle à la poubelle ? il ne valide pas les  hypothèses d'un modèle linéaire donc je dois forcément l'oublier ?
 
j'ai pensé à utiliser un GARCH pour gérer cette hétéroscédasticité mais c'est plus compliqué et pour l'équipe ce serait mieux de rester sur un petit modèle sur excel
 
Dioscur à l'aide

Alors, déjà, Généralité sur la régression
Malgré que la régression linéaire mulivariée soit l'instrument le plus populaire ainsi que celui qui est utilisé pour effectuer l'initiation aux statistiques inférentielles ... c'est un instrument assez ancien qui a un champ d'action assez limité ... surtout avec tous les machins bizaroïdes qui passent sous nos microscopes. (ndlr : il existe des centaines d'instruments en statistiques inférentielles, imaginez une immense étagère remplis de machins bizaorïdes)
 
Ici:
Les deux tests de White et Breusch-Pagan se contre-confirment et sont définitifs : les estimateurs des coeffs de cette régression linéaire par la techniques des moindres carrés ordinaires sont corrompus du fait d'une hétéroskedaticité. Jettez-les dans une poubelle mentale et surtout légendez-le dans vos fiches excel si vous ne voulez pas qu'un imbécile ne les exhume. Ce type de machins "auxiliaires" peut avoir des conséquences ... hm ... assez graves.*
 
 
 


 
 
Note technique :
 
Les deux test (d'après l'analyse de ses déchets, cet instrument est-il adapté à la situation ?) sont effectués après les calcul de régression par les moindres carrés ordinaires** de façon à vérifier que les résidus issus de cette régression ne sont pas hétéroskédastiques. (htsk = bad, hmsk = good) MAIS, mais-mais-mais. Techniquement, les white et bp sont des tests de corruption des estimateurs. Il ne dit rien à propos du R² !  Ce qui signifie que le R² sorti par cette régression (la capacité de prédiction du groupe de données) reste légitime.
 
Alors ne jette surtout pas ce machin à la poubelle : malgré que les coefficients produits par l'instrument soient des déchets, il fournit une information essentielle : mon groupe de travail a-t-il correctement conceptualisé la situation ? (ont-ils correctement réuni toutes les données du problème ?)
 
=> OUI !  
 
Le sens que je donne à tout cela c'est que :
 
- ton groupe apparait comme étant assez efficace jusqu'ici
- l'instrument que tu as sorti de l'étagère n'est pas à la hauteur  
- tu devrais leur proposer des instruments plus poussés  
 
Prescription annexe : lâches excel !!!
 
 
 
 
* http://www.latribune.fr/opinions/t [...] sance.html
** https://fr.wikipedia.org/wiki/M%C3% [...] arr%C3%A9s

Heisenberger :
 
Peux-tu nous dire comment t'es venue l'idée d'un modèle xARCH ?
 
Note : les modèles xARCH sont également des instruments assez efficaces et assez populaires, mais leur spectre d'action est TRÈS différent de celui des régression linéaires multivariées. On préfère sortir ce dernier instrument pour des données longitudinales ( avec ~ trente points de données, par exemple le taux de R&D dans les 50 états des états-unis pour l'année 1999)  
 
... tandis qu'on utilisera le plus fréquemment un GARCH pour analyser des séries temporelles "accidentées" (la consommation de crystal meth par les femmes enceintes dans le missouri depuis 1980)  
 
 
------
 
 
Alors, série temporelle accidentée ... kezako ?  
 
Déjà une série temporelle accidentée est un sous-ensemble des séries temporelles - par exemple le PIB de l'Angleterre de 1945 à 2015 - https://fr.wikipedia.org/wiki/S%C3%A9rie_temporelle
 
Or, ces séries temporelles (il existe des livres entiers et spécifiques axés sur le sujet) ne se peuvent JAMAIS être analysées avec des régressions linéaires simples.  
 
... car les résidus ne sont pas indépendants (ils sont liés entre eux : par exemple le PIB anglais de 1979 est lié au PIB Anglais de 1978 - pas besoin de vous expliquer pourquoi - tandis que le le taux de R&D du Massachusetts et celui de L'oregon n'ont pas de lien entre eux ... quoi que) ce qui corrompt l'instrument.  
 
 
------
 
Mais Ici :
 
le souci de Heisenberg est qu'il doit certainement analyser la consommation de drogue par les femmes enceintes dans le Missouri, depuis 1967. Or, il a existé cinq gros coups de filets de la police. (aka prix plus élevés qui - sans tenir compte de la faible élasticité des droguées - réduisent drastiquement et subitement la demande de façon aléatoire)  
 
=> ce qui fait que le consommation de crystal meth chez les femmes enceintes a subi des chocs étranges, aussi abrupts qu'aléatoires.
 
Ce qui signifie que le data generating process est non seulement une série temporelle ... mais une série temporelle accidentée. Ce qui ... dans ses bases de données ... donne des données auto-corrélées (temps) et à variabilité fortement changeante : hétéroskédatiques (de 1967 à 1980 elles évoluent peu ... mais de 1980 à 1982 - date d'un gros coup de filet chez Chicken Poyo ... elle se prend une grosse volée).
 
Ce qui fait deux excellentes raisons de ne surtout pas foutre une pauvre régression linéaires dans le bachi-bouzouk.
 
...mais je laisse le mirco à H75 qui pourra peut-être nous dire comment lui est venue l'idée de ce GARCH qui est fréquemment utilisé pour l'analyse de la consommation de Cystal Meth à 97% par les femmes enceintes du Missouri depuis 1967.  
 
=> https://fr.wikipedia.org/wiki/Mod%C3%A8les_ARCH "AutoRegressive Conditional Heteroskedasticity"

.

J'ai pensé à utiliser des beta de huber white pour qu'ils soient consistant avec l'heteroscedasticité mais je reste qd mm hétéro en faisant white et breush pagan

En revanche mes betas sont qd mm bien modifiés avec cette méthode

Je continue mes investigations mr dioscur

Ps : pour ta question pk un garch : j'ai fait un test arch je tombe sur un lag de 36 max pour mon autocorrelation des résidus
Du coup je suis censé faire un arch(36) —> principe de parcimonie je fais un garch

Dioscur, tu es prof à la fac?  
 
Je te trouve bien pédagogue

C'est pour ça qu'il ne doit pas être prof à la fac !

Alors, déjà :

Les résidus resteront toujours htsk, H75. C'est une caractéristique des données et non-pas de l'instrument. Ce que tu cherches, ce sont des instruments qui te sortiront des paramètres (coefficients & capacité de prédiction) non-corrompus par ces étranges données. Or autocorrelation et hétéroskedaticité sont deux corrupteurs (deux hypothèses) très différent(es), malgré un élément de logique sous-jacente partagée.

-----

L'élément de logique sous-jacent est le concept de lien non aléatoire entre deux éléments (grandeurs, résidus, séries, erreurs etc ) . Htsk comme autocorrelation partagent effectivement cet élément de logique. C'est à dire que les résidus de la régression sont corrélés (l'opposé exact d'aléatoire) à quelque chose.

Mais, si l'htsk correspond à un lien entre la grandeur et ses résidus issus de leur régression (~plus une femme enceinte est une grosse consommatrice, plus les résidus issus de la régression sont élevés) ...

l'AR correspond (attention) à une corrélation entre les résidus : c'est à dire que les résidus de la régression sont corrélés au temps (~le pib anglais est corrélé au temps : il est graduellement plus élevé de 1945 à 2015 ... ce qui donne des grandeurs corrélées et a fortiri des résidus également corrélés entre eux)

=> les résidus sont sont pas indépendants

------

Petite note historique :

Il faut bien noter deux petites choses, qui tiennent à l'histoire de la discipline. Ce sont Jevons (britannique, 1835-82) et Menger (autrichien, 1848-1940) qui ont pensé - lors de la révolution marginaliste - qu'il serait intéressant et possible en théorie de faire rentrer cette science sociale dans le siècle en y intégrant les progrès réalisés en parallèle par la mathématiques.

Mais c'est en 1930, à la suite de la grande dépression, que la société internationale d'économétrie Présidée par Fischer ; créée à l'initiative d'un philanthrope américan dont wikipedia a perdu le nom ; s'est développé pour faire face à la réalité des sciences sociales - astronomiquement plus complexes que cette de la physique.

Or la regression est le grand-père de tous les instruments ... mais il a été retranscrit directement depuis les sciences dures, or un statisticien en sciences sociales dont nécessairement être infiniment plus érudit qu'un statisticien en sciences dures ... du fait des réalités étranges auxquelles le langage mathématique dont il se sert comme instrument devront faire faire face.

Donc, là, H75G , tu dois te poser la question, à quoi le grand-père fait-il face :

- ar ?
- htsk ?
- outliers ?

Dans tous les cas, il serait intéressant que tu nous sortes un graphe des résidus ... pour :

1. que nous fassions ensemble le diagnostic de la réalité de tes données (ar ? htsk ? otl ?)
2. s'orienter vers des instruments qui correspondent à la réalité des données (wikipedia)
3. faire la liste des instruments sortables de l'étagère (codage du soft)
4. les tester sur les données et les mettre en compétition (lecture des résultats)

(sans nous dire ce que tu étudies hein, c'est ça qui est intéressant : des instruments de plus en plus complexes, comme les garch ou les regression par les robust standard errors, on été conçus par de grand cinglés pour être branchables sur des situations ou des data generating proccess aussi étranges que complexes)

Les statistiques ne sont qu'une langue étrangère. Ici, tu cherches le verbe de la phrase

https://www.fun-mooc.fr/courses/UPS [...] on06/about
 
Je pose ce lien là, comme j'aimerai faire un mémoire utilisant des outils économétriques alors que je suis en école de commerce, j'aimerai suivre ce mooc vu que je me relirait le topac avant de commencer le dît mémoire.

Si tu as des problèmes pour coder avec R tu as d'autres logiciels qui peuvent le taff sans avoir rien a coder :
Excel stats : assez basique mais il y a quand même pas mal de tests/modèles/analyse de données
Eviews : très bon pour les series temporelles notamment
Et sûrement d'autres (stata et rats tu peux t'en sortir sans trop coder je pense pour les modèles classiques)

 
 Merci pour ton retour,
 
 Je note les différents logiciels que tu as cité mais selon toi, lequel est le mieux ?
 
 Je précise : mon objectif avec ce mémoire c'est de pouvoir facilement réaliser des "études économétriques" et si R Studio (ou juste R?) est le meilleur outil et bien je suis prêt à passer du temps dessus (même post mémoire).
 Je précise pas être spécialement réfractaire au codage même si mon niveau est faible (juste du vba pour excel).
 
 J'ai encore du mal à situer ce qu'est "R" mais on a pas accès à plus de bases de données que sur les autres logiciels ?

un mooc associé, par la faculté de biostatistiques de l'Université de Lorraine, ouvrant le droit à passer un D.U en stats descriptives.
 
Tous les fondamentaux de la collecte de données sont passés au crible et vous pouvez discuter avec des profs très sympas et ouverts.  
 
http://mooc-francophone.com/cours/mooc-courlis/

Bien le merci    
 
Un DU qui apporte une preuve tangible sur les efforts qui ont été effectués est une excellente carotte    
 
Si je les contacte dans les temps qui viennent je vous renseignerai sur les modalités d'obtention de ce DU.