Reprise du message précédent :
Je tiens le bon bout (enfin, je crois). En backtest sur 2009, mon PNN gratte 31 000 pips sur ses 5 meilleures semaines consécutives (pour 3 500 trades), et 18 000 sur le reste de l'année
 
J'ai beau vérifier mon code, j'arrive pas à trouver le bug

Donne le code, on va tester pour trouver les bugs    
 
Tu peux exporter le rapport (sans les trades) pour voir le % de succès etc ?

 
Tu ne confonds pas avec les gaps de fermeture de WE? Regarde les heures....En gros tous les 5 jours tu as une barre avec peu de datas précédée d'un gap : c'est la réouverture du Dimanche soir.

 
C'est bon, j'ai trouvé. C'étaient les spreads qui n'étaient pas décomptés en cas de perte. Du coup, il ne fait que 26 000 pips pour ses 5 meilleures semaines
 

 
Faut que je code la glue cette nuit pour que ça puisse tourner dans MetaTrader. Pour l'instant, j'utilise un testeur fait maison. Voilà les stats qu'il me donne:
 

 
("tests" étant le nombre de trade/tendances prédites par le PNN, errors le nombre de pertes (le nombre de fois où il s'est planté), les pourcentages après longs et shorts sont la part de réussite pour chaque, pips est la seule variable reflétant une valeur, le reste coule de source)

 
Non, j'ai bien vérifié, ça se produit régulièrement durant la nuit. Du coup, je fais comme eux et je considère qu'il n'y a pas de trou, que le marché évolue dans son propre espace-temps et que c'est comme si on avait appuyé sur pause (ça me faisait mal au crâne de faire autrement)

Ce que tu appelles des trous alors c'est le temps entre deux ticks qui peut durer plusieurs secondes?
 
J'ai du mal à te suivre tu aurais un exemple?

 
Non, c'est vraiment au niveau des chandeliers. En fait, j'ai voulu implémenter ce que tu dis qu'on peut faire dans MT5 (utiliser des timeframes "variables" pour avoir un M7 par exemple). Pour vérifier mon algo, j'ai testé si je retombais bien sur les mêmes chiffres que les chandeliers existants. On va prendre un exemple où on reconstruit H4 à partir de M5 (uniquement les closes). Tu ouvres ton chandelier à minuit par exemple. Théoriquement, son close sera égal au close du chandelier M5 ouvert à 3h55: les deux chandeliers se ferment en effet à 4h00.
 
Voilà ce que ça donne sur trois exemples:

 
Au début, j'ai pensé à un bug. J'ai donc dumpé les données que j'avais exporté de MetaTrader:

 
Tu remarqueras qu'il n'y a pas de chandelier pour 4h35. J'ai pensé à une erreur du testeur mais non, je ne l'ai pas non plus dans MetaTrader. En quelque sorte, le temps n'existe pas à cet endroit là.
 
Cet article parle du problème: http://articles.mql4.com/136

Marrant tu viens de m'apprendre quelque chose.  
 
Je pensais que les bars non quotées étaient quand même créées... ben non.
 
Boudu!

 
Voilà la première semaine. Lots de 0.1. Pas de SL, TP ou TS. Résultats très consistants avec ceux de mon testeur.  
 

 
Va juste falloir travailler un peu beaucoup le drawdown, mais pour un premier jet et après seulement deux semaines de boulot, je suis assez content de moi

Tu m'étonnes

Bon, et voilà les quatre autres semaines:
 


 
Peut mieux faire

 
Oui, je vais à nouveau pouvoir dormir
 
Ce qui me fait plaisir dans ces résultats, c'est que j'ai largement de la marge pour les améliorer (en travaillant sur l'algo du NN, sur les indicateurs, sur la stratégie, sur le bruit, ...).
 
Je devrais donc assez probablement pouvoir devenir riche un jour prochain et me consacrer à ma nouvelle vie de mécène

Tu peux aller lurker sur le site de Metaquotes :
-le concours 2010 si ils le font est fait pour toi.  
-tu peux améliorer ton drawdown en incorporant une courbe de profitabiité qui est fonction de ton historique et se remet à jour à chaque trade. Ton EA gagne il augmente le risque, ton EA perd il diminue le risque voire trade beaucoup moins. C'est un article sur le site de Metaquotes, dans la partie articles ou concours 2088 je crois.

Sinon chapeau bas : coder un EA NN aussi vite et aussi bien tu es vraiment le DocMaboul du C/mql.  

clair gg ! je suis impressionné !
 
tu pourrais arrondir tes fin de mois en vendant ton code + mise à jour.
y a des gens qui te l'achèterais cher je pense ....

 
Je crois qu'ils n'autorisent pas les DLLs. Et déjà que je rencontre quelques problèmes de temps de calcul, je n'imagine pas ce que ça donnerait en MQL pur
 
 

 
Pour l'instant, je vais continuer à tenter d'améliorer la qualité des prédictions. Mais j'étudierai ça attentivement après
 
 

 
Merci
 
 
 
 
Ce n'est pas non plus hallucinant, surtout qu'on regarde ses meilleures semaines consécutives (j'ai laissé la dernière où il perd histoire de). Pour l'instant les drawdowns sont trop violents, il passe trop d'ordres, se plante trop. Disons que ça peut marcher en continuant à bosser dur (ce dont je doutais pas mal au début). Je pense que je vais passer un peu de temps à me coder un environnement de test adapté à mes besoins et utilisant intensivement les calculs en parallèle histoire de pouvoir mener plus vite mes recherches/tests (en particulier utiliser CUDA).
 
 

 
Je ne vois pas trop l'intérêt de vendre le bot, encore moins son code (enfin, sauf s'il perd )

Sympa !
Effectivement, les DLL sont interdites, donc pas de concours pour toi
 
Sur 2 de tes semaines, average loss > average profit, c'est un peu embêtant. Sur ce que je code, c'est le MM qui me fait passer positif, je pense que ton bot va beaucoup profiter d'un MM strict.
Et merci de nous faire partager tes avancées !

C'est inhérent aux NN? Que veux tu dire par environnement de test perso sinon?

Tu vas pouvoir bientôt quitter HFR et vivre le nez dans la coke sinon, tu nous manqueras

 
La stratégie de trade est un peu trop violente pour l'instant (du coup, je ne sais même pas si on peut qualifier ces résultats de "préliminaires" vu sa tronche). En gros, l'EA demande au NN le sens du vent (futur) toutes les 5 minutes et parie en fonction. 4 heures après, quel que soit le résultat de la position, il la ferme (et c'est tout, je ne regarde même pas si la probabilité associée à la tendance est bonne ou pas ). Je vais voir si ce ne serait pas intéressant d'utiliser plusieurs NN faisant des prédictions sur plusieurs intervalles. L'EA procèderait alors à une sorte d'élection pour savoir quoi faire (si la majorité vote "acheter", il achète par exemple).
 
 

 
Non, c'est que j'utilise des réseaux avec beaucoup de neurones (de quelques milliers à quelques dizaines de milliers). Ensuite, je me suis fait un algo pour optimiser des paramètres sur le réseau (je préfère que ce soit fait automatiquement et toujours selon les mêmes règles logiques afin d'éviter le facteur humain). Ca peut lui prendre jusqu'à plusieurs minutes pour tester sur la période d'entraînement avec des paramètres donnés. Or, j'ai besoin de faire beaucoup de tests pour trouver les meilleurs paramètres, ça peut donc prendre des heures de calcul. Derrière, je valide que les résultats sont bons sur une autre semaine et je teste le résultat de mon bousin avec la semaine encore d'après. Si le bilan est foireux, j'ai perdu des heures de calcul pour pas grand chose.
 
 

 
De ce que j'ai en tête, l'idée serait par exemple de pouvoir tester une structure plus ou moins générique de NN couplée à une stratégie et une plage de paramètres sur un temps assez large. Par exemple, si j'utilise une sorte de MA en entrée, ça me permettrait de savoir ce que ça donne si je fais varier ce MA entre 5 et 100 (à paramètres constants par ailleurs, ou pas d'ailleurs). Pour l'instant, je suis obligé de faire pas mal de manips quand je procède à ce genre de tests. Ca me fait perdre du temps et la méthode n'est pas très rigoureuse (pif-ô-mètre ). Je voudrais pouvoir appuyer sur un bouton, laisser ma bécane tourner quelques heures et qu'elle me dise comment ça a marché, avec quels paramètres, etc. Ne me resterait plus qu'à analyser le tout afin de savoir vers quoi m'orienter pour les tests suivants, et recommencer. Forcément, si un seul test prend par exemple 4 heures, il me faudra 2 semaines de calcul pour obtenir ce résultat avec l'exemple que j'ai donné. Va donc falloir massivement optimiser tout çà.
 
 

 
J'espère bien. Mais il y a encore du gros boulot à abattre avant ça

Je me demande si je vais pouvoir utiliser le cluster de calcul du labo pour ça tiens

@Doc: Pavé incoming en mp, ce soir (edit : dès que possible en fait, )

Petit webinar avec Raghee Horner et ses vagues dans 20 min. Miam.  
 

Il y a un truc que je ne comprends pas avec le testeur de MetaTrader.
 
Voilà un ordre sur EURUSD (lot de 1), pris dans les résultats après le test:
 
2009.06.22 09:20 sell 1 1.00 1.38758 0.00
2009.06.22 13:20 close 1 1.00 1.38409 252.15
 
Sur cet exemple, il y a un gain de ~35 pips. Je n'arrive pas à comprendre comment il arrive à un gain réel de 252.15€. Quelqu'un aurait une idée?

Bon, j'ai trouvé. C'est qu'ils utilisent le cours de USDEUR d'aujourd'hui pour calculer les profits, peu importe que l'on teste pour 2009.
 
Ils sont mignons

Les ptis plaisirs du testeur mt4.  

Le testeur ne donne en fait qu'une très vague idée des perfs réelles d'un EA
 
En fin d'après midi, je voulais faire un NN pour tester sur un compte démo la semaine prochaine. Je prépare donc tout mon bousin, quand arrive mon test de validation. Je remarque qu'il s'exécute beaucoup plus vite qu'à l'accoutumée: pour une raison inconnue, il me manque plusieurs jours de données dans l'historique à cet endroit. Impossible de les télécharger pour boucher le trou, impossible donc de valider mon NN et de l'utiliser.
 
MetaTrader n'est pas fiable et c'est quand même pas très sérieux tout ça
 
Bref, comme je ne peux pas me permettre d'avoir des trous dans les données, il va falloir que je code en plus une fonction pour sauvegarder un historique dans une bdd.
 
Du coup, je me demande quelles surprises je vais rencontrer en real money. Il n'y aurait pas de forte latence sur les ordres par hasard?

Bon, je crois avoir trouvé la ruse pour recréer historique avec les données de son broker.
 
Il faut:
- quitter MT4
- supprimer le contenu de son répertoire history (dans son répertoire utilisateur et dans le répertoire programme de MT4)
- relancer MT4
- ouvrir le graph de la devise en M1
- bourrer "-" pour se mettre en vue large
- désactiver l'autoscroll
- coincer sa touche "page up" pour le forcer à scroller sur l'historique qu'on veut avoir
- aller boire un café en attendant
- aller dans l'historique et clicker sur "download"
- là, il devrait répondre qu'il y a rien à download et proposer de construire les archives avec les données qu'on a récupérées en scrollant
 
Du coup, je viens de mettre un NN en démo.
 
Sinon, j'ai encore bien avancé ce week-end:
- réécriture du code afin de mieux le structurer
- quelques bugs de débusqués au passage, dont un assez important  
- après étude, j'ai un peu modifié la formule pour l'estimation de la fonction de densité de probabilité. Rien de fondamental mais ça marche mieux.
- beaucoup de boulot pour construire des indicateurs adaptés
 
Du coup, j'ai dans l'ensemble une meilleure prédiction et des drawdown moins violents. Je commence aussi à mieux appréhender ce que j'ai construit et à avoir de l'XP sur son tuning.
 
Si ça intéresse quelqu'un, je peux poster le rapport pour ce que ça aurait donné la semaine dernière (résultats fiables au niveau du profit et cohérents avec le nombre de pips retournés par mon testeur )
 
Sinon j'ai commencé à lire la doc de CUDA. A priori, ça devrait bien booster les calculs qui sont facilement parallélisables.
 
Voilà voilà

@Doc :
 
Ah mais si tu m'avais demandé clairement je t'aurais répondu. Oui le testeur de mt4 ne sert qu'o valider grossièrement un EA en faisant un backtest : voir si la courbe monte, si il n'y a pas de bugs au niveau des ordres ou de l'algo, ce genre de trucs...
 
Après si tu veux valider un EA c'est du forward test sur compte demo deux-trois mois puis sur compte live encore quelques mois.
 
Voilà la procédure.  
 
Pour reconstruire un historique oui il faut supprimer les histos, relancer mt4, il va retélécharger toutes les données de ton broker.
 
Concernant le problème de la real money, un EA va te balancer les ordres et le serveur les accepter plus vite que si tu le faisais en manuel donc ça c'est nickel.  
Le gros problème avec un EA c'est de gérer les news et différents pics associées ainsi que les écarts de spread=>la stratégie de d'entrée/sortie est une chose, la gestion des ordres par rapport au marché(lots, spreads,requotes) en est une autre....
Ex : ton EA tourne tranquillou et voit une ouverture au moment d'une grosse news. Toi en manuel tu ne vas pas ouvrir de position à ce moment mais l'EA ne va pas se poser la question.... Comment va t'il gérer un ordre avec 10 de spread sur l'eurusd, et très probablement un temps de latence d'ouverture ou un requote? Bref tu peux voir apparaître de jolies choses rigolotes en forward que tu ne verras pas en back.  
 
Si tu as des questions à ce niveau n'hésite pas. Je n'ai jamais réussi à sortir un EA performant, par contre il tournait impeccable en forward.  

 

 
Bon, gérer un spread élevé ne devrait pas être trop compliqué (if ( MarketInfo(NULL, MODE_SPREAD) > max_spread ) {gna gna gna}) mais encore faut-il le savoir.
 
Quand tu parles de temps de latence, c'est de quel ordre dans ces cas-là? Plutôt une ou deux secondes ou plutôt des dizaines de secondes?
 
Et c'est quoi donc un requote?
 
edit: aussi, est-ce qu'il y a une différence entre utiliser des lots de 0.01 avec un levier de 100 et des lots de 0.1 avec un levier de 10?

Oui tu peux gérer ton spread avec ton MarketInfo.
 
Pour le temps de latence, si tes requotes sont bien gérés dans ton EA tu auras une boucle qui va tester la réponse du serveur à ton ordre et donc soit essayer de renvoyer l'ordre soit laisser tomber et attendre le tick suivant. Dans tous les cas si c'est bien programmé tout est quasi instantané=>ordre refusé, l'EA reessaye, toujours refusé, l'EA abandonne et zou tick suivant.
 
Un requote (c'est lié au slippage) c'est quand tu veux passer un ordre à un prix donné et que le prix bouge entretemps.
 
Slippage (glissement du prix en littéral) : tu veux acheter à Ask=1.3520 et ton broker t'ouvre à 1.3523. Il vient de t'enfiler un requote (recotation en littéral donc) à 1.3523 et un slippage de 3 points.
 
Sur mt4 que ça soit en manuel ou auto tu peux définir le slippage max lors de l'ouverture d'un ordre. Ex : fais un new order sur ton compte demo et en bas tu peux voir Enable Maximum dev for price : c'est là où tu définis ton slippage max accepté. Pour ma part je trade avec 0 de slippage donc je veux être executé au prix que je vois. Bien évidemment avec 0 quand le marché est volatil ça m'arrive d'avoir des requotes et donc mon ordre est refusé=>Off quotes. Soit je réouvre au nouveau prix soit je laisse tomber. En auto il faut que tu gères cette partie.  
Dans la fonction OrderSend tu as le slippage qui est demandé, mais il faut bien avoir compris comment ça marche pour s'en servir.
 
Pas trop fouilli comme explication?

Non, c'est nickel. Merci. J'ai bien spécifié un slippage au niveau des appels mais je ne teste pas le retour de l'OrderSend. Je mettrai ça en place ce soir.
 
(j'ai édité et ajouté une petite question pour les leviers entretemps )

Pour les lots aucune différence puisque au final tu auras 1 lot standard(/à ton compte) sur le marché. Le levier réel utilisé sera calculé par rapport à ton equity.

Oui il faut que tu testes le retour de l'OrderSend et AUSSI le tradecontext (savoir si le serveur est dispo pour recevoir un ordre avant d'en envoyer un... logique.  )
Il y a un excellent article sur metaquotes et la gestion des ordres. Fais une recherche avec TradeContext.
 
En gros l'algo c'est :
test du tradecontext
si tradecontext ok
  ordersend
si retour ordersend<0  
 deuxième essai
sinon abandon

 
Je m'auto réponds : j'ai oublié de préciser que bien évidemment puisque ton levier utilisé est dépendant de ton equity, il faut que ton EA contrôle que ta marge soit suffisante avant tout envoi d'ordre (marge actuelle+marge bouffé par le nouvel ordre(reliée aux classiques 2% du compte)>marge minimum requise).
 
Tu mets cette vérif dans une fonction qui sera appelée avant le tradecontext.

 
Hmmm. Je ne suis pas sûr de comprendre. Je pensais que le levier utilisé était lié au compte et était fixe. Tu peux m'en dire un peu plus sur ce calcul du levier réel?

Ouiap pas trop le temps parceque la réponse tient dans une tartine. Réponse avant ce soir.  
 
Piste : ne pas confondre le levier max et le levier utilisé.

 
Exemple :
Tu as un compte de 500$ avec levier 100. Ca veut dire que tu peux ouvrir au max 500*100=50k$.
Tu ouvres donc ta position de 50k$. Tu utilises 100 de levier réel. Tu trades à 5$/pip. Tu utilises toute ta marge disponible : 50000/100=500.  
Ton niveau de marge sera donc (sans le spread) : equity/marge utilisée = 100%. Ca voudra dire que tu ne peux plus ouvrir de lots supplémentaires , et en dessous de 50-75%(dépend du broker) tu as un appel de marge qui te cloture les positions, en gros tu décales de 50 pips dans le mauvais sens et tu as perdu la moitié de ton compte...
 
Exemple 2 :
Tu as un compte de 500$ avec levier 100. Cette fois-ci tu ouvres une position de 2000$. Tu utilises 2000/100=20$ de marge, il te reste marge libre=480$. Tu trades à 0.2$/pip.
Le levier réel utilisé dans ce cas est 4 car 500*4=2000. Tu peux bien évidemment te servir du levier 96 restant pour continuer à ouvrir des positions... ce qui augmentera d'autant ton levier utilisé et diminuera ta marge restante.
Si tu es gagnant sur ta position, ton equity va augmenter, ta marge libre avec, tu pourras donc continuer à ouvrir des positions mais cette fois-ci en gardant ton levier constant.
 
Vala vala...
 
 

Merci pour tes explications
 

 
Donc, si j'ai bien compris, je n'ai pas à me soucier de ça pour connaître mon gain par pip qui sera toujours constant à lots constants. Par contre, si je passe à nouveau un ordre à 2000$, je vais alors utiliser plus de marge parce que mon levier sera plus faible (mais l'ordre sera toujours à 0.2$/pip). C'est bien ça?

Ton gain/pip est de 1$/pip si tu trades l'eurusd et oui pour une même paire à taille de lot constant ton gain/pip est constant.
 
Après si c'est des crosses il faut que tu fasses le change ça sera légèrement différent (tu trades l'audcad tu fermes eh bien tu auras un PnL en CAD qu'il faudra squarer avec l'USDCAD ou l'EURCAD pour avoir le PnL dans la monnaire de ton compte).
 
Concernant le texte ci-dessus si tu passes un 2e ordre à 2000$ tu vas utiliser plus de marge et donc aussi plus de levier (vu que tu auras 2 ordres à 2k$ c'est comme si tu en avais un à 4k$). La différence c'est qu'au lieu d'avoir 1 ordre à 4k$ qui fera 4$/pip tu auras deux ordres à 2k$ à 2$/pip chacun.

 
Oula, j'en suis pas encore là. Il faut que j'implémente un calcul de l'exposant de Hurst (nombre estimant la prédictibilité de l'évolution d'un système non-linéaire) pour voir s'il y a corrélation avec les perfs de mes NNs. Après et si c'est concluant, je choisirai la paire à trader en fonction. Pour l'instant, je vais rester sur EURUSD, c'est plus simple
 
 

 
C'est sûr? (j'allais me faire une feuille excel pour voir combien il me fallait de capital pour débuter, dans l'hypothèse où le bot commence par faire un gros drawdown).
 
Sinon, il a fait 788 pips depuis ce matin

Oui deux ordres à 2K sont équivalents à 1 ordre à 4K.
 
La question à te poser ce n'est pas combien de capital pour débuter c'est d'ajuster tes positions pour que ça reste dans les 2-3% de risque.
Les gains seront en rapport : petit capital, petits gains.
 
1 trade=2% de ton capital. Tu connais ton point d'entrée, tu connais ton SL, tu en déduis ta taille de position en fonction de ça.
 
SI tu respectes le MM de 2-3% très peu de chances de flamber ton compte sur un drawdown, sauf si ton EA est pourrave.  

 
Même pour la marge? Dans ton exemple, ça veut dire que tu engages alors 40$ de capital? (sans avoir besoin de réajuster en fonction du levier corrigé?)
 

 
Ca, c'est bon pour les humains
 
En fait, je vise plutôt à engager 0.2% de mon capital par ordre au début (je peux avoir jusqu'à 50 ordres ouverts en même temps). Ca peut sembler beaucoup (10% d'engagés au max en même temps) mais je n'ai jamais eu moins de 45% d'ordres gagnants dans mes tests (sur une semaine entière). En admettant que la moyenne des pertes soit à peu près égale à la moyenne des gains, ça donne un diff de 55%-45%=10%. Ca ferait donc autour des 10% de 10% soit 1%. Ca devrait me permettre d'encaisser les journées où il se vautre lamentablement.
 
Bon, sinon il est à 890 pips maintenant

 
Pour la marge oui puisque tu calcules ta marge utilisée par ton lot avec la formule : taille lot/levier du compte. Sachant que ta taille de lot=Equity*levier réel.
 
Après concernant le money management chacun le voit à sa manière. Rien n'oblige à respecter les 2% ni même à trader avec un SL. Tout dépend de la stratégie employée. Je dirais juste que c'est conseillé pour tenir sur le LT.
Par contre une des analyses du concous metaquotes 2008 montrait que le drawdown était proportionnel au levier utilisé. Bref un EA aggressif qui rapporte vite et beaucoup provoque aussi des equity curves avec des DDs élevés.
Concernant la gestion du DD faudrait que je te retrouve un passage très intéressant la dessus dans un bouquin de P. Orphelin. Je te donne ça demain.