Je cale sur les erreurs d'URL... ENCORE

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : Je cale sur les erreurs d'URL... ENCORE

erwan83

Du Shift DEL tu te méfieras !

mon code :

Code :

import httplib
import urllib2
inp = file("e:/liste.txt","r" )
for line in inp.readlines():
print 'ADRESSE EN COURS :'
print line
httplib.HTTPConnection.debuglevel = 1
request = urllib2.Request(line)
opener = urllib2.build_opener()
lien = opener.open(request).read()
... et ensuite tout un tas de trucs...

mon erreur :

Code :

Traceback (most recent call last):
File "E:\PROG PYTHON\URL\TestUrl.py", line 45, in <module> //soit la lignne 12 ci dessus
lien = opener.open(request).read()
File "C:\Python25\lib\urllib2.py", line 387, in open
response = meth(req, response)
File "C:\Python25\lib\urllib2.py", line 498, in http_response
'http', request, response, code, msg, hdrs)
File "C:\Python25\lib\urllib2.py", line 425, in error
return self._call_chain(*args)
File "C:\Python25\lib\urllib2.py", line 360, in _call_chain
result = func(*args)
File "C:\Python25\lib\urllib2.py", line 506, in http_error_default
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
HTTPError: HTTP Error 404: NotFound

Problème : Python peut me retourner toute une batterie d'erreurs (Not found, Acces interdit etc etc etc)
Et je ne sais pas où coller un try / except dans ce code.

Message cité 1 fois
Message édité par erwan83 le 09-06-2010 à 19:02:13

---------------
http://www.ypikay.com

Publicité

Sve@r

erwan83 a écrit :

mon code :

Code :

import httplib
import urllib2
inp = file("e:/liste.txt","r" )
for line in inp.readlines():
print 'ADRESSE EN COURS :'
print line
httplib.HTTPConnection.debuglevel = 1
request = urllib2.Request(line)
opener = urllib2.build_opener()
lien = opener.open(request).read()
... et ensuite tout un tas de trucs...

mon erreur :

Code :

Traceback (most recent call last):
File "E:\PROG PYTHON\URL\TestUrl.py", line 45, in <module> //soit la lignne 12 ci dessus
lien = opener.open(request).read()
File "C:\Python25\lib\urllib2.py", line 387, in open
response = meth(req, response)
File "C:\Python25\lib\urllib2.py", line 498, in http_response
'http', request, response, code, msg, hdrs)
File "C:\Python25\lib\urllib2.py", line 425, in error
return self._call_chain(*args)
File "C:\Python25\lib\urllib2.py", line 360, in _call_chain
result = func(*args)
File "C:\Python25\lib\urllib2.py", line 506, in http_error_default
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
HTTPError: HTTP Error 404: NotFound

L'erreur se situe ligne 45 sur l'instruction "lien = opener.open(request).read()"
Ca te retourne une exception " "HTTPError" ("exeption" c'est le terme pour désigner l'erreur)

erwan83 a écrit :

Et je ne sais pas où coller un try / except dans ce code.

Pour bien coller un try/except, il faut essayer de trouver l'opération la plus atomique possible qui va décider si ton traitement réussit ou échoue. Cette opération peut être sur 1, 2 ou 12 instructions.
En fait, un try/except va te garantir que tout ce que tu mets dedans sera contrôlé. Inversement, si tu mets 3 instructions et que l'une plante, tu pourras pas gérer laquelle.

Pour en revenir à ton code, je pense que tu peux le faire ainsi

Code :

request = urllib2.Request(line)
opener = urllib2.build_opener()
try:
    lien = opener.open(request).read()
except HTTPError:
    # A toi de gérer l'erreur d'ouverture
    # Comme t'es dans un "for", cette gestion se terminera probablement par un "continue" pour passer à l'itération suivante
# try
... et ensuite tout un tas de trucs...

Message édité par Sve@r le 08-06-2010 à 23:10:56

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

erwan83

Du Shift DEL tu te méfieras !

Merci, en fait j'ai laissé tomber httperror qui était trop complexe à gérer :

Code :

req = urllib2.Request(adresse, data, headers)
try:
response = urllib2.urlopen(req)
except IOError:
print 'E R R E U R D A C C E S U R L'
fichier_err = 'e:\\.........Erreurs_Acces.txt'
fichier_erreur = open(fichier_err,'a')
fichier_erreur.write(line)
fichier_erreur.close()
else:
# on continue

alors je ne sais pourquoi mais ça marche.
bizarre non, des problemes d' I/O sur du HTTP ?
si il faut que je me cogne les 50 et quelques codes d'erreur HTTP, ça me décourage.

Message cité 1 fois
Message édité par erwan83 le 09-06-2010 à 10:53:59

---------------
http://www.ypikay.com

Sve@r

erwan83 a écrit :

Merci, en fait j'ai laissé tomber httperror qui était trop complexe à gérer :

Code :

req = urllib2.Request(adresse, data, headers)
try:
response = urllib2.urlopen(req)
except IOError:
print 'E R R E U R D A C C E S U R L'
fichier_err = 'e:\\.........Erreurs_Acces.txt'
fichier_erreur = open(fichier_err,'a')
fichier_erreur.write(line)
fichier_erreur.close()
else:
# on continue

alors je ne sais pourquoi mais ça marche.
bizarre non, des problemes d' I/O sur du HTTP ?
si il faut que je me cogne les 50 et quelques codes d'erreur HTTP, ça me décourage.

Je sais pas pourquoi urlopen te renvoie un IOError. Mais tu peux trouver pourquoi avec un truc de ce style

Code :

try:
        response = urllib2.urlopen(req)
 
except IOError, eObject:
        print 'E R R E U R   D   A C C E S   U R L - Erreur [%s]' % eObject
        ...

Si l'exception est levée, t'auras l'objet associé qui sera récupéré par la variable "eObject". Et en l'affichant, t'auras le message d'erreur qui va avec. Comme ça tu pourras voir pourquoi le IOError.

De plus, t'es pas obligé de mettre l'exception précise. Tu peux laisser en blanc. Style...

Code :

try:
        response = urllib2.urlopen(req)
 
except:    # Quelle que soit l'exception, elle sera récupérée ici.
        print 'E R R E U R   D   A C C E S   U R L'
        ...

Tu peux aussi capturer n exceptions d'affilée. Style

Code :

try:
        response = urllib2.urlopen(req)
 
except (IOError, HTTPError, TOTOError, TRUCMUCHEError, ...), eObject:
        print 'E R R E U R   D   A C C E S   U R L - Erreur [%s]' % eObject
        ...

Quelle que soit l'exception qui correspond à la liste citée, elle sera capturée...

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

erwan83

Du Shift DEL tu te méfieras !

essayez d'ouvrir ça avec python...
chez moi ça tourne en boucle sans jamais ramener d'erreur, de même sous FF ou IE
http://www.boutique-habitatmalin.com

Message cité 1 fois

---------------
http://www.ypikay.com

erwan83

Du Shift DEL tu te méfieras !

ok pas vu la réponse on a du se croiser

---------------
http://www.ypikay.com

Sve@r

erwan83 a écrit :

essayez d'ouvrir ça avec python...
chez moi ça tourne en boucle sans jamais ramener d'erreur, de même sous FF ou IE
http://www.boutique-habitatmalin.com

Chez-moi, aucun problème

Code :

import urllib2
url=urllib2.urlopen("http://www.boutique-habitatmalin.com" )
for lig in url:
    print lig
url.close()

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

erwan83

Du Shift DEL tu te méfieras !

fichtre !
Bon, ceci étant, je me suis permis de modifier le code du fichier Urllib2 et depuis ça marche tout seul :

Code :

...///...
import bisect
try:
from cStringIO import StringIO
except ImportError:
from StringIO import StringIO
from urllib import (unwrap, unquote, splittype, splithost, quote,
addinfourl, splitport, splitgophertype, splitquery,
splitattr, ftpwrapper, noheaders, splituser, splitpasswd, splitvalue)
# support for FileHandler, proxies via environment variables
from urllib import localhost, url2pathname, getproxies
# used in User-Agent header sent
__version__ = sys.version[:3]
_opener = None
def urlopen(url, data=None):
global _opener
if _opener is None:
_opener = build_opener()
try: #AJOUT
return _opener.open(url, data)
except (IOError), eObject: #AJOUT
print 'E R R E U R URLLIB2.PY - Erreur [%s]' % eObject #AJOUT
def install_opener(opener):
global _opener
_opener = opener

De ce fait, Urllib2 me renvoie les erreurs et n'impacte plus mon code principal !!!

Pour l'URL du dessus ça devait planter lorsque j'ai posté car ça marche aussi chez moi !

Message cité 1 fois
Message édité par erwan83 le 10-06-2010 à 22:26:10

---------------
http://www.ypikay.com

Sve@r

erwan83 a écrit :

fichtre !
Bon, ceci étant, je me suis permis de modifier le code du fichier Urllib2 et depuis ça marche tout seul :

Code :

...///...
import bisect
try:
from cStringIO import StringIO
except ImportError:
from StringIO import StringIO
from urllib import (unwrap, unquote, splittype, splithost, quote,
addinfourl, splitport, splitgophertype, splitquery,
splitattr, ftpwrapper, noheaders, splituser, splitpasswd, splitvalue)
# support for FileHandler, proxies via environment variables
from urllib import localhost, url2pathname, getproxies
# used in User-Agent header sent
__version__ = sys.version[:3]
_opener = None
def urlopen(url, data=None):
global _opener
if _opener is None:
_opener = build_opener()
try: #AJOUT
return _opener.open(url, data)
except (IOError), eObject: #AJOUT
print 'E R R E U R URLLIB2.PY - Erreur [%s]' % eObject #AJOUT
def install_opener(opener):
global _opener
_opener = opener

De ce fait, Urllib2 me renvoie les erreurs et n'impacte plus mon code principal !!!

Euh, modifier un fichier de librairie officielle c'est tout sauf prudent.
1) ça rend le code inmaintenable
2) si la librairie est réinstallée, le code pffuiiit...

N'y avait-il pas moyen de faire autrement ??? Par exemple mettre un try dans ton code là où t'appelles urlopen plutôt que mettre le try dans la fonction urlopen elle-même ???

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

erwan83

Du Shift DEL tu te méfieras !

ben bizarrement non car je me suis retrouvé avec des erreurs que visiblement je n'arrivais pas à gerer du style connection reset by peer ou autres bizarreries qui ne portaient pas de nom d'erreur clairement définies

et là ça me sort ça :

Code :

ADRESSE EN COURS :
http://ainsi-bloggait-zarathoustra [...] ns-cet-ete
E R R E U R URLLIB2.PY - Erreur [HTTP Error 404: Not Found] // urllib renvoie une erreur, je modifie mon code pour qu'il ne perde pas la boule car il récupère un 'NONE'
http://ainsi-bloggait-zarathoustra [...] ns-cet-ete
ADRESSE EN COURS :
http://airnadette.blog.canalplus.fr
Airnadette
etc etc

---------------
http://www.ypikay.com

FORUM HardWare.fr

Programmation

Python

Je cale sur les erreurs d'URL... ENCORE

Sujets relatifs
Calcul URL relative entre 2 dossiers	Transformer une URL pour chaque utilisateurs
capter les erreurs	probleme pour cacher les erreurs de connexion à database
Mettre à jour une URL en temps réel selon ce qui est écrit ds 1 input	file_get_contents avec lien URL qui marche pas
[Résolu] IE et erreurs JS incompréhensibles	Masquer repertoire en Url Rewriting ?
URL Rewriting, je deviens semi dingue, aidez moi svp	Cryptage asymetrique d'URL?
Plus de sujets relatifs à : Je cale sur les erreurs d'URL... ENCORE

Page générée en 0.106 secondes