Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2587 connectés 

  FORUM HardWare.fr
  Windows & Software
  Logiciels

  "Aspirateur" Web

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

"Aspirateur" Web

n°3474239
rooney20
Posté le 05-09-2026 à 21:51:53  profilanswer
 

Bonjour
 
Peut-être que certains d'entre-vous se rappellent qu'il existait dans l'temps, un logiciel qui s'appelait:
" teleport Pro".
un logiciel génial qui m'avait permis de télécharger des sites complets, ou seulement des parties, ou seulement les textes ou les images seules.
 
Bref, il a l'air d'être incompatible avec les sites d'aujourd'hui... du moins ce que me répond Chatgpt, qui me propose à la place des addons sur Firefox
exemple " Single " ou SingleZ" et d'autres encore.
 
Sauf que ces extensions (Single ou les autres) ne téléchargent QUE les pages qui ont été visualisées, donc chargées en cache.
 
Ma question est donc:
- Est-ce qu'il existe un aspirateur Web capable de faire une copie du site soit en entier, soit en partie, soit télécharger seulement un type de fichier ?
Si c'est du gratuit, tant mieux, sinon, en mode essai ou du Shareware ou du payant.
 
Merci d'avance pour votre aide.

mood
Publicité
Posté le 05-09-2026 à 21:51:53  profilanswer
 

n°3474240
Trit'
Posté le 06-09-2026 à 01:13:43  profilanswer
 

Curl ?
 
Mais attention : à cause de cette fichue IA générative, de plus en plus de propriétaires de sites persos commencent à bannir sans sommation les IP (voire carrément des plages d’IP) qu’ils chopent à faire du scraping sur leurs sites, come tu souhaites le faire et le font déjà les bots IA (la seule exception que beaucoup tolèrent étant Internet Archive). Je préviens donc que c’est plus trop le moment de s’amuser à ça.


---------------
Responsable TU Vivaldi depuis le 29/4/2024. N’utilisez pas de LLM pour me répondre, merci. #NoAI
n°3474246
rooney20
Posté le 06-09-2026 à 15:59:53  profilanswer
 

Je savais pas que ça s'appelait du "scraping".
sur les sites de BD, ont peut télécharger les pages qu'après les avoir visualisées.
ça prend le temps de les faire défiler, mais au final, on peut les télécharger avec "fichier/enregistrer sous" ou " singlefileZ"
 
"SinglefileZ" et ""fichier/enregistrer sous" ne pompent pas le site, il pompe mon cache.
En quoi je fais du tort au proprio du site si je trouve un moyen d'aboutir au même résultat sans visualiser les pages d'abord ?
L'un des sites est justement " Internet Archive "
 
 
 
 

n°3474247
Trit'
Posté le 06-09-2026 à 17:22:33  profilanswer
 

rooney20 a écrit :

"SinglefileZ" et ""fichier/enregistrer sous" ne pompent pas le site, il pompe mon cache.
En quoi je fais du tort au proprio du site si je trouve un moyen d'aboutir au même résultat sans visualiser les pages d'abord ?


C’est une question de bande passante (facturée au propriétaire d’un site par son hébergeur en fonction du trafic dessus). Mais depuis le cache, ça va. Je parlais surtout du cas où tu lancerais un logiciel (comme Curl, qui a une fonction de téléchargement récursif) spécialement conçu et configuré pour tout récupérer d’un coup (quelques secondes à quelques minutes, selon la connexion). Ça, en termes de « bonnes pratiques », c’est à éviter, désormais.
 
Un exemple : Un type nommé IanJ (sur Gopher.icu : gopher://gopher.icu/0/phlog/Computing/Cleaning-house.md) surveille maintenant ses logs et bannit directement les IP qui agissent de la sorte :
 

Citation :

Today's lucky winner is an [censuré].net host. It appears to have been trying to scrape all my articles but, couldn't even manage to do that correctly, with multiple downloads of the same file.
 
I'm becoming increasingly intolerant of this BS and so starting to blacklist whole subnets. Unfortunately it's like carpet-bombing and you know innocent people are going to get caught in the crossfire.
 
If you should find that you can no longer access gopher.icu then, this is likely the reason.


---------------
Responsable TU Vivaldi depuis le 29/4/2024. N’utilisez pas de LLM pour me répondre, merci. #NoAI
n°3474266
rooney20
Posté le 07-09-2026 à 17:57:34  profilanswer
 

Sur le site BDplus, SinglefileZ ne télécharge QUE la page affichée. Apparemment, dès qu'on change de page, celle qui était affichée s’efface du cache ? c'est du moins, ce que j'en conclu, car j'ai affiché toutes les pages...Elles devraient être dans le cache, visible par SZ.
C'est possible ça, que le site efface les pages en cache ?


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Windows & Software
  Logiciels

  "Aspirateur" Web

 

Sujets relatifs
Cherche application Web permettant de créer un miroir IMAP pour mailaspirateur d'email
Malware Web data impossible à supprimerAspirateur Web HTTrack Problème
Pb Aspirateur sites Web : les images ne s'affichet pasmeilleur aspirateur de site web
Aspirateur site web[RESOLU]Quel est le meilleur aspirateur de site Web ? Merci
ASPIRATEUR DE SITE WEBAspirateur de sites Web ??
Plus de sujets relatifs à : "Aspirateur" Web


Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)