tomware Moteur à eau | Bonjour,
Je dois récupérer en local des milliers de pages écrites à la main en html.
Pour cela j'ai utilisé un script très bien construit :
http://www.jacobward.co.uk/working [...] ta-part-2/
Mon problème c'est que dès que je veux récupérer du contenu contenant des espaces (parfois variables pour le même champ), mon script ne détecte pas le contenu.
Je vais donc copier/coller le script que j'utilise actuellement. Et ensuite vous montrer ce qui marche et ce qui ne marche pas en esperant avoir votre aide 
Code :
- <?php
- // Defining the basic cURL function
- function curl($url) {
- // Assigning cURL options to an array
- $options = Array(
- CURLOPT_RETURNTRANSFER => true, // Setting cURL's option to return the webpage data
- CURLOPT_FOLLOWLOCATION => TRUE, // Setting cURL to follow 'location' HTTP headers
- CURLOPT_AUTOREFERER => TRUE, // Automatically set the referer where following 'location' HTTP headers
- CURLOPT_CONNECTTIMEOUT => 120, // Setting the amount of time (in seconds) before the request times out
- CURLOPT_TIMEOUT => 120, // Setting the maximum amount of time for cURL to execute queries
- CURLOPT_MAXREDIRS => 10, // Setting the maximum number of redirections to follow
- CURLOPT_USERAGENT => "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.1a2pre) Gecko/2008073000 Shredder/3.0a2pre ThunderBrowse/3.2.1.8", // Setting the useragent
- CURLOPT_URL => $url, // Setting cURL's URL option with the $url variable passed into the function
- );
-
- $ch = curl_init(); // Initialising cURL
- curl_setopt_array($ch, $options); // Setting cURL's options using the previously assigned array data in $options
- $data = curl_exec($ch); // Executing the cURL request and assigning the returned data to the $data variable
- curl_close($ch); // Closing cURL
- return $data; // Returning the data from the function
- }
- ?>
|
Code :
- <?php
- // Defining the basic scraping function
- function scrape_between($data, $start, $end){
- $data = stristr($data, $start); // Stripping all data from before $start
- $data = substr($data, strlen($start)); // Stripping $start
- $stop = stripos($data, $end); // Getting the position of the $end of the data to scrape
- $data = substr($data, 0, $stop); // Stripping all data from after and including the $end of the data to scrape
- return $data; // Returning the scraped data from the function
- }
- ?>
|
Code :
- <?php
- $scraped_page = curl("http://localhost/bibliotheque/fiches/afaire/$numero/index.html" ); // $numero est déterminé ailleurs ;)
- $auteur = scrape_between($scraped_page, "<div class=\"auteur\">", "</div>" ); // fonctionne parfaitement
- $categorie = scrape_between($scraped_page, "Catégorie :</th>
- <td class=\"table\">", "</td>" );
- echo"auteur : $auteur<br>"; // pour vérifier
- echo"catégorie : $catégorie<br>"; // pour vérifier
- ?>
|
Donc, suite à ce script, chaque fois qu'un contenu est défini par des balises sans espaces et bien encadrés(auteur), le contenu est parfaitement récupéré.
Par contre, si le contenu se retrouve entre des espaces, tab, ou autre indentation, je n'arrive pas a le récupérer. Ça affiche un blanc.
Voici une partie du code html de la page où je veux extraire les infos :
Code :
- <div class="auteur">Rimbaud</div> // Récupéré parfaitement !
- [...]
- <tr class="i-table"><th class="table">Catégorie :</th> <td class="table">Poésie</td></tr>
- [...]
|
Et bien la ça ne marche pas pour récupérer "poésie"...
en utilisant donc ceci :
Code :
- $categorie = scrape_between($scraped_page, "Catégorie :</th>
- <td class=\"table\">", "</td>" );
|
Merci d'avance pour votre aide
Message édité par tomware le 23-01-2015 à 15:01:02
|
