Quando esegui lo scraping di un sito Web che applica lo scorrimento infinito o il tasto di carica altro per caricare più contenuti, potresti imbatterti in questo scenario:
Qualche volta anche se hai impostato uno scorrimento inifinito o il clic sui tasti Carica altro, potresti comunque non trovare nuovi elementi aggiunti all'elenco degli elementi in loop, oppure durante esecuzione dell'attività raccoglie solo un numero limitato di righe di dati.
Questo perché Octoparse genera gli elementi in loop nella modalità di loop Elenco fisso. Puoi seguire questo tutorial per verificare e risolvere il problema. Prendiamo l'immagine qui sotto come esempio:
Potresti notare che la Modalità di loop corrente è in modalità Elenco fisso.
A differenza dell'Elenco variabile, l'Elenco fisso includerà solo gli elementi in base all'elenco fisso di XPath immesso nella casella di testo. Pertanto, quando si ha a che fare con elementi dinamici o quando il numero di elementi varia su pagine diverse, è necessario passare alla modalità di loop nell'Elenco variabile perché può rilevare e localizzare automaticamente tutti gli elementi corrispondenti a un determinato XPath.
Suggerimento: ci sono 6 modalità di loop in Octoparse. Scopri di più in questo articolo: Elementi in loop
Per risolvere questo problema, devi anche modificare l'XPath. Dai un'occhiata a questo tutorial su Come scrivere l'XPath di un elemento per saperne di più su XPath.
Dopo aver cambiato la modalità loop in Elenco variabile, possiamo quindi inserire l'XPath corretto nella casella XPath corrispondente per individuare tutti gli elementi di destinazione sulla pagina. Ricordati di fare clic su Applica per salvare le impostazioni.