Sie folgen jetzt einem Tutorial für die neueste Version von Octoparse. Wenn Sie zur Zeit eine ältere Version verwenden, empfehlen wir Ihnen kräftig es, ein Upgrade zu machen, weil sie schneller, leichter und stärker ist! Herunterladen und Installierung eines Upgrades hier, wenn Sie nicht so bereits machen!
Als Top von Navigation-Applikationen bietet Google Maps am Anfang nur eine einfache Methode dazu, von einem Ort zu einer anderen die Anweisungen zu erhalten. Aber es wird immer mächtiger und jetzt in eine weltweit interaktive Datenbank, was viele wertvollste Geschäftsinformationen im Internet abdeckt.
Wenn Sie jedoch als Geschäftsinhaber Bewertungen für Unternehmen oder Orte aus Google Maps extrahieren möchten, werden Sie bald feststellen, dass die offizielle Methode, Bewertungen über die Google Places API zu erhalten, auf 5 Bewertungen beschränkt ist, was selbst für die einfachste Aufgabe kaum ausreicht. Aber mit Octoparse können Sie Ihren eigenen Crawler erstellen und schnell sowie direkt aus Google Maps die Bewertungen für Business oder Orte mit der unbegrenzten Anzahl scrapen.
In diesem Tutorial würden wir Ihnen die Schritte anzeigen, wie man einen Workflow einstellen kann, um die Bewertungen aus Google Maps zu scrapen.
NOTIZ: Dieses Tutorial ist nur für Version 8.4 oder fortgeschritten geeignet, weil dieses Task die neu hinzugefügte Funktion "Partial Scroll" fordert. Wenn Sie noch eine ältere Version von Octoparse verwenden, aktualisieren Sie bitte zuerst in unsere neueste Version, um diese Funktion zu verwenden und diesem Tutorial zu folgen. |
In der rechten Seitenleiste gibt es die hauptsächlichen Schritte, die in diesem Tutorial erwähnt werden. [Herunterladen der Datei hier]
TIPP: Sie können am Ende des Artikels die Demo-Datei herunterladen. Zuerst importieren Sie sie in Octoparse und dann vergleichen mit Ihrem eigenen Task, um zu überprüfen, ob es in Ihrem Task Falsches gibt. |
Schritt 1: Erstellen von "Go to Web Page" - um die Ziel-Webseite zu öffnen
Jeder Workflow in Octoparse beginnt dabei, Octoparse mitzuteilen, mit welcher Webseite Sie starten möchten.
Geben Sie die Beispiel-URL in den auf der Startseite von Octoparse liegenden Suchkasten ein und dann klicken Sie auf "Start".
Sie können auch dadurch die URL eingeben, dass ein Task in "Advanced Mode" erstellt wird.
|
Auf jeden Fall sollten Sie überprüfen, ob ein "Go to Web Page" in Ihrem Workflow erstellt wird. Wenn Sie mehr als eine URL eingeben möchten, sehen Sie diesen Artikel zum Lernen, wie Octoparse eine Liste von URLs behandelt.
Schritt 2: Erstellen von "Click Item" - um in "All reviews"-Seite einzugehen
Klicken Sie auf "600 reviews", was Ihnen zur "All reviews"-Seite anleiten wird. Danach selektieren Sie "Click"-Button, um eine "Click Item" Aktion in Ihrem Workflow zu generieren.
Stellen Sie AJAX-Timeout als 15s oder länger ein.
Nun sind wir in die Seite mit Bewertungen eingegangen.
Schritt 3: Erstellen von "Loop Item" mit partiellem Scrollen - um die Bewertungsspalte nach unten zu scrollen
Sie werden feststellen, dass die neue Seite mehrere Bildlaufleisten hat und die gewünschten Bewertungen in einer Spalte auf der linken Seite zu finden sind, die sich verschieben lässt. Diese Seite wird nicht mehr Bewertungen weiter laden, wenn Sie nicht innerhalb der linken Spalte scrollen. Deshalb müssen wir ein Loop Item mit einem partiellen Scrollen für unseren Workflow einstellen, um weiter zu scrollen und gleichzeitig die Daten zu extrahieren.
Fügen Sie "Loop Item" Schritt in Ihrem Workflow hinzu.
Klicken Sie auf "Loop Item", dann stellen Sie Loop-Modus als "Scroll Page" ein. Schließlich verwechseln Sie die Einstellung vom Scroll-Ort von Default zu Partial.
Geben Sie den XPath vom Scroll-Ort ein, so dass Octoparse wissen kann, welchen Ort gescrollt wird.
Geben Sie direkt den XPath ein, wenn Sie wissen, wie man XPath schreiben sollte. Mit diesem Tutorial lernen Sie mehr XPath-Kenntnisse und dann wird ein XPath-Meister.
Wissen keine Kenntnisse über XPath? Keine Sorgen, Sie sind nicht einsam. Dank der Hilfe von neusetem Update können Sie einfach mit Klick auf folgendes Icon manuell den ganzen Scrollenort aus einer Webseite auswählen.
TIPP: Sie sollten winzig den ausgewählten Bereich anpassen, um sicherzustellen, dass Sie den ganzen scrollbaren Bereich (einschließlich Scrolltafel) ausgewählt haben. Der auto-generierte XPath und sogar der von Ihnen geschriebenen XPath können vermutlich nicht immer gut funktionieren. Lernen vom ständigen Versuche und Fehler! |
Wählen Sie eine Option zwischen Scrollen von "to the bottom of the page" oder "for one screen".
Stellen Sie wiederholende Anzahl von Scrollen ein. (Wie viel möchten Sie auf diese Webseite scrollen?)
Stellen Sie die Wartzeit ein.
Klicken Sie auf "Apply" zur Speicherung Ihrer Einstellungen.
Nun haben wir erfolgreich einen partiellen Scroll-Loop eingestellt.
Schritt 4: Datenextraktion im Loop - um die Daten für Extraktion auszuwählen
Der Schritt ist schnell und einfach mit Octoparse innovative Auto-Detektionsfunktion einzustellen.
Klicken Sie auf "Auto-detect web page data" in den Tipps-Kasten und warten, bis es abgeschlossen ist.
NOTIZ: Wenn das Auto-Detektion wegen einigen Fällen erfolglos die Liste detektiert, können Sie auch mehrere ähnliche Elemente auf der Webseite auswählen, um Octoparse das Muster für die Auswahl mitzuteilen. Überprüfen Sie diesen Artiel zum Lernen, wie eine Liste-Extraktion manuell eingestellt werden kann. |
Benennen Sie die gewünschten Datenfelder úm, auch können Sie die ungewünschten Datenfelder löschen.
In diesem Fall möchten wir die Daten wie Bewertungsname, Bewertungsinhalt, Bewertungsanzahl, Bewertungsdaten und die Anzahl, wie viele Menschen diese Bewertung lieben, erhalten.
Bestätigen Sie innerhalb des Tipps-Kasten und dann klicken Sie auf "Create workflow".
Überprüfen Sie bitte, welches das Loop-Item (sollte standardmäßig Loop-Item1 benannt werden), das Sie gerade erstellt hat, nun innerhalb des vorherigen Loop-Items gelegt wird.
Schritt 5: Verfeinerung der Datenfelder - um die Daten zu verfeinern
Sie notieren wahrscheinlich, dass einige Daten in der Spalte von der Zahlungsprüfung einen sinnlosen Punkt hat. Verwenden Sie "Clean data" zum Löschen der Punkte.
Klicken Sie auf "...", um mehr Optionen für Datenfelder anzuzeigen.
Klicken Sie auf "Clean data".
Klicken Sie auf "+ Add Step" und wählen Sie "Replace" Option.
Geben Sie einen Punkt in den "Replace"-Kasten ein und ersetzen es mit Leere (das heißt, dass Sie einfach "With"-Kasten leer bleiben lassen).
Klicken Sie auf "Evaluate", um zu sehen, ob wir das gewünschte Ergebnis bekommen haben.
Klicken Sie auf "Confirm", um die Veränderung in Kraft zu treten.
Schritt 6: Ausführung des Tasks - um die gewünschten Daten zu erhalten
Klicken Sie auf "Save" (oben rechts) zur Speicherung Ihres Tasks.
Klicken Sie auf "Run" und warten, bis ein "Run Task"-Fenster erscheint.
Wählen Sie auf "Run on your device", um Ihr Task in Ihrem eigenen Gerät durchzuführen.
Warten Sie, bis Ihr Task abgeschlossen ist.
Hier gibt es ein Beispiel-Output aus einer Lokale-Ausführung:
