Octoparseには、クローリング初心者でも簡単に使える「自動検出機能」が搭載されています。この機能はWebページの構造を分析し、類似した要素を自動的に認識します。クリックした要素と同様の項目を候補として表示してくれるため、作業の手間を大幅に省くことができます。
①類似要素の自動認識
自動検出機能は、Webページのすべての構造を分析し、類似の要素を認識します。例えば、ウィキペディアのページのように、似たような構造を持つ要素を認識できます。
②ページネーションの自動認識
データを収集する際、複数ページにわたって情報が掲載されている場合があります。Octoparseでは、ページ内の「次へ」やページ番号などのリンクを自動的に検出し、ページを順にめくってデータを収集できます。10ページでも1000ページでも対応可能です。
③ワークフローの自動構築
Webサイトによっては、スクロール操作やリストページから詳細ページへの遷移が必要な場合もあります。自動検出機能を活用すれば、こうした操作も含めたワークフローを簡単に構築できます。Octoparseを使えば、さまざまなWebサイトから効率的にデータを取得できます。
なお、この自動検出機能はWebページの構造に大きく依存します。特殊なサイトや非常に複雑な構造のページでは、認識精度が低下する場合があります。その際は、Octoparseのカスタマーサポートまでお気軽にお問い合わせください。
この機能の強力さをより深くご理解いただくために、いくつかのWebサイトを例にデモンストレーションを以下ビデオで行いました。ご参考いただければと思います。
レッスン2：タスクを最適化する