メインコンテンツにスキップ

タスクが実行された直後に停止するのはなぜですか?

1年以上前に更新

ワークフローの構築に長い時間を費やした後に、タスクが何もスクレイプしないというエラーが発生すると、イライラするでしょう。

この記事では、タスクを実行した直後にタスクが停止する場合のトラブルシューティングの対策を紹介します。

クラウドでの抽出が完了したが、データが抽出されない場合は、「ローカル抽出が動作しているのに、なぜクラウド抽出にデータがないのですか?」を参照してください。


ローカルの抽出が完了したが、データが抽出されない場合、以下の理由が考えられます:

1. 提供されたウェブページが完全に読み込まれないか、開くのに時間がかかりすぎたり、タイムアウトしたりしている可能性がある

エラーメッセージが表示される前に、ローカル実行ウィンドウを観察してウェブページが正常に読み込まれているかどうかを確認できます。

解決策

  • インターネット接続を確認し、ウェブページが通常のブラウザで開けることを確認します。

  • ウェブページを開くタイムアウトを増やして、ウェブページが完全に読み込まれるまで次のステップに移行しないようにします。


2. ページの読み込みと同時にスクレイプする情報が読み込まれていない場合がある

タスクの実行後にローカル実行ウィンドウを観察し、必要な情報がウェブページ上で正しく読み込まれているかどうかを確認できます。

解決策

  • ウェブページを開くの後にいくらかの待機時間を設定するか、指定要素が表示されるまで待機するように設定します。これにより、Octoparseは情報がページに表示されるまで待機します。

  • ウェブページを開くにいくつかのスクロールを追加します。

一部の情報(特に画像)は、ページを下にスクロールしたときにのみ読み込まれる場合があります。


3. 「アイテムをクリック」のAJAX設定がされていないか、AJAXのタイムアウト時間が短すぎる場合

一部のウェブサイトでは、新しいコンテンツを更新するためにAJAX技術が使用される場合があります。タイムアウトが適切に設定されていない場合、Octoparseはすばやく次のアクションに移動して必要な情報を取得することができません。

解決策

  • アイテムをクリック」または「次のページをクリック」のAJAX読み込みを設定してみてください。

AJAXについて詳しく学ぶには、以下のリンクを参照してください:AJAX読み込み


4. ループアイテムが要素を正しく特定できない場合

ループアイテムが要素を特定できない場合、ループアイテムを実行する際にスクレイプが停止します。

解決策

  • アイテムが正しく選択されていることを確認します。もし選択されていない場合(ループアイテムに「要素が見つかりません」と表示される場合)、ワークフローを再構築し、すべてが正しく行われていることを確認する必要があります。

  • ループアイテムを再構築してもうまくいかない場合は、ループアイテムのXPathを手動で修正する必要があるかもしれません。詳細は「要素XPathをカスタマイズする」を参照してください。

こちらの回答で解決しましたか?