質問1:
APIを使用してローカル抽出データをエクスポートできますか?
回答: できません。ただし、ローカルデータを最初にクラウドにバックアップしてから、APIを使用してデータをエクスポートできます。
質問2:
tokenをリクエストしたときに「500 Internal Server Error」が発生しました。どうすればいいですか?
回答: リクエスト本文でメールアドレスをユーザー名として設定していないか確認してください。ユーザー名に変更する必要があります。
質問3:
なぜ「403 Not Authorized」エラーが発生するのですか?
回答: アカウントに許可がないAPIサーバーをリクエストしたときに表示されます。アカウントがスタンダードプランで、プロフェッショナルアカウントが必要なタスクの開始をリクエストした場合、このエラーが表示されます。リクエストする前にAPIのアクセス許可を確認してください。
質問4:
なぜ「429 Limit Times」エラーが発生するのですか?
回答: Octoparseは、APIの使用を1秒あたり20リクエストに制限しています。 ステータスコード‘429’を受信した場合は、頻度を下げてください。
質問5:
APIのエクスポートされていないデータをエクスポートすると、なぜいつも同じデータが得られるのですか?
回答: 次のバッチのデータをエクスポートする前に、エクスポート済みとしてマークを使用して、エクスポートされていないデータにマークを付ける必要があります。
質問6:
offsetによるデータのエクスポートを使用すると、なぜ同じデータのバッチが得られるのですか?
回答: 次のデータ行のバッチを取得するには、APIレスポンスで返されたoffsetを使用する必要があります。
例えば、返されたoffsetが100であるにもかかわらず、offset=0、offset=10を使用し続けている場合、取得されるデータ行は同じバッチになります。
質問7:
エクスポートされていないデータAPIを使用して、次の1000行を取得するにはどうすればよいですか?データ量は1000行を超えています。
回答: エクスポートされていないデータの最初のバッチをエクスポートした場合は、エクスポート済みとしてマークを使用して、このバッチデータにマークを付けてください。次に、エクスポートされていないデータを使用して、次の1000行を取得できます。以降も同様に続けることができます。
質問8:
offsetによる取得を使用しているとき、なぜ1000行のエクスポートのみが許可されるのですか? すべての行を取得するにはどうすればよいですか?
回答: APIリクエストごとにエクスポートできるデータは最大1,000行に制限されています。すべてのデータを取得するためには、複数のAPIリクエストを利用する必要があります。初回のリクエストでは、オフセット値を0に設定して最初の1,000行を取得します。次回以降のリクエストでは、前回のリクエストのレスポンスから得られるオフセット値(通常1,000を超える)が必要となります。そのオフセット値を使用して次の1,000行を取得します。このプロセスを繰り返して、全データを取得します。
質問9:
返されるoffsetの数が非常に大きいのはなぜですか? そんなに多くのデータ行をリクエストした覚えがありません。
回答: これは、以前の実行でスクレイピングされた一部のデータ行が削除され、開始offsetが0ではなくなったためです。 たとえば、タスクを最初に実行したときに100行のデータを取得した場合、これらの100行のデータはoffset=0で開始します。 この100行のデータを削除し、同じタスクを再実行して100行の新しいデータを取得したとします。 今度は、offset 0~100のデータ行が削除されているため、100行のデータはoffset=100で開始します。
質問10:
APIを使用してプログラムで追加のクローラーを作成し、それらをAPIで抽出できますか?
回答: 現時点では、Octoparse APIは抽出されたデータの取得、タスク情報の取得、タスク/クローラーの制御(抽出の開始/停止)のみを許可しています。 Octoparseでクローラーを作成/構成する必要がある場合は、アプリ内のタスク構成インターフェイスで行う必要があります。