メインコンテンツにスキップ

タスクの同時実行とは?

6か月以上前に更新

同時実行タスクとは、クラウドまたはローカル環境で同時に実行されているタスクのことを指します。ただし、一部異なる点があるためご注意ください。

  1. ローカル同時実行数 は、現在ローカル環境で実行されているタスクの数を指します。無料プランおよびベーシックプランでは、最大2つのタスクを同時に実行できますが、それ以外のプランでは無制限に同時実行が可能です。

  2. クラウド同時実行数 は、クラウド環境で同時に実行されているタスクの数を指します。

💡TIP:

フィルター機能を利用すると、ご自身のアカウントで現在実行中のタスクを確認できます。

ローカル同時実行

無料プランはローカル同時実行を2つに制限されていますが、他のプランでは制限なしです。

ただし、ローカルでのスクレイピング速度はローカルネットワークに依存し、同時に開いているタスクが多すぎると大幅に低下することがあります。

クラウド同時実行

Q:クラウドサーバー6台がある場合、クラウドにはいつも6つのタスクが実行されていますか?

A:違います。

6台のサーバーがある場合、理論上は最大6個のタスクが同時に実行できますが、実際にはタスクの構成に依存します。

原因:

クラウドタスクを起動する場合、Octoparseはタスクをさらに小さなサブタスクに分割できるかどうかを確認します。(タスク分割)。同じタスクに使用するサーバーの数が多ければ多いほど、タスクの実行時間が短くなり、対象のWebサイトからブロックされるリスクも低くなります。

状況1
タスクを分割することができず、最初から最後まで1つのクラウドサーバーしか使用できません。
この場合、 (サブ)タスクはすぐに開始されます。

状況2
タスクの分割が可能で、分割数が所有するクラウドサーバーの数以下であること。
この場合、全部のサブタスクはすぐに開始されます。

状況3
タスクの分割が可能で、分割数はクラウドサーバーの保有台数より多い。 (タスクは最大100のサブタスクに分割可能)
この場合、すぐに開始するタスクもあれば、サーバーが空くのを待つ必要があるタスクもあります。

Q:同時実行のタスク数を制限できますか?

A:「クラウドサーバー管理」より、同時実行タスク数の上限を制限できます。
仮に3つのタスクの同時実行数(上限)を3に設定し、1つのタスクが分割可能なタスクである場合、そのタスクはすべての空きサーバーを使用しますので、ダッシュボード上で実行中のタスクが1つしか表示されない可能性があります。ただし、3つのタスクがすべて分割不可能なタイプの場合は、設定と同じ結果になり、3つのタスクが同時に実行されます。

Q:同時実行のタスクの優先度を設定できますか?

A:はい

こちらの回答で解決しましたか?