データ欠落を防ぐ方法

タスクの実行状況をより良く追跡できるように、タスクに「現ページ数」、「検索結果数」、「検索条件」、「抽出日時」などのフィールドを追加することをお勧めします。これらの情報を利用して、各検索ページがすべてのデータを抽出したかどうかを把握できます。

例一：

https://www.dot-st.com/disp/itemlist/?dispNo=001001002&sort=00

例二：

https://genkiwork.com/jobs/q/%E3%83%87%E3%83%BC%E3%82%BF%E5%85%A5%E5%8A%9B/%E7%A6%8F%E5%B2%A1%E7%9C%8C