こちらは最新バージョンのOctoparse向けのチュートリアルガイドです。お使いのOctoparseが古いバージョンの場合は、最新バージョンへのアップグレードを強くおすすめします。最新バージョンは高速で、より使いやすく、強力になりました。まだアップグレードしていない場合は、こちらからダウンロードとアップグレードを行ってください。
CAPTCHAは、多くのウェブサイトでさまざまな形で適用され、よく見られるスクレイピング防止対策です。
スクレイピング効率を向上させるために、Octoparseは現在、次の3種類のCAPTCHAを自動的に処理することができます:ImageCaptcha、ReCaptcha V2、およびReCaptcha V3です。
ReCaptcha V2 & V3は同様の方法で解決できますが、ImageCaptchaの解決にはより複雑な設定が必要です。
このチュートリアルを通して、各CAPTCHAの基本的な仕組みを理解し、Octoparseを使った解決方法を学ぶことができます。
1.ReCaptcha V2 & V3とは?
ReCaptcha V2
ReCaptcha V2には通常、「私はロボットではありません」というボタンがあります、時にはhCaptchaと同様の簡単な質問が含まれている場合があります。
ReCaptcha V3はReCaptcha V2に似ていますが、チェックボックスはありません。
2.Recaptcha V2 & V3を識別させる方法
ワークフローの「+」アイコンを押します。
「CAPTCHAを検出」を選びます。
「CAPTCHAを検出」プロセスをクリックします。
「CAPTCHAタイプ」を選びます。
注意:
ReCaptchaに送信ボタンが含まれている場合(以下のスクリーンショットを参照)、hCaptcha V2 Checkboxを選択してください。
それ以外の場合は、ReCaptchaを選択してください。
「保存」を押して保存します 。
注意:
送信ボタン付きのReCaptchaの場合、もう1つのアクションを設定する必要があります。
1.送信ボタンをクリックしてターゲットページに移動します。
(これは、送信ボタン、サインインボタン、または確認ボタンである可能性があります)
2.「選択した要素をクリックする」を選択します。
ReCaptchaは、実際のデータランが行われるまで自動的に解決されません。そのため、タスク作成時にはブラウズモードをオンにして、手動で解決を行う必要があります。
3.画像Captchaとは?
画像Captchaは、人間が認証されるためのオリジナルの方法です。既知の単語やフレーズ、あるいは数字や文字のランダムな組み合わせを使用することができます。また、画像Captchaには、大文字小文字のバリエーションがあるものもあります。
4.画像Captchaを識別させる方法
チュートリアルに沿って画像Captchaを解決するためには、以下のURLをご利用ください。
https://democaptcha.com/demo-form-eng/image.html
A.Captchaの入力ボックスと画像を選択します
Captcha用の入力ボックスをクリックします。
操作提案から「Captcha認証」を選択します。
B.認証失敗の流れをOctoparseに覚えさせます
エラーメッセージをクリックします(この例では - Some errors were detected in your form...)
ヒントパネルの「確認エラー」をクリックします
C.認証成功の流れをOctoparseに覚えさせます
「検出成功の流れを設定する」をクリックし、最後のステップに進みます。
認証画像に表示されているテキストを入力してください。
「ウェブページに適用し、配置を完了します」をクリックし、設定を完了させます。
Octoparseは現在画像Captchaを自動的に識別できるようになりました。また、ワークフローにCAPTCHAを識別ステップが追加され、変更することもできます。
注意:
ReCaptcha V2、ReCaptcha V3は自動的に検出されるため、XPathを設定して位置を特定する必要はありません。一方、画像CAPTCHAはXPathなしでは検出できませんので、設定内のXPathに注意を払ってください。
千回のCAPTCHA解決ごとに1ドルの費用がかかります。1回のCAPTCHA解決試行は1つのCAPTCHAクレジットとしてカウントされます。1回のCAPTCHAを解決するために、複数のCAPTCHAクレジットが必要になる場合もあります。クレジットを追加するには「クレジットを追加」をクリックしてください。CAPTCHAクレジットは返金されません。スタンダード/プロフェッショナルプランのユーザーにはテスト用のクレジットをお送りしていますので、クレジットを購入する前にテストできます。
クレジットが使い果たされると、タスクはCAPTCHAを解決できなくなります。タスクを実行する前に、アカウントに十分なクレジットがあることを確認してください。