メインコンテンツにスキップ

Yahoo Financeから暗号資産情報をスクレイピングする

1年以上前に更新

Octoparseの最新バージョン向けチュートリアルガイドをご覧いただきありがとうございます。

旧バージョンをお使いの場合は、より高速で使いやすく、安定性の向上した最新バージョンへのアップグレードを強くお勧めします!まだアップグレードされていない場合は、ここからダウンロードしてアップグレードしてください!

暗号資産(仮想通貨)とは、偽造や二重使用をほぼ不可能にする暗号技術によって保護された、デジタル通貨のことです。 多くの暗号資産は、ブロックチェーン技術に基づく分散型ネットワーク、つまり、多様なネットワークによって維持される分散型台帳上で運用されています。

暗号資産トレーダーは、刻一刻と変化する価格変動を常に監視する必要があります。Octoparseは、スクレイピングを即座に実行するようにスケジュールできるため、最新の情報をタイムリーに取得できます。

このチュートリアルでは、Yahoo Financeから暗号資産情報をスクレイピングする方法をご紹介します。

Yahoo Financeの場合、Octoparseスクレイピングツールのメイン画面にある「タスクテンプレート」をご利用いただけます。 必要なパラメータをいくつか入力するだけで、タスクを実行できます。 詳細については、こちらをご覧ください:タスクテンプレート

このチュートリアルを進めるには、次のURLをご利用ください。


Octoparseを使って、暗号資産チャートからシンボルや銘柄などのデータをスクレイピングします。

1.1.png

主な手順は右側のメニューに表示されています。また、サンプルタスクファイルはこちらからダウンロードできます。


1. 「Webページを開く」を作成 - ターゲットのWebページを開きます

  • ホーム画面でページURLを入力し、スタートをクリックして新しいタスクを作成します。


2. ウェブページのデータを自動検出 - ワークフローを作成します

  • ウェブページのデータを自動検出を選択し、検出が完了するまで待ちます。

  • 操作提案パネルの検出結果を切り替えるをクリックし、表の情報が選択されるまで繰り返します。

  • スクロールダウンを設定するのチェックを外します。

  • ワークフローを生成をクリックします。

  • 次のページをクリックアクションをクリックします。

  • AJAXタイムアウトを7〜10秒に延長します。

  • 保存をクリックします。


3. データを抽出 - データフィールドを調整します

  • 縦向き表示に切り替えます。

  • 各フィールド名をダブルクリックして、フィールド名を変更します。

  • フィールドを選択し、ゴミ箱アイコンをクリックしてフィールドを削除します。

注: フィールド名には、仮名、漢字、英数字と「 _ 」(アンダースコア)のみ使用できます。また、フィールド名は数字で始めることはできません。

より正確にデータスクレイピングを行うために、一部のフィールドのXPathを変更する必要があります。

  • Price: //fin-streamer[@data-field="regularMarketPrice"]

  • Marketcap: //fin-streamer[@data-field="marketCap"]


4. ページネーションのXPathを変更 - 無限スクレイピングを防ぐ

自動生成されたページネーションのXPathは、修正する必要があります。修正しないと、スクレイピングが停止せず、Octoparseは最後のページを繰り返しスクレイピングし続けます。 この問題に関する詳細は、こちらをご覧ください。

  • ページネーションをクリックします。

  • 新しいXPath //button[not(@disabled) and contains(@aria-label,'next page')] を入力。

  • 保存をクリックします。


5. タスクを実行 - ターゲットデータを取得します

  • 保存をクリックします。

  • 右上の実行をクリックします。

  • ローカル収集を選択してコンピューターでタスクを実行するか、クラウド収集を選択してクラウドでタスクを実行します(プレミアムユーザーのみ)。 また、タスクをスケジュールして、データを定期的に更新することもできます。

抽出したデータは、EXCEL、CVS、JSON などの提供されている形式またはデータベースにエクスポートできます。

以下は出力例です。

こちらの回答で解決しましたか?