Puppeteerによる優しいウェブサイトクロール

Puppeteerによる優しいウェブサイトクロール @naga3 LAPRAS シニアエンジニア

Puppeteerとは Node.jsからAPIでChrome(Chromium)を制御できるライブラリ。実際に内部でChrome(Chromium)が動くので、ブラウザで出来ることならばほぼ全て素直に実現可能。例：・ログイン・ボタンのクリック・無限スクロールページのスクロール

Pupetteer　←間違い Puppetter　←間違い Puppeteer　←正解！中の「p」と「e」が2文字ずつ。

実際にクロールしてみよう厚生労働省の「人材サービス総合サイト」 (https://www.jinzai-sougou.go.jp/) から、労働派遣事業一覧のデータを取得する。

URLが変わらない！検索画面のURL https://www.jinzai-sougou.go.jp/srv110.aspx 事業所一覧結果のURL https://www.jinzai-sougou.go.jp/srv110.aspx

ページ遷移するときの挙動を調べる都道府県検索から「東京」の IDをDevToolsから調べる。コンソール画面で実際にクリックできるか試してみても良い。jQuery風のSyntaxが使える。 $('#ctl00_ctl00_cphHFContent_cphContent_cbTokyo').click()

ページ遷移するときの挙動を調べる同様に、検索ボタンのIDも調べておく。

Puppeteerでページ遷移する // 検索のトップページへ遷移する。 await page.goto('https://www.jinzai-sougou.go.jp/srv120.aspx') // 「東京」のチェックボックスをクリック await page.click('#ctl00_ctl00_cphHFContent_cphContent_cbTokyo') //
「検索」ボタンをクリック await page.click('#ctl00_ctl00_cphHFContent_cphContent_btnSearch') // テーブルが出てくるまで待つ await page.waitFor('table#search')

Puppeteer Tips

ログイン一度ログインすれば、Browserインスタンスを閉じない限りChrome自体は閉じられないので、 Page インスタンス（タブ）を増やせば、ログインを継続できる。 Browser Page

ページ遷移完了を待つ await page.goto(URL) loadイベント完了まで待つ。これだけで十分な場合が多い。 await page.goto(URL, ‘networkidle2’) コネクション数が2個以下である状態が500ミリ秒以上続くまで待つ。SPAサイトで使える。

ページ遷移完了を待つ await page.waitFor(selector) selectorの要素が出現するまで待つ。 await page.waitFor(timeout) timeoutの時間が過ぎるまで待つ。

ページ遷移完了を待つ await page.waitFor(() => document.querySelectorAll(‘selector1, selector2’).length) selector1かselector2のどちらかの要素が出現するまで待つ。 waitFor関数はブラウザ内部で動く関数を引数に取ることができ、戻り値が trueになった時点で遷移する。 DOMのquerySelectorAll関数は指定した複数のセレクタに一致するリストを返す。

Happy Puppeteer life !

Puppeteerによる優しいウェブサイトクロール

Puppeteerによる優しいウェブサイトクロール

Osamu Nagayama

More Decks by Osamu Nagayama

Other Decks in Programming

Featured

Transcript