Menu Close

TECH

2020.01.30

PuppeteerのwaitForNavigationで正しくページ遷移を待つ

「Puppeteer入門 スクレイピング+Web操作自動処理プログラミング」を読むまで、PuppeteerのwaitForNavigationの動きを誤って理解していました。 ここでは、Puppeteerを利用して「ページ遷移を待つ」というよくある処理における誤った実装と正しい実装を紹介します。

TECH

2016.02.01

Nightmare.jsでAmazonアフィリエイトのレポートを取得する

次の本を読み進めることで、RubyのライブラリであるCapybara, Poltergeistを利用してスクレイピングを行うことができました。PoltergeistはPhantomJSというHeadless Browserを操作するためのCapybara用Driverです。 PhantomJSはJavaScriptライブラリということで、JavaScriptからPhantomJSを操作するにはどの …

TECH

2011.11.15

Pythonでスクレイピングに挑戦。〜mixiの日記をEvernoteへ放り込みたい〜

mechanizeの記事を見かけたので、Pythonでスクレイピングに挑戦。 mixiの過去の日記をEvernoteに送りたいなぁと思ってます。 mechanizeとBeautifulSoupのインストー