TECH

2020.01.30

「Puppeteer入門 スクレイピング+Web操作自動処理プログラミング」 を読むまで、PuppeteerのwaitForNavigationの動きを誤って理解していました。 ここでは、Puppeteerを利用して「ページ遷移を待つ」というよくある処理における誤った実装と正しい実装を紹介します。

TECH

2016.02.01

次の本 を読み進めることで、RubyのライブラリであるCapybara, Poltergeistを利用してスクレイピングを行うことができました。PoltergeistはPhantomJSというHeadless Browserを操作するためのCapybara用Driverです。 PhantomJSはJavaScriptライブラリということで、JavaScriptからPhantomJSを操作するには …

TECH

2011.11.15

mechanizeの記事を見かけたので、Pythonでスクレイピングに挑戦。 mixiの過去の日記をEvernoteに送りたいなぁと思ってます。 mechanizeとBeautifulSoupのインストー