TECH

2020.07.04

puppeteerをAWS Lambdaで利用する

AWS Lambdaは、いわゆるFaaS(Function as a Service)の1つです。AWS Lambdaを使用することで、サーバーのプロビジョニングや管理をすることなく、コードを実行できます。 なんらかのイベントをトリガーとして、処理を行うためには適しているサービスです。 しかし、puppeteerをAWS Lambda上で何かの処理を自動化する場合、以下の制約がネックになります。 …

TECH

2020.04.20

Puppeteerを使ってQrunchへクロス投稿する

QrunchとMediumに技術メモをクロス投稿する - SIS Lab で「Qrunchに自動投稿できる仕組みを作る」という課題があったので、Puppeteerで自動投稿できるようにしました。

TECH

2020.01.30

PuppeteerのwaitForNavigationで正しくページ遷移を待つ

「Puppeteer入門 スクレイピング+Web操作自動処理プログラミング」 を読むまで、PuppeteerのwaitForNavigationの動きを誤って理解していました。 ここでは、Puppeteerを利用して「ページ遷移を待つ」というよくある処理における誤った実装と正しい実装を紹介します。

TECH

2017.08.22

PuppeteerでAmazonアフィリエイトのレポートを取得する

GoogleChrome/puppeteer: Headless Chrome Node API というHeadless Chromeを操作するJavaScriptライブラリが出たので使ってみました。