2020.07.04
TECH
puppeteerをAWS Lambdaで利用する
AWS Lambdaは、いわゆるFaaS(Function as a Service)の1つです。AWS Lambdaを使用することで、サーバーのプロビジョニングや管理をすることなく、コードを実行できます。 なんらかのイベントをトリガーとして、処理を行うためには適しているサービスです。 しか …
2020.04.20
TECH
Puppeteerを使ってQrunchへクロス投稿する
QrunchとMediumに技術メモをクロス投稿する - SIS Lab で「Qrunchに自動投稿できる仕組みを作る」という課題があったので、Puppeteerで自動投稿できるようにしました。 Qrunch APIみたいなものがないか少し探してみましたが、なさそうだったのでPuppeteerで実 …
2020.01.30
TECH
PuppeteerのwaitForNavigationで正しくページ遷移を待つ
「Puppeteer入門 スクレイピング+Web操作自動処理プログラミング」 を読むまで、PuppeteerのwaitForNavigationの動きを誤って理解していました。 ここでは、Puppeteerを利用して「ページ遷移を待つ」というよくある処理における誤った実装と正しい実装を紹介します。 …
2017.08.22
TECH
PuppeteerでAmazonアフィリエイトのレポートを取得する
GoogleChrome/puppeteer: Headless Chrome Node API というHeadless Chromeを操作するJavaScriptライブラリが出たので使ってみました。 何度も実行してロボット判定されてしまったので、実際にはHeadlessで動作確認していないが(お …