• SIS Lab
  • >
  • Blog
  • >
  • Pythonでスクレイピングに挑戦。〜mixiの日記をEvernoteへ放り込みたい〜

Pythonでスクレイピングに挑戦。〜mixiの日記をEvernoteへ放り込みたい〜

更新日:2020.07.16 作成日:2011.11.15

mechanizeの記事を見かけたので、Pythonでスクレイピングに挑戦。

mixiの過去の日記をEvernoteに送りたいなぁと思ってます。

mechanizeとBeautifulSoupのインストール

eary install mechanize
easy install BeautifulSoup

過去日記のリスト取得まで

とりあえず、mixiにログインして、過去日記のリストを取得するまで出来たみたい。

#!/usr/bin/env python
#-*-coding: utf-8 -*-

import mechanize
from BeautifulSoup import BeautifulSoup

MAIL = '[email protected]'
PASS = 'password'

# Browser
br = mechanize.Browser()

# Browser options
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2')]

br.open('https://mixi.jp')
br.select_form(name='login_form')

br['email'] = MAIL
br['password'] = PASS
response = br.submit()

responsediary = br.open('http://mixi.jp/list_diary.pl?from=navi')
soup = BeautifulSoup(responsediary.read())
diaryHistory = soup.find('div', attrs={'id':'bodyMainAreaSub'}).find('div',attrs={'class':'diaryHistory'})
historylinks = diaryHistory.findAll('a')
for link in historylinks:
    print link

結果

$ python mixi.py
<a href="list_diary_setting.pl" title="過去日記の閲覧設定">過去日記の閲覧設定</a>
<a href="list_diary.pl?year=2011&amp;month=1" title="2011年01月の日記一覧">01</a>
<a href="list_diary.pl?year=2011&amp;month=2" title="2011年02月の日記一覧">02</a>
<a href="list_diary.pl?year=2011&amp;month=3" title="2011年03月の日記一覧">03</a>
<a href="list_diary.pl?year=2011&amp;month=4" title="2011年04月の日記一覧">04</a>
<a href="list_diary.pl?year=2011&amp;month=5" title="2011年05月の日記一覧">05</a>
<a href="list_diary.pl?year=2011&amp;month=6" title="2011年06月の日記一覧">06</a>
<a href="list_diary.pl?year=2011&amp;month=7" title="2011年07月の日記一覧">07</a>
<a href="list_diary.pl?year=2011&amp;month=8" title="2011年08月の日記一覧">08</a>
<a href="list_diary.pl?year=2011&amp;month=9" title="2011年09月の日記一覧">09</a>
<a href="list_diary.pl?year=2011&amp;month=10" title="2011年10月の日記一覧">10</a>
<a href="list_diary.pl?year=2011&amp;month=11" title="2011年11月の日記一覧">11</a>
<a href="list_diary.pl?year=2010&amp;month=1" title="2010年01月の日記一覧">01</a>
<a href="list_diary.pl?year=2010&amp;month=2" title="2010年02月の日記一覧">02</a>
<a href="list_diary.pl?year=2010&amp;month=3" title="2010年03月の日記一覧">03</a>
<a href="list_diary.pl?year=2010&amp;month=4" title="2010年04月の日記一覧">04</a>
<a href="list_diary.pl?year=2010&amp;month=5" title="2010年05月の日記一覧">05</a>
<a href="list_diary.pl?year=2010&amp;month=6" title="2010年06月の日記一覧">06</a>
<a href="list_diary.pl?year=2010&amp;month=7" title="2010年07月の日記一覧">07</a>
<a href="list_diary.pl?year=2010&amp;month=8" title="2010年08月の日記一覧">08</a>
<a href="list_diary.pl?year=2010&amp;month=9" title="2010年09月の日記一覧">09</a>
<a href="list_diary.pl?year=2010&amp;month=10" title="2010年10月の日記一覧">10</a>
<a href="list_diary.pl?year=2010&amp;month=11" title="2010年11月の日記一覧">11</a>
<a href="list_diary.pl?year=2010&amp;month=12" title="2010年12月の日記一覧">12</a>
<a href="list_diary.pl?year=2009&amp;month=1" title="2009年01月の日記一覧">01</a>
<a href="list_diary.pl?year=2009&amp;month=2" title="2009年02月の日記一覧">02</a>
<a href="list_diary.pl?year=2009&amp;month=3" title="2009年03月の日記一覧">03</a>
<a href="list_diary.pl?year=2009&amp;month=4" title="2009年04月の日記一覧">04</a>
<a href="list_diary.pl?year=2009&amp;month=5" title="2009年05月の日記一覧">05</a>
<a href="list_diary.pl?year=2009&amp;month=6" title="2009年06月の日記一覧">06</a>
<a href="list_diary.pl?year=2009&amp;month=7" title="2009年07月の日記一覧">07</a>
<a href="list_diary.pl?year=2009&amp;month=8" title="2009年08月の日記一覧">08</a>
<a href="list_diary.pl?year=2009&amp;month=9" title="2009年09月の日記一覧">09</a>
<a href="list_diary.pl?year=2009&amp;month=10" title="2009年10月の日記一覧">10</a>
<a href="list_diary.pl?year=2009&amp;month=11" title="2009年11月の日記一覧">11</a>
<a href="list_diary.pl?year=2009&amp;month=12" title="2009年12月の日記一覧">12</a>
<a href="list_diary.pl?year=2008&amp;month=1" title="2008年01月の日記一覧">01</a>
<a href="list_diary.pl?year=2008&amp;month=2" title="2008年02月の日記一覧">02</a>
<a href="list_diary.pl?year=2008&amp;month=3" title="2008年03月の日記一覧">03</a>
<a href="list_diary.pl?year=2008&amp;month=4" title="2008年04月の日記一覧">04</a>
<a href="list_diary.pl?year=2008&amp;month=5" title="2008年05月の日記一覧">05</a>
<a href="list_diary.pl?year=2008&amp;month=6" title="2008年06月の日記一覧">06</a>
<a href="list_diary.pl?year=2008&amp;month=7" title="2008年07月の日記一覧">07</a>
<a href="list_diary.pl?year=2008&amp;month=8" title="2008年08月の日記一覧">08</a>
<a href="list_diary.pl?year=2008&amp;month=9" title="2008年09月の日記一覧">09</a>
<a href="list_diary.pl?year=2008&amp;month=10" title="2008年10月の日記一覧">10</a>
<a href="list_diary.pl?year=2008&amp;month=11" title="2008年11月の日記一覧">11</a>
<a href="list_diary.pl?year=2008&amp;month=12" title="2008年12月の日記一覧">12</a>
<a href="list_diary.pl?year=2007&amp;month=1" title="2007年01月の日記一覧">01</a>
<a href="list_diary.pl?year=2007&amp;month=2" title="2007年02月の日記一覧">02</a>
<a href="list_diary.pl?year=2007&amp;month=3" title="2007年03月の日記一覧">03</a>
<a href="list_diary.pl?year=2007&amp;month=4" title="2007年04月の日記一覧">04</a>
<a href="list_diary.pl?year=2007&amp;month=5" title="2007年05月の日記一覧">05</a>
<a href="list_diary.pl?year=2007&amp;month=6" title="2007年06月の日記一覧">06</a>
<a href="list_diary.pl?year=2007&amp;month=7" title="2007年07月の日記一覧">07</a>
<a href="list_diary.pl?year=2007&amp;month=8" title="2007年08月の日記一覧">08</a>
<a href="list_diary.pl?year=2007&amp;month=9" title="2007年09月の日記一覧">09</a>
<a href="list_diary.pl?year=2007&amp;month=10" title="2007年10月の日記一覧">10</a>
<a href="list_diary.pl?year=2007&amp;month=11" title="2007年11月の日記一覧">11</a>
<a href="list_diary.pl?year=2007&amp;month=12" title="2007年12月の日記一覧">12</a>
<a href="list_diary.pl?year=2006&amp;month=6" title="2006年06月の日記一覧">06</a>
<a href="list_diary.pl?year=2006&amp;month=7" title="2006年07月の日記一覧">07</a>
<a href="list_diary.pl?year=2006&amp;month=8" title="2006年08月の日記一覧">08</a>
<a href="list_diary.pl?year=2006&amp;month=9" title="2006年09月の日記一覧">09</a>
<a href="list_diary.pl?year=2006&amp;month=10" title="2006年10月の日記一覧">10</a>
<a href="list_diary.pl?year=2006&amp;month=11" title="2006年11月の日記一覧">11</a>
<a href="list_diary.pl?year=2006&amp;month=12" title="2006年12月の日記一覧">12</a>

参考

Related contents