Pythonでスクレイピング: サンプルコードあり

何かと便利なPython。Pythonを使って経済関係の速報ニューストピック取得を自動でやってしまいましょう。以下は日経新聞の速報ニュースのトピックタイトルを一覧で取得するサンプルコードです。外部ライブラリのrequestsとBeautifulSoupを使って行います。

import requests #1
from bs4 import BeautifulSoup #2

url = "https://www.nikkei.com/" #3

html = requests.get(url) #4
soup = BeautifulSoup(html.content, "html.parser") #5

chapter = soup.find(class_="k-hub-list") #6
for items in chapter.find_all("a"): #7
print(items.text)

#1 外部ライブラリからrequestsをインストールした上で記述します
requestsはネットアクセスのための命令文を扱うライブラリです。

#2 外部ライブラリからbs4をインストールした上で記述します
スクレイピングといえば王道のBeautifulSoupです、

#3 スクレイピング対象のサイトURLを記載します

#4 requests.getで先ほどのurlにアクセスさせ、変数htmlに入れます

#5 対象urlのhtmlデータを解析可能状態にします。そういうものだと覚えましょう。

#6 日経新聞の速報ニュースの該当クラスをデベロッパーツールを使って特定します

#7 クラスの中にある今回の目的であるトピックが記載してある要素を、
find_allですべてピックし、for分によりすべて表示させます