NEL Laboratory

Learning Innovation.

Pythonでスクレイピングを行う

Pythonでスクレイピングを行いたくなったのでPythonでスクレイピングを行います。

Advertisement
目次

ライブラリのインストール

pip3 install requests
pip3 install beautifulsoup4

データの取得と解析を行うためにrequestsとbeautifulsoup4が便利なのでインストールします。

Pythonでスクレイピングを行う

今回はこのサイトで一番最新の記事タイトルとURLを取得してみようと思います。

import requests
from bs4 import BeautifulSoup

url = "https://nellab.net/"

response = requests.get(url)
bs = BeautifulSoup(response.text, 'html.parser')
print(bs.select_one(".heading-archive").text)
print(bs.select_one(".heading-archive a").get("href"))

このようなコードを書いて実行すると、記事タイトルとURLが表示されます。

Advertisement

このコードを更に複雑にしていくと求めているデータを取得できるようになります。