自分のブログの記事一覧をPythonでスクレイピングしてみた1.Pythonのライブラリと文法の確認

この記事では、僕が自分のこのブログの中の全記事の記事タイトルとurlを取得しようとして、結果的に部分的にしか取れなかったお話です。
こちらの記事（Pythonによるスクレイピング①入門編　ブログの記事をCSVにエクスポートする）を参考にして書いてみました。

今回はスクレイピングを行って行く中でPythonのライブラリやら、分からなかった単語とかを調べたのをまとめたものです。

なお、僕は全然詳しくないので間違いがあるかもしれませんがご了承ください。

スクレイピングとは

スクレイピングとは、ウェブサイトから情報を取得して、その情報を他の情報に加工して新しい情報を作ることです。つまり、あるウェブサイトの中から特定の情報だけを取り出して保存したりすることのことですね。例えば、今回僕のブログからは僕のブログ内にあるすべての記事のタイトルとそのURLという二つの情報を抽出してまとめようとしました。そのように特定の情報を引き出すことをスクレイピングと呼ぶようです。

最終的な結果

最終的には、こんな感じのコードになってこんな感じのCSVファイルを作ることができました。

必要なモジュールをインポート

ここではスクレイピングに必要なモジュールをインポートします。モジュールというのは

Python インタプリタを終了させ、再び起動すると、これまでに行ってきた定義 (関数や変数) は失われています。ですから、より長いプログラムを書きたいなら、テキストエディタを使ってインタプリタへの入力を用意しておき、手作業の代わりにファイルを入力に使って動作させるとよいでしょう。この作業を スクリプト (script) の作成と言います。プログラムが長くなるにつれ、メンテナンスを楽にするために、スクリプトをいくつかのファイルに分割したくなるかもしれません。また、いくつかのプログラムで書いてきた便利な関数について、その定義をコピーすることなく個々のプログラムで使いたいと思うかもしれません。
こういった要求をサポートするために、Python では定義をファイルに書いておき、スクリプトの中やインタプリタの対話インスタンス上で使う方法があります。このファイルを モジュール (module) と呼びます。モジュールにある定義は、他のモジュールや main モジュール (実行のトップレベルや電卓モードでアクセスできる変数の集まりを指します) に import (取り込み) することができます。
モジュールは Python の定義や文が入ったファイルです。ファイル名はモジュール名に接尾語 .py がついたものになります。

とのことです。

モジュールの導入に使った関数とか定義

関数とか定義とか書いていますが、この意味は例えば、import, as, fromとかの事です。これらの文字の呼び方を僕は知らないので、関数とか定義とか書いておきました。
後に勉強して分かったら追記しておきます。
モジュールの使い方に関しては、以下のサイトを参考にしました。 Python from・importの基本的な使い方

import

importは、「import モジュールの名前」
で使うことができるようです。 例えば、このスクリプトでは
「import pandas」
としていますが、これはpandasというモジュールをインポートしたよ。ということですね。
このimportですが、どこからインポートされるんだという話ですが、お使いのPythonライブラリの中にインストールされている中からインポートされるようです。
Google Colaboratoryで実行する場合はこのスクリプトをぽちっとすると何の問題もなく動きますが、テキストエディタとかでrunするときは自分のPythonの中にimportされていないとエラーが出て動かないので注意が必要です。その場合はモジュールをインストールする必要があります。その方法はのちのちに書きたいと思います。

as

asはライブラリの名前とかを省略して書くときに使うようです。
「import pandas as pd」 というのはインポートしたpandasというモジュールをpdとしてこれから使いますよ。という宣言です。
その時に使われるのが、asということですね。一般的に長い名前のモジュールとかを省略する場合に使うようです。ただ、その名前を付ける時にそのモジュールだと分かるように付けた方が便利だとおもいます。また、よく省略されるライブラリの名前は決まった省略の仕方があるようなので、勉強していく必要があるようです。

from

fromは
「from bs4 import BeautifulSoup 」
これは、bs4というモジュールの中に入っている、BeautifulSoupというものをインポートしますよ。という意味ですね。 これをfromを使わずに書くと、
bs4.BeautifulSoupと書かなければいけないみたいです。ちょっと書く量を減らすことが出来るみたいです。

使用したモジュール、パッケージ、ライブラリ

上ではpandasとかのことをモジュールと書いていました。しかし調べているとモジュールとかパッケージとかライブラリとか色々な呼び方をされているようで非常に困惑しました。僕からするとどれも同じような文脈で使われているようでしたが、ちょっとした違いがあるようです。
モジュールは、関数やクラスを集めたファイルのことで、拡張子が「.py」になっているファイル。 パッケージは複数のモジュールを集めたもので、パッケージは「_init_.py」のファイルになっているそうです。 ライブラリは、厳密な定義がなくモジュール、パッケージどっちのこともいうみたいです。 ということは、厳密に分かっていない僕のような人はモジュールというよりはライブラリと呼んだ方がいいのかもしれませんね。 以下のサイトを参考にしました。 (Pythonのパッケージとモジュールの違い)

pandas

wikipediaによると

Pandasは、プログラミング言語Pythonにおいて、データ解析を支援する機能を提供するライブラリである。特に、数表および時系列データを操作するためのデータ構造と演算を提供する。PandasはBSDライセンスのもとで提供されている。

とのことです。
何を言っているのかわかりませんでした。
今回スクレイピングで使った時は、「取得したデータをCSVファイルに変換すること。」という意味で使用しました。 Wikipediaを見るとCSVファイル意外のファイルにも変換できるみたいです。

CSVファイルとは

少し脱線。
しれーっとCSVファイルとか書きましたが、CSVファイルってなんだと思っている人もいると思うので、書いていきます。
CSVファイルというのは、「Comma Separated Value ファイル」の略です。その名の通り、データをカンマで区切られたデータファイルのことです。拡張子は「.csv」です。文字列とカンマで構成されたデータファイルで表形式になっています。MicrosoftのExcelみたいなものです。Excelにもインポートできます。じゃあ最初からExcelファイルでいいじゃないかと思う人もいるかもしれませんが、人類すべてがExcel持っていると思うなよ？ということですね。CSVファイルにすると他の表計算ソフトとか色々なソフトでも容易に使うことが出来るのでまあ便利だよね。ということみたいです。

bs4

モジュールの一つで、BeautifulSoupを中に持っているものなんだなあという理解です。 beautifulsoup4 4.7.1

BeautifulSoup

BeautifulSoupは取得したHTMLを操作できるライブラリです。
ここでは、特定のHTMLタグを探して表示することに使っています。

requests

requestsはWebからデータをダウンロードできるライブラリです。 このライブラリを使って私のブログのデータを取得します。

google.colab

Google Colaboratoryのことです。 ここでは、
「form google.colab import files」
として使われていて、Google Colaboratoryから自分のPCにファイルとして保存するときに使われています。

最後に

あんまり長く書くと、後に僕が確認するときにめんどくさくなりそうなので今回はPythonの基本的なライブラリのメモや文法？の確認までを書きました。 次回からは、順を追って一つ一つ自分が見返して分かるように書いていこうと思っています。
追記:続き書きました（自分のブログの記事一覧をPythonでスクレイピングしてみた2.実際のコード）, 2019/Feb/22