【Chapter4】Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで【メモ】
▼Chapter3まではこちら
「Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで」のchapter4のお勉強
導入編が終了して内容が難しくなってきました。
僕がつまづいたところのメモを残していきます。
■sudoコマンド
管理者権限といわれる「非常に強力」な権限で、他のコマンドを実行する際に使用します。使用するには、管理者のパスワードが必要です。
sudoコマンド
sudoとは管理者(Super User)として実行(Do)、実効せよという意味です。Mac OS Xに置いては管理者権限は、絶対的な権限を持っています。
OSに不具合を引き起こさせるを指示するコマンドすら、実行させてしまいます。
OSを起動できなくすることも、使い方によっては簡単にできてしまいます。間違って使えば、恐ろしい結果が待っています。
注意して使ってください。
pipというpythonのライブラリインストール用ツールをインストールする時に使ったコマンド
↓こちらでsudo以外についてもわかりやすく解説されている初心者必読
https://discussionsjapan.apple.com/docs/DOC-1061
最初からpipがインストールされいる場合は作業不要?僕のパソコンにはpip 9.0.1 が既にいました。
pip自体のインストール方法
■pip freezeを実行しようとしたらアップデートしろと言われた
$pip freezeを実行したらこんなのがでてきた。
You are using pip version 9.0.1, however version 9.0.2 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
書いてあるとおりに
$pip install --upgrade pip
を実行したら 9.0.2にアップデート完了!
■JSONとは?
JSON (JavaScript Object Notation)は、軽量のデータ交換フォーマットです。人間にとって読み書きが容易で、マシンにとっても簡単にパースや生成を行なえる形式です。
テキスト中ではlivedoorのお天気サイトからJSONを取得して解析(パース)することをやっています。
なんとなくわかったけど、難しい。。。
ライブドアの天気予報サイトでは第三者向けに天気予報を活用できるように色々と公開している。データの元を活用できる形で提供していることは知らなかった。さすがライブドア。他にも似たようなサービスがあるのだろうか?
■サイト構造が変更?XPathがテキストと異なる
iPhone&Androidアプリ内課金プログラミング完全ガイド 第2版(小川晃央 加藤勝也 瀬戸健二)|翔泳社の本
翔泳社のサイトをクローリングして本のタイトルを抽出する例題で、テキスト中のXPathは
titleH 1 = root. xpath("/ html/ body/ div[ 1]/ section/ h 1")
となっているが、現在のサイトからH1タグのXPathを確認するとサイトの構造が変わっているのか
titleH1 = root.xpath("//*[@id="cx_contents_block"]/div/section/h1")
となる。このまま実行するとエラーになり進めない。以下のように相対パスの表記に変更したら進めた。
titleH1 = root.xpath("//div/section/h1")
■HTMLElementってなに?
"requests"を使ってweb上のソースを取得、HtmlElementに変換
"lxml"を使って必要な情報を抜く
なるほど。lxmlで作業できるようにデータを変換しているっぽい
■MySQL登場
名前は聞いたことがある。データベースを管理のシステム。
WPでサイトを作った時はよく出てきたが、何のことかわからず適当に進めていた
知らなくても何とかなるがJavaScriptと同様に頻出するワードなのでこれも勉強が必要そう
そもそもデータベースってなに?
かんたんにいうと、データベースとは「複数で共有、利用すること」と「検索、加工すること」を目的に整理されたデータの集まりのことです。
MySQLとは、世界でもっとも利用されている「データベース管理システム」です。
調べながらではあるが少しづつ理解して進んできている!
JavaScriptの表記が色々なところに出てくるの併せて勉強が必要そうな感じ
Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで
- 作者: 加藤勝也,横山裕季
- 出版社/メーカー: 翔泳社
- 発売日: 2017/10/23
- メディア: Kindle版
- この商品を含むブログを見る