プログラミング

Raspberry Piで取得したセンサーデータをBigQueryに投げてGoogle データポータルでグラフ化してみる

  • 2019.07.07

こんにちは。阿形です。 しばらく前にオフィスの気温や湿度を記録しようと買ったRaspberry Piと気温・湿度・気圧センサーのBME280をそろそろ動かそうかなとやってみました。 ただ、最近炎上案件を抱えているので余裕が無いので、あまり時間をかけずやってみます。 Raspberry PiとBME280の接続と設定 この記事の主眼はBigQueryにデータを投げるところなので、このあたりは以下の記 […]

【PythonでWebスクレイピング その4】HTMLソースの取得と解析

  • 2019.01.28

こんにちは。阿形です。前回までで、PythonからWebブラウザを制御することができるようになりました。今回からは、スクレイピングで最も重要な、HTMLソースを取得して解析するところをやってみようと思います。 HTMLソースの取得 前回までのコードを改めて。本ブログサイトのトップページを開くところまでやっておきます。ついでで前回までには使用していなかった、HTMLを解析するBeautifulSou […]

【PythonでWebスクレイピング その3】Webブラウザの制御

こんにちは。阿形です。PythonでWebスクレイピングの第3回です。 前回ブラウザをPythonから起動することができましたので、今回はブラウザをPythonから制御してみようと思います。 アクセス先のサイトについて 今回からは、ブラウザを制御し実際のWebサイトにアクセスしていきますが、ここで問題になるのが各サイトの利用規約です。自動アクセスやスクレイピングについては、明示的に利用規約で禁止し […]

【PythonでWebスクレイピング その2】Webブラウザの初期設定

  • 2019.01.25

こんにちは。阿形です。PythonでWebスクレイピングの第2回です。 前回の記事で、PythonでWebスクレイピングをやるには2つの方法があると書きました。おさらいで以下にもう一度書いておきます。 Python自体でHTTPを処理 長所:軽量、高速 短所:Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所:Ajaxを使用した複雑なページに対応可能 短所:ブラウザを起動するため […]

【PythonでWebスクレイピング その1】実行環境の整備

  • 2019.01.24

こんにちは。阿形です。Pythonを使ってWebスクレイピングをする方法について書いてみようと思います。PythonによるWebスクレイピングには大きく分けて2つやり方があり、それぞれ以下のような特徴があります。 Python自体でHTTPを処理 長所:軽量、高速 短所:Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所:Ajaxを使用した複雑なページに対応可能 短所:ブラウザを […]

Sphinxでドキュメント作成するエディタ環境を整える(Mac向け)

こんにちは。阿形です。最近Sphinxでドキュメントを作成するようになっていますが、Sphinx自体の環境以外にも、いくつかやっておきたいことがあったので、メモ代わりにまとめておきます。なお、以下の説明はすべてmacOS High Sierraを使用する前提です。 フォントの追加 プログラミングやSphinxでドキュメント作成するとなるとどうしても全角文字と半角文字の混在が気になってきます。等幅フ […]

Web上の表(tableタグでフォーマットされたデータ)を読み込んで利用する方法

久々の投稿の阿形です。 久々なのに、またもや小ネタ。 Webにはいろんなデータがありますが、それらはtableタグでフォーマットされていることが多いと思います。 今回はそんなデータを読み込む方法について書いてみようと思います。 なんでこんなネタになったかというと、仕事で「AWSのCloudWatchのメトリクスを表にまとめてほしい」と言われたからです。 そんなんURL貼っとけばええやん!という声も […]