インターステラ株式会社の技術ブログです
こんにちは。阿形です。 しばらく前にオフィスの気温や湿度を記録しようと買ったRaspberry Piと気温・湿度・気圧センサーのBME280をそろそろ動かそうかなとやってみました。 ただ、最近炎上案件を抱えているので余裕が無いので、あまり時間をかけずやってみます。 Raspberry PiとBME280の接続と設定 この記事の主眼はBigQueryにデータを投げるところなので、このあたりは以下の記 […]
こんにちは。阿形です。前回までで、PythonからWebブラウザを制御することができるようになりました。今回からは、スクレイピングで最も重要な、HTMLソースを取得して解析するところをやってみようと思います。 HTMLソースの取得 前回までのコードを改めて。本ブログサイトのトップページを開くところまでやっておきます。ついでで前回までには使用していなかった、HTMLを解析するBeautifulSou […]
こんにちは。阿形です。PythonでWebスクレイピングの第3回です。 前回ブラウザをPythonから起動することができましたので、今回はブラウザをPythonから制御してみようと思います。 アクセス先のサイトについて 今回からは、ブラウザを制御し実際のWebサイトにアクセスしていきますが、ここで問題になるのが各サイトの利用規約です。自動アクセスやスクレイピングについては、明示的に利用規約で禁止し […]
こんにちは。阿形です。PythonでWebスクレイピングの第2回です。 前回の記事で、PythonでWebスクレイピングをやるには2つの方法があると書きました。おさらいで以下にもう一度書いておきます。 Python自体でHTTPを処理 長所：軽量、高速 短所：Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所：Ajaxを使用した複雑なページに対応可能 短所：ブラウザを起動するため […]
こんにちは。阿形です。Pythonを使ってWebスクレイピングをする方法について書いてみようと思います。PythonによるWebスクレイピングには大きく分けて2つやり方があり、それぞれ以下のような特徴があります。 Python自体でHTTPを処理 長所：軽量、高速 短所：Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所：Ajaxを使用した複雑なページに対応可能 短所：ブラウザを […]
こんにちは。阿形です。最近Sphinxでドキュメントを作成するようになっていますが、Sphinx自体の環境以外にも、いくつかやっておきたいことがあったので、メモ代わりにまとめておきます。なお、以下の説明はすべてmacOS High Sierraを使用する前提です。 フォントの追加 プログラミングやSphinxでドキュメント作成するとなるとどうしても全角文字と半角文字の混在が気になってきます。等幅フ […]
久々の投稿の阿形です。 久々なのに、またもや小ネタ。 Webにはいろんなデータがありますが、それらはtableタグでフォーマットされていることが多いと思います。 今回はそんなデータを読み込む方法について書いてみようと思います。 なんでこんなネタになったかというと、仕事で「AWSのCloudWatchのメトリクスを表にまとめてほしい」と言われたからです。 そんなんURL貼っとけばええやん！という声も […]
