INTERSETLLAR BLOG

インターステラ社員によるブログ(技術系)

Raspberry Piで取得したセンサーデータをBigQueryに投げてGoogle データポータルでグラフ化してみる

こんにちは。阿形です。

しばらく前にオフィスの気温や湿度を記録しようと買ったRaspberry Piと気温・湿度・気圧センサーのBME280をそろそろ動かそうかなとやってみました。

ただ、最近炎上案件を抱えているので余裕が無いので、あまり時間をかけずやってみます。

Raspberry PiとBME280の接続と設定

この記事の主眼はBigQueryにデータを投げるところなので、このあたりは以下の記事を参考にやったので、そちらを参考にしてください。 https://deviceplus.jp/hobby/raspberrypi_entry_039/

とりあえずこんな感じでブレッドボードで接続しました。(よく見えないですね…)

続き →

【PythonでWebスクレイピング その4】HTMLソースの取得と解析

こんにちは。阿形です。
前回までで、PythonからWebブラウザを制御することができるようになりました。
今回からは、スクレイピングで最も重要な、HTMLソースを取得して解析するところをやってみようと思います。

HTMLソースの取得

前回までのコードを改めて。
本ブログサイトのトップページを開くところまでやっておきます。
ついでで前回までには使用していなかった、HTMLを解析するBeautifulSoup4も先に読み込んでおきます。
ソースだけ提示していますが、Pythonの対話モードで試してもらうといいと思います。

続き →

【PythonでWebスクレイピング その2】Webブラウザの初期設定

こんにちは。阿形です。
PythonでWebスクレイピングの第2回です。

前回の記事で、PythonでWebスクレイピングをやるには2つの方法があると書きました。おさらいで以下にもう一度書いておきます。

  • Python自体でHTTPを処理
    • 長所:軽量、高速
    • 短所:Ajaxに対応するのが困難
  • PythonでWebブラウザを制御
    • 長所:Ajaxを使用した複雑なページに対応可能
    • 短所:ブラウザを起動するためマシンリソースを多く必要とする
続き →

【PythonでWebスクレイピング その1】実行環境の整備

こんにちは。阿形です。
Pythonを使ってWebスクレイピングをする方法について書いてみようと思います。
PythonによるWebスクレイピングには大きく分けて2つやり方があり、それぞれ以下のような特徴があります。

  • Python自体でHTTPを処理
    • 長所:軽量、高速
    • 短所:Ajaxに対応するのが困難
  • PythonでWebブラウザを制御
    • 長所:Ajaxを使用した複雑なページに対応可能
    • 短所:ブラウザを起動するためマシンリソースを多く必要とする
続き →