こんにちは。阿形です。 しばらく前にオフィスの気温や湿度を記録しようと買ったRaspberry Piと気温・湿度・気圧センサーのBME280をそろそろ動かそうかなとやってみました。 ただ、最近炎上案件を抱えているので余裕が無いので、あまり時間をかけずやってみます。 Raspberry PiとBME280の接続と設定 この記事の主眼はBigQueryにデータを投げるところなので、このあたりは以下の記 […]
こんにちは。阿形です。今回の記事は特殊な事情でちょっとややこしいので状況を説明しておきます。 弊社のドキュメント作成環境 弊社ではドキュメント作成にSphinxを使用し、GitLabでバージョン管理を行っています。さらにGitLabとNetlifyと連携させ、Netlify上でSphinxのドキュメントをビルド、そのままWebに公開することがあります。 更に追加条件で、Sphinxのドキュメント上 […]
こんにちは。阿形です。 先日SphinxでLaTeX経由でPDFを出力できるように設定しました。 ところが困ったことに、Webで表示するのに都合がいいようにSVGで埋め込んでいた画像が原因で、エラーになってPDFが生成されません。これはLaTeXの処理系がSVGに対応していないためです。例えばPNGの画像を埋め込んだ場合は問題なくPDF出力が可能です。 さてどうしたものかと思い調べてみると、やはり […]
OpenIconsによるPixabayからの画像 こんにちは。阿形です。 弊社社内では、各種ドキュメントをSphinxで書いてGitLab経由でNetlifyでビルドしWebブラウザで見られるようにしています。通常はこれで十分なんですが、諸般の事情でメール等で添付したり、紙に出力しなければならない場合、少々不便なこともあります。 SphinxでHTML出力したものをPDF化してもいいと思うのですが […]
こんにちは。阿形です。前回までで、PythonからWebブラウザを制御することができるようになりました。今回からは、スクレイピングで最も重要な、HTMLソースを取得して解析するところをやってみようと思います。 HTMLソースの取得 前回までのコードを改めて。本ブログサイトのトップページを開くところまでやっておきます。ついでで前回までには使用していなかった、HTMLを解析するBeautifulSou […]
こんにちは。阿形です。PythonでWebスクレイピングの第3回です。 前回ブラウザをPythonから起動することができましたので、今回はブラウザをPythonから制御してみようと思います。 アクセス先のサイトについて 今回からは、ブラウザを制御し実際のWebサイトにアクセスしていきますが、ここで問題になるのが各サイトの利用規約です。自動アクセスやスクレイピングについては、明示的に利用規約で禁止し […]
こんにちは。阿形です。PythonでWebスクレイピングの第2回です。 前回の記事で、PythonでWebスクレイピングをやるには2つの方法があると書きました。おさらいで以下にもう一度書いておきます。 Python自体でHTTPを処理 長所：軽量、高速 短所：Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所：Ajaxを使用した複雑なページに対応可能 短所：ブラウザを起動するため […]
こんにちは。阿形です。Pythonを使ってWebスクレイピングをする方法について書いてみようと思います。PythonによるWebスクレイピングには大きく分けて2つやり方があり、それぞれ以下のような特徴があります。 Python自体でHTTPを処理 長所：軽量、高速 短所：Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所：Ajaxを使用した複雑なページに対応可能 短所：ブラウザを […]
こんにちは。阿形です。最近Sphinxでドキュメントを作成するようになっていますが、Sphinx自体の環境以外にも、いくつかやっておきたいことがあったので、メモ代わりにまとめておきます。なお、以下の説明はすべてmacOS High Sierraを使用する前提です。 フォントの追加 プログラミングやSphinxでドキュメント作成するとなるとどうしても全角文字と半角文字の混在が気になってきます。等幅フ […]
インターステラの阿形です。 最近仕様書を書くのにもSphinxを使っています。 reStructuredTextで文章を書くのはなかなかサクサク書けていいんですが、図は悩みどころ。 そこで簡単な図を挿入したいときに便利なblockdiag拡張を使ってみたので、その設定方法を書いていこうと思います。 blockdiagとは blockdiagとは、テキストからブロック図などの画像を生成するツール群で […]
