SphinxからTeX経由でPDF出力する環境を整える
OpenIconsによるPixabayからの画像 こんにちは。阿形です。 弊社社内では、各種ドキュメントをSphinxで書いてGitLab経由でNetlifyでビルドしWebブラウザで見られるようにしています。通常はこれで十分なんですが、諸般の事情でメール等で添付したり、紙に出力しなければならない場合、少々不便なこともあります。 SphinxでHTML出力したものをPDF化してもいいと思うのですが […]
【PythonでWebスクレイピング その4】HTMLソースの取得と解析
- 2019.01.28
こんにちは。阿形です。前回までで、PythonからWebブラウザを制御することができるようになりました。今回からは、スクレイピングで最も重要な、HTMLソースを取得して解析するところをやってみようと思います。 HTMLソースの取得 前回までのコードを改めて。本ブログサイトのトップページを開くところまでやっておきます。ついでで前回までには使用していなかった、HTMLを解析するBeautifulSou […]
【PythonでWebスクレイピング その3】Webブラウザの制御
- 2019.01.26
- Python
こんにちは。阿形です。PythonでWebスクレイピングの第3回です。 前回ブラウザをPythonから起動することができましたので、今回はブラウザをPythonから制御してみようと思います。 アクセス先のサイトについて 今回からは、ブラウザを制御し実際のWebサイトにアクセスしていきますが、ここで問題になるのが各サイトの利用規約です。自動アクセスやスクレイピングについては、明示的に利用規約で禁止し […]
【PythonでWebスクレイピング その2】Webブラウザの初期設定
- 2019.01.25
こんにちは。阿形です。PythonでWebスクレイピングの第2回です。 前回の記事で、PythonでWebスクレイピングをやるには2つの方法があると書きました。おさらいで以下にもう一度書いておきます。 Python自体でHTTPを処理 長所：軽量、高速 短所：Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所：Ajaxを使用した複雑なページに対応可能 短所：ブラウザを起動するため […]
【PythonでWebスクレイピング その1】実行環境の整備
- 2019.01.24
こんにちは。阿形です。Pythonを使ってWebスクレイピングをする方法について書いてみようと思います。PythonによるWebスクレイピングには大きく分けて2つやり方があり、それぞれ以下のような特徴があります。 Python自体でHTTPを処理 長所：軽量、高速 短所：Ajaxに対応するのが困難 PythonでWebブラウザを制御 長所：Ajaxを使用した複雑なページに対応可能 短所：ブラウザを […]
Sphinxでドキュメント作成するエディタ環境を整える(Mac向け)
- 2018.12.16
- Sphinx
こんにちは。阿形です。最近Sphinxでドキュメントを作成するようになっていますが、Sphinx自体の環境以外にも、いくつかやっておきたいことがあったので、メモ代わりにまとめておきます。なお、以下の説明はすべてmacOS High Sierraを使用する前提です。 フォントの追加 プログラミングやSphinxでドキュメント作成するとなるとどうしても全角文字と半角文字の混在が気になってきます。等幅フ […]
【Sphinx】blockdiag拡張を使用して図を挿入する
インターステラの阿形です。 最近仕様書を書くのにもSphinxを使っています。 reStructuredTextで文章を書くのはなかなかサクサク書けていいんですが、図は悩みどころ。 そこで簡単な図を挿入したいときに便利なblockdiag拡張を使ってみたので、その設定方法を書いていこうと思います。 blockdiagとは blockdiagとは、テキストからブロック図などの画像を生成するツール群で […]
【インターンステラ】GitLab＋Sphinx＋Google Cloud Storageで自動ビルド&デプロイするには
- 2018.08.24
- GitLab, Google Cloud Storage, Sphinx, インターンシップ, インターンステラ
こんにちは、國分です。 今回は前回のAppEngineに代わり、CloudStorageにデプロイする方法を説明します。 前回とGitLab Runnerの構築までは同じなので省略します。 .gitlab-ci.ymlの作成 .gitlab-ci.yml image: python:2.7 stages: - pages - deploy pages: stage: pages script: - […]
【インターンステラ】GitLab＋Sphinx＋Google App Engineで自動ビルド&デプロイするには
- 2018.08.24
- GitLab, Google App Engine, Sphinx, インターンシップ, インターンステラ
こんにちは、國分です。 今回は、前々回行ったReSTのHTML化と、Pagesの代わりにGoogle App EngineへのデプロイをGitLabにPushした時、自動で行われるようにする方法を説明します。 前提 ・App Engineプロジェクトがあること ・$ gcloud app deploy コマンドでデプロイできる状況である (「サービスアカウント」と「プロジェクトID」を持っている […]
【インターンステラ】GitLab Runnerの構築
こんにちは、國分です。 今回はGitLab環境のCI/CDに必要なGitLab Runnerの構築方法を説明します。 公式ドキュメントはこちら バイナリのダウンロード $ sudo curl --output /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/g […]