【インターンステラ】自然言語処理の導入手順

こんにちはyouです
今回は、自然言語処理の開発をする際の導入方法を紹介します。
環境

  • MacBookPro13
  • macOS High Sierra 10.13.2 Beta
  • python3 3.6.4

導入するツールは以下のものです

  • fastText
  • MeCab
  • mecab-ipadic-NEologd(辞書)
辞書の導入
まずHomebrewでMeCabと辞書、そして必要なツールをインストールします。
$ brew install mecab mecab-ipadic git curl xz wget
$ git clone --depth 1 git@github.com:neologd/mecab-ipadic-neologd.git
$ cd mecab-ipadic-neologd
$ ./bin/install-mecab-ipadic-neologd -n -a
最後のは辞書少し時間がかかります。
MeCab-Pythonの導入
次にMeCab-Pythonを以下コマンドでインストールします
$ python3 -m pip install mecab-python3

これでMeCabを使用できますが、NEologdの辞書を指定しなければならないので、以下のようにしてMeCabのデフォルト辞書を変更します。
$ nano /usr/local/etc/mecabrc

# dicdirのパスを変更
;dicdir =  /usr/local/lib/mecab/dic/ipadic
dicdir = /usr/local/lib/mecab/dic/ipadic-neologd
fastTextの導入
最後にfastTextを導入します。
pipで必要なツールをインストールしたあと、wgetでパッケージを持ってきてmakeでビルドします.
$ python3 -m pip install NumPy SciPy
$ wget https://github.com/facebookresearch/fastText/archive/v0.1.0.zip
$ unzip v0.1.0.zip
$ cd fastText-0.1.0
$ make
以上で導入は完了です。
次回はその使い方を紹介します。

このブログの人気の投稿

【GCP】Compute EngineでVPNサーバーを立てるときの注意点

【GCP】Compute Engineからメール送信する方法 (SendGrid編)

【AWS】IAMFullAccessを付与せずIAM Roleの作成とアタッチを行う方法