【インターンステラ】自然言語処理の導入手順

2018年2月24日 Intern

こんにちはyouです
今回は、自然言語処理の開発をする際の導入方法を紹介します。
環境

導入するツールは以下のものです

辞書の導入

まずHomebrewでMeCabと辞書、そして必要なツールをインストールします。

$ brew install mecab mecab-ipadic git curl xz wget

$ git clone --depth 1 git@github.com:neologd/mecab-ipadic-neologd.git
$ cd mecab-ipadic-neologd
$ ./bin/install-mecab-ipadic-neologd -n -a

最後のは辞書少し時間がかかります。

MeCab-Pythonの導入

次にMeCab-Pythonを以下コマンドでインストールします

$ python3 -m pip install mecab-python3

これでMeCabを使用できますが、NEologdの辞書を指定しなければならないので、以下のようにしてMeCabのデフォルト辞書を変更します。

$ nano /usr/local/etc/mecabrc

# dicdirのパスを変更
;dicdir =  /usr/local/lib/mecab/dic/ipadic
dicdir = /usr/local/lib/mecab/dic/ipadic-neologd

fastTextの導入

最後にfastTextを導入します。

pipで必要なツールをインストールしたあと、wgetでパッケージを持ってきてmakeでビルドします．

$ python3 -m pip install NumPy SciPy

$ wget https://github.com/facebookresearch/fastText/archive/v0.1.0.zip

$ unzip v0.1.0.zip

$ cd fastText-0.1.0

$ make

以上で導入は完了です。

次回はその使い方を紹介します。