どん底から這い上がるまでの記録

どん底から這い上がりたいけど這い上がれない人がいろいろ書くブログ(主にプログラミング)

NLP

PyTorchを使ってSMSSpamCollectionの分類をしてみる。(2)

NLP

前回の続き、今回はTFIDFを使ってスパム分類をしてみる。 pytry3g.hatenablog.com 前準備 TFIDF Training 結果 コード 前準備 import argparse import codecs import string import numpy as np from nltk import word_tokenize from sklearn.feature_extrac…

UbuntuでMeCabを使ってみる

NLP

前回は最低限の設定をしたので今回はMeCabを使えるように設定していく。 pytry3g.hatenablog.com MeCab MeCabとは形態素解析(テキストから単語を切り出して、単語の役割を解析する技術)をするためのツールです。テキストを分析や処理を行うにはまずテキス…

PyTorchを使ってSMSSpamCollectionの分類をしてみる。

NLP

環境 前準備 データのダウンロード データの中身 データの前処理 データの分割 正規化 Bag of Words データの分割 Training ネットワークの定義 パラメータの設定 学習 Test 結果 コード 環境 python 3.6.2 Anaconda 4.3.27 Windows10 scikit-learn 0.19.0 n…