"BOKU"のITな日常

BOKUが勉強したり、考えたことを頭の整理を兼ねてまとめてます。

9:Pythonで機械学習

Pandas:データの置き換え、欠損値修正、one-hot変換、不要列の削除など

pandasで頻繁に行うデータの加工方法について整理してみます。

Pandas:DataFrameの結合・分割のあれこれとCSV保存

Pandasで、データを結合したり分割したりするパターンをまとめてみます。

Pandas:crosstabを使った目標変数と特徴変数の関係把握と外れ値判定/構造化データ

目的変数が3値以上ある構造化データの内容にあたりをつけるのにcrontabを使ったり、はずれ値の判定をやってみたりします。

Pandas:データ(structured data)の基本情報・統計情報の確認及びピボット分析など

大きな構造化データ(未加工)の内容を把握して当たりをつけるのは大変です。四苦八苦しながら、役に立ったことをメモ的に書いておこうかと思います。

Word2Vecで「単語の足し算・引き算の結果(単語)を取得する」デモをやってみる。

Wikipediaのテキストで学習済の「Word2Vec学習済モデル」を使った簡単な「近い言葉探し遊び」的なデモを作ってみます。

ランダムフォレストで回帰してみる/気象情報と電力データその2

気象実績と、関西電力の使用量という現実のデータでランダムフォレストで予測をやってみた前回の結果をもとに、もう少し精度があがらないかやってみます。

ランダムフォレストで回帰してみる/気象情報と電力データその1

気象実績と、関西電力の使用量という現実のデータで学習用データを作ってみたので、今回はそれを使ってランダムフォレストを使って回帰問題をやってみます。

大阪の過去の気象データと電力消費量データを組み合わせて学習データを作る

大阪の過去の気象データをダウンロードして、関西電力の電力消費量データと組み合わせたら、練習用として面白い学習データが作れると思うので、やってみます。

関西電力の電力消費量データを機械学習に使うつもりでいじくってみる

関西電力が提供する「関西エリア」の電力消費実績データをダウンロードして、いろいろいじくってみます。

scikit-learnのSVMとtf.kerasのシンプルなモデルで簡単な非線形回帰問題をやってみる

非線形回帰問題のサンプルとして、Sinカーブの予測をScikit-learnのサポートベクターマシン(SVM)と、kerasのシンプルな全結合のみのモデルで試しにやってみます。

3次式の線形回帰問題をPythonで。最小二乗法とRidge回帰とLasso回帰などの使い分けサンプル。

3次式の線形回帰問題をPythonでやってみます。ついでに、同じ問題に、LinearRegression以外の罰則付き回帰の実装であるRidge回帰とLasso回帰も適用して、使い分け方などをメモしておこうかと思ってます。

機械学習の線形回帰問題をPythonで。scikit-learnのLinearRegressionクラスのサンプルなど。

線形回帰問題をPythonで解く「scikit-learn」の「LinearRegression」クラスの使い方と決定係数での評価について、基本的なところを、おさらいしておこうかと思います。

A3RTの「Proofreading API」で入力文の疑わしい部分をAIが指摘するデモを作る。/python+django2.0+bootstrap4

入力した文章の疑わしい部分を指摘する機能のデモ画面を作ってみます。疑わしい部分とは、「誤字の可能性が高い部分、誤字では無いが珍しい使い方、他により良い表現がありそうな部分等」です。

A3RTの「Text Summarization API」で長い文章をAIで要約をするデモ画面/Python+django2.0+bootstrap4

複数行にわたる文章を1行に要約した結果を返すデモ画面を作ってみます。

PythonでWord2Vec学習済モデルを使う単語の足し算・引き算を簡単にためすクラス

事前学習済Word2VecモデルをGensimでロードして、トピック分析結果を返すpythonプログラムを作り、動作確認にいくつか単語の計算をやってみます。

AIと雑談できる「Talk API」を使ってチャットボットもどきを作る/python+django2.0+bootstrap4

リクルートさんの「Talk API」とdjango+bootstrapを使って、簡単なチャットボットもどきを作ってみます。

scikit-learnのimportで「the imp module is deprecated in favour of importlib;」という警告がでました

久しぶりに「scikit-learn」を使いました。 すると、importしただけで、こんな警告が表示されます。 DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses 翻訳してみると・・ …