Python：やってみた（機械学習）
学習済ウェイトを使って簡単に試すことができる「DeepLearningベースの物体検出(Yolo3)」ですが、tensorflow2.0で動くものがあったので試してみました。
pandasで頻繁に行うデータの加工方法について整理してみます。
Pandasで、データを結合したり分割したりするパターンをまとめてみます。
目的変数が３値以上ある構造化データの内容にあたりをつけるのにcrontabを使ったり、はずれ値の判定をやってみたりします。
大きな構造化データ（未加工）の内容を把握して当たりをつけるのは大変です。四苦八苦しながら、役に立ったことをメモ的に書いておこうかと思います。
WEBブラウザに画像ファイルをドロップしてBase64エンコードする処理と、Base64エンコードテキストを受け取って、学習済モデルを使って何の画像かを識別する処理を組み合わせて、簡単なデモンストレーションを作ってみます。
今回は機械学習（ディープラーニング）の画像分類の学習用によく利用されている「ImageNet（ILSVRC2012）データセット 」の分類名を日本語変換するためのPythonクラスを用意してみます。
WEB画面にドラッグ＆ドロップした画像ファイルを、Base64形式に変換してtextareaにセットするのと、画像を表示するのを両方やってみます。
tensorflow2.0に付属の「tf.keras.applications.VGG16」モデルを使って、1000種類の画像を識別できるPythonクラスを簡単に作ってみます。 ※2019/01/21の記事をTensorflow2.0対応にリライトしました。 はじめに 今回利用するモデルはVGG16です。 www.tensorfl…
気象実績と、関西電力の使用量という現実のデータでランダムフォレストで予測をやってみた前回の結果をもとに、もう少し精度があがらないかやってみます。
気象実績と、関西電力の使用量という現実のデータで学習用データを作ってみたので、今回はそれを使ってランダムフォレストを使って回帰問題をやってみます。
大阪の過去の気象データをダウンロードして、関西電力の電力消費量データと組み合わせたら、練習用として面白い学習データが作れると思うので、やってみます。
関西電力が提供する「関西エリア」の電力消費実績データをダウンロードして、いろいろいじくってみます。
手書き数字画像（Scikit-learn付属のdigits）を、教師なしで分類（クラスタリング）してみて、どの程度の精度がでるものなのかを見てみようと思います。
非線形回帰問題のサンプルとして、Sinカーブの予測をScikit-learnのサポートベクターマシン（SVM）と、kerasのシンプルな全結合のみのモデルで試しにやってみます。
３次式の線形回帰問題をPythonでやってみます。ついでに、同じ問題に、LinearRegression以外の罰則付き回帰の実装であるRidge回帰とLasso回帰も適用して、使い分け方などをメモしておこうかと思ってます。
線形回帰問題をPythonで解く「scikit-learn」の「LinearRegression」クラスの使い方と決定係数での評価について、基本的なところを、おさらいしておこうかと思います。
keras-yolo3を利用して物体検出をした時に、コンソールログに面白い情報が出力されるのに気づいたので、それを使って検出した画像の切り取りをやってみます。
CPUのみの非力なWindows10マシンでも、さくっと動かせる物体検出(Yolo3)のチュートリアルがあったので、やってみました。
事前学習済Word2VecモデルをGensimでロードして、トピック分析結果を返すpythonプログラムを作り、動作確認にいくつか単語の計算をやってみます。
目次 特徴選択（feature selection） アヤメ（iris）のデータを使ってジャブ程度にやる 上から10行だけデータを見てみる 件数・平均・標準偏差・分散等を確認 分布の状況をヒストグラムで視覚化してみる ２つの特徴変数の組合せの散布図で重なり具合を見る …
目次 the imp module is deprecated in favour of importlibという警告 警告を出しているのは、「cloudpickle.py」というソース バージョンアップすればでなくなるので放っておく the imp module is deprecated in favour of importlibという警告 久しぶりに…
自然言語処理は難しい。けど、必要なので、趣味で必要な範囲に絞り、シンプルにまとめるのに挑戦してみます。今回は単語のベクトル化・・です。
自然言語処理は難しい。けど、必要なので、趣味で必要な範囲に絞り、シンプルにまとめるのに挑戦してみます。今回は出現頻度で数値化する・・です。
目次 日本語を単語に分割する ツール１：MeCab ツール２：Janome Janomeで単語分割と品詞分解をやってみる 必要な単語を品詞で判断して抜き出すサンプル 同音異義語を統一するサンプル 日本語を単語に分割する 日本語を単語に分割するのは簡単ではありません…
