SE_BOKUのITな日常

SE_BOKUが知ってること・勉強したこと・考えたことetc

Python:やってみた(機械学習)

静止画と動画で物体検出(Yolo3)をやってみる/tensorflow v2+yolov3-tf2

学習済ウェイトを使って簡単に試すことができる「DeepLearningベースの物体検出(Yolo3)」ですが、tensorflow2.0で動くものがあったので試してみました。

Pandasデータフレーム(DataFrame)の加工/置換、欠損値補完、列追加、列削除のサンプル

pandasで頻繁に行うデータの加工方法について整理してみます。

Pandasデータフレーム(DataFrame)の加工/結合・分割・CSV保存のサンプル

Pandasで、データを結合したり分割したりするパターンをまとめてみます。

機械学習の目的変数と説明変数と特徴量のざっくり理解/出現率と外れ値判定のサンプル

目的変数が3値以上ある構造化データの内容にあたりをつけるのにcrontabを使ったり、はずれ値の判定をやってみたりします。

Pandasデータフレームと内容を把握するのによく使う方法のサンプル

大きな構造化データ(未加工)の内容を把握して当たりをつけるのは大変です。四苦八苦しながら、役に立ったことをメモ的に書いておこうかと思います。

ブラウザにドロップした画像を1000種類に分類するデモ/python・django・tensorflow2.0

WEBブラウザに画像ファイルをドロップしてBase64エンコードする処理と、Base64エンコードテキストを受け取って、学習済モデルを使って何の画像かを識別する処理を組み合わせて、簡単なデモンストレーションを作ってみます。

ImageNet(ILSVRC2012)データセット の英語名を日本語変換するPythonクラスの作成

今回は機械学習(ディープラーニング)の画像分類の学習用によく利用されている「ImageNet(ILSVRC2012)データセット 」の分類名を日本語変換するためのPythonクラスを用意してみます。

WEBブラウザにドラッグ&ドロップした画像ファイルをBase64に変換する/javascript(jQuery)

WEB画面にドラッグ&ドロップした画像ファイルを、Base64形式に変換してtextareaにセットするのと、画像を表示するのを両方やってみます。

imagenet 1000 classで事前学習済のVGG16モデルを使った画像識別クラス/tensorflow2.0(tf.keras)

tensorflow2.0に付属の「tf.keras.applications.VGG16」モデルを使って、1000種類の画像を識別できるPythonクラスを簡単に作ってみます。 ※2019/01/21の記事をTensorflow2.0対応にリライトしました。 はじめに 今回利用するモデルはVGG16です。 www.tensorfl…

気象情報と電力データを使ったランダムフォレストで回帰するサンプル/その2(改善挑戦版)

気象実績と、関西電力の使用量という現実のデータでランダムフォレストで予測をやってみた前回の結果をもとに、もう少し精度があがらないかやってみます。

気象情報と電力データを使いランダムフォレストで回帰するサンプル/その1(とりあえず版)

気象実績と、関西電力の使用量という現実のデータで学習用データを作ってみたので、今回はそれを使ってランダムフォレストを使って回帰問題をやってみます。

気象データと電力消費量データを組み合わせて機械学習の学習データを作る

大阪の過去の気象データをダウンロードして、関西電力の電力消費量データと組み合わせたら、練習用として面白い学習データが作れると思うので、やってみます。

関西電力の電力消費量データをダウンロードして機械学習を想定して加工する

関西電力が提供する「関西エリア」の電力消費実績データをダウンロードして、いろいろいじくってみます。

手書き数字画像を教師データなしでグループ分けする/クラスタリングをやってみる

手書き数字画像(Scikit-learn付属のdigits)を、教師なしで分類(クラスタリング)してみて、どの程度の精度がでるものなのかを見てみようと思います。

Pythonで非線形回帰のサンプル/scikit-learnのSVM(サポートベクターマシン)とtf.keras(ニューラルネットワーク)

非線形回帰問題のサンプルとして、Sinカーブの予測をScikit-learnのサポートベクターマシン(SVM)と、kerasのシンプルな全結合のみのモデルで試しにやってみます。

3次式で生成したデータの線形回帰と罰則付き回帰(Ridge回帰・Lasso回帰)のサンプル/Python+scikit-learn

3次式の線形回帰問題をPythonでやってみます。ついでに、同じ問題に、LinearRegression以外の罰則付き回帰の実装であるRidge回帰とLasso回帰も適用して、使い分け方などをメモしておこうかと思ってます。

機械学習の線形回帰問題をPythonで。scikit-learnのLinearRegressionクラスのサンプル

線形回帰問題をPythonで解く「scikit-learn」の「LinearRegression」クラスの使い方と決定係数での評価について、基本的なところを、おさらいしておこうかと思います。

静止画像(写真)から物体検出した結果をきりとり保存する方法/tensorflow v1+keras-yolo3

keras-yolo3を利用して物体検出をした時に、コンソールログに面白い情報が出力されるのに気づいたので、それを使って検出した画像の切り取りをやってみます。

静止画像と動画からの物体検出(Yolo3)をやってみる。/tensorflow v1+keras-yolo3

CPUのみの非力なWindows10マシンでも、さくっと動かせる物体検出(Yolo3)のチュートリアルがあったので、やってみました。

Wikipediaテキストを使った「Word2Vec学習済モデル」で単語の足し算・引き算をするPythonのサンプル(簡単版)

事前学習済Word2VecモデルをGensimでロードして、トピック分析結果を返すpythonプログラムを作り、動作確認にいくつか単語の計算をやってみます。

アヤメ(iris)データで特徴選択(feature selection)の練習をとりあえずやってみる

目次 特徴選択(feature selection) アヤメ(iris)のデータを使ってジャブ程度にやる 上から10行だけデータを見てみる 件数・平均・標準偏差・分散等を確認 分布の状況をヒストグラムで視覚化してみる 2つの特徴変数の組合せの散布図で重なり具合を見る …

scikit-learnのimportで「the imp module is deprecated in favour of importlib;」という警告がでました

目次 the imp module is deprecated in favour of importlibという警告 警告を出しているのは、「cloudpickle.py」というソース バージョンアップすればでなくなるので放っておく the imp module is deprecated in favour of importlibという警告 久しぶりに…

Pythonでテキストの単語を「単語の意味は周囲の単語によって形成される」ルールでベクトル化する

自然言語処理は難しい。けど、必要なので、趣味で必要な範囲に絞り、シンプルにまとめるのに挑戦してみます。今回は単語のベクトル化・・です。

Pythonで文章を識別するのに重要な単語を判断する方法/カウント・出現頻度・TF-IDF

自然言語処理は難しい。けど、必要なので、趣味で必要な範囲に絞り、シンプルにまとめるのに挑戦してみます。今回は出現頻度で数値化する・・です。

Pythonで日本語を単語単位に分割&品詞情報付与を行う(形態素解析)

目次 日本語を単語に分割する ツール1:MeCab ツール2:Janome Janomeで単語分割と品詞分解をやってみる 必要な単語を品詞で判断して抜き出すサンプル 同音異義語を統一するサンプル 日本語を単語に分割する 日本語を単語に分割するのは簡単ではありません…