アラカン"BOKU"のITな日常

文系システムエンジニアの”BOKU”が勉強したこと、経験したこと、日々思うことを書いてます。

Pythonその他

日本語を機械学習できるようにする方法を割り切って簡単に考える(3)/ベクトル化とPMI・SVDなど

自然言語処理は難しい。けど、必要なので、趣味で必要な範囲に絞り、シンプルにまとめるのに挑戦してみます。今回は単語のベクトル化・・です。

日本語を機械学習できるようにする方法を割り切って簡単に考える(2)/単語数カウントとTF-IDFなど

自然言語処理は難しい。けど、必要なので、趣味で必要な範囲に絞り、シンプルにまとめるのに挑戦してみます。今回は出現頻度で数値化する・・です。

日本語を機械学習できるようにする方法を割り切って簡単に考える(1)/前処理としての形態素解析

自然言語処理は難しい。けど、必要なので、趣味で必要な範囲に絞りシンプルにまとめるのに挑戦してみます。今回は、前処理で単語分割するあたりまで。

数学の筆算が嫌でpythonに逃げる。その2 連立方程式のめんどくさい奴

数学の筆算が面倒だから嫌いなのだという自分に気づき、pythonに逃げてみたの2回めです。

数学の筆算が嫌でpythonに逃げる。因数分解、二次・三次方程式の問題。

本棚を整理してたら、過去に何回か発作的に数学の勉強をはじめて、メゲた歴史の残骸・・ようするに「大人の数学勉強本」・・がでてきたので。

Djangoで入力フォームを作る最初のハマりどころ。CSRF検証エラー対応と静的ファイルへのアクセス

Djangoで簡単な入力フォームを作るだけで意外にはまったので。静的ファイルへのアクセスと送信ボタンを押してPOSTで画面遷移する時のCSRF検証エラーの回避方法とかまとめてます。

Windows10 + anaconda + python3.6 で djangoをインストールして動かしてみる

WEBアプリはもっぱらJAVA+SpringBootでやってます。 自分としては別に不満はないのですけど、pythonで作ったツールを、ちょこっとWEBで動かして動作確認したいなと思うこともあるので、かんたんに環境を作っておこうかと思いつきました。 Djangoのインスト…

pythonでネストした辞書の初期化・更新・全件処理・ファイル保存の方法を整理(備忘)

pythonの辞書型は、ものすごく便利です。 特に良いのが、ネストできること。 例えば、「A,B,C,Dの4つのテキストデータに登場する単語の割合をそれぞれ保持する」みたいなことをする場合です。 ネストさせないで普通にやろうとすると、以下のような感じ。 A_…

PythonのrequestsとBeautifulSoupでGoogle検索結果から、タイトルとURLと説明文だけを抜き取る

今回は、とりあえず、学習させるためのデータとして、検索結果からタイトル・説明文とURLをぬきとって、CSVに整形して出力するところまでやります。

PCのログから起動・ログイン時間を抽出した勤務実態のログの起動・終了日時をPythonで整形して見やすくする

前回の続きです、GET-WinEventでぬいた起動時刻やログイン時刻を調査」のデータを、pythonで見やすく整形します。

PCのログから起動・ログイン時間を抽出して勤務実態を調査する方法(GET-WinEvent)について

ブラック企業や労働争議などの記事でよく目にする「PCのログを押収し、起動時刻やログイン時刻を調査」のデータの抜き方を調べてみます・・の1回めです。

pythonでWebスクレイピング(Requests)して、EXCELファイルに書き込み(openpyxl)資料化する

WEBで一覧になっているデータを、そのままEXCELの資料にするのを、openpyxlとreqestsモジュールを使ってやってみます。

Google Chrome をpythonからseleniumで操作して、ちょっと楽できるようにしてみる

Webアプリケーションの画面に、自動的に入力したり、リンクをクリックしたりというのをpythonでやってみます。pythonは、3.6系。seleniumというモジュールです。

pythonプログラムの実行時間を計測する汎用的なユーティリティ(Timer)を作っておく

pythonプログラムの実行時間計測をする道具をちょっと作ってみる。

PDF形式で受取り、テキストデータを抜いて使うのは現実的な選択肢になるのか?(pdfminer.six)

PDF形式でデータを受け取って、テキストを抽出して処理するってのは、現実的な選択肢になるのか・・試してみた。

今更ですが、ハノイの塔をやってみました。

ハノイの塔というパズルがあります。 なんか誰でも知ってるレベルの有名なパズルみたいです。が・・・、恥ずかしながら知りませんでした。 下の図のように、3本の柱があって、一番左端(A)に何枚か(例では3枚)の円盤がささっているところからスタートしま…

MNIST(手書き数字)データを変形させて、バリエーションを作ってみた

MNISTの手書き数字画像データを、ずらしたり回転させて、バリエーション画像を作ってみました。 ディープラーニング実装の正解率をあげるアプローチで必要になって作ったのですが、pythonで数字を入れ替えるだけで、画像が加工できるというのは、ちょっとお…