2017/03/09
それぞれの .npy ファイルにストアされている特徴を抽出してからそれらの特徴をエンコーダを通して渡します。 エンコーダ出力、(0 に初期化された) 隠れ状態そしてデコーダ入力 (それは開始トークンです) がデコーダに渡されます。 未来の自分のために、この情報を出力の次のテキストファイルに保存することをプロセスに取り入れましょう。 2週間後に上司から「top10products_2014Nov12.csvは間違っているようだ。11月12日に青のウィジェットを売らなかったのは確かなのか？ 2016/09/04環境：Ubuntu14.04(LTS), Chainer(v1.14.0), CUDA(7.5), python2.7 先人達の記事に従いchainerで画像分類を始める際、バージョンの違いによって変更が必要な点があったため記述する。基本的な手順は、①d.hatena.ne.jpに従い、適宜②hi-king.hatenablog.com を参考にした。 ①の著者が作成したコードをgit cloneする こんにちは、おうちハッカー@リッテルラボラトリーの石田です。 先日より弊社は、「HOME'S」の物件・画像データセットを研究者に提供開始しました。 情報学研究データリポジトリ(IDR)より申請頂けます。 こちらのデータセットを用いた研究を支援させていただくため、ディープラーニングに ・Tensorflowで異常検知 RNNで値を予測し実測値と大幅に違う時を異常値とする ・Tensorflowで学習したモデルをCで実行 ① KerasでMNIST（手書き数字）を学習させたモデルを ② Tensorflow形式に変換 ③ Cで認識を実行 ・県内企業の取り組み 全画像ファイルを展開する場合は、概ね1TBytes以上のディスク領域が必要となります。 画像のファイル数がかなり多い (約8300万枚) ため、ディスクの容量とともにinode数をかなり消費します。 mnistをやりたい場合はmain_mnist内のファイルを全てmainに全てコピーする。 main_irisも同様。 ※ライブラリにするのは大変そうで、かつ環境を汚しそうなので、サブプログラムとして呼び出している。
2017/11/08 2017/03/09 MNIST(手書き数字)データセットをダウンロードする # coding:utf-8 from tensorflow.examples.tutorials.mnist import input_data # MNISTデータセットの読み込み # 指定ディレクトにデータがない場合はダウンロード mnist = input_data.read True 畳み込みネットワークを理解するため、本チュートリアルではMNIST（エムニスト）という手書き数字のデータセットを使っていきます。 コンピューティングの時間を合わせて、30分〜2時間程度で完了できるチュートリアルとなっています。 MNISTは「CNN」(畳み込みニューラルネットワーク)の定番で「手書き数字」をAIが認識します。このMNISTで使用しているファイルは「独自のファイル形式」ですので、別のデータセットで試す事ができません。MNISTのサンプルコードはネットに沢山あるけど「手書き数字」しか試せないのは勿体ない 2016/07/23
Googleが開発したtensorflowの基本から解説しています！画像認識や翻訳 アートにまで応用されるなど成長著しいソフトウェアライブラリなので、機械学習をはじめとしたAI系の分野に興味がある方には是非最後まで読んでもらいたい記事です！ はじめに 前回は、Frickrを使った画像データのダウンロードについて整理しました． shirakonotempura.hatenablog.com 今回は、ダウンロードした画像データを機械学習で使えるデータへ変換していく作業についてまとめていきます． 前提条件として、画像データは以下のような形で、PC上に保存されて Pythonでリストからランダムに要素を選択するchoice, sample, choices; pandas.DataFrameの行名・列名の変更; pandasの時系列データのタイムゾーンを処理（tz_convert, tz_localize） NumPyで全要素を同じ値で初期化した配列ndarrayを生成; PythonでPSNRを算出（OpenCV, scikit-image, NumPy） インターネットで公開されている機械学習用のデータセットをまとめました。まだまだ日本国内では、公開されているデータセットが少ないので、海外で公開されているデータセットも含めています。 すると、茶色のマークがつきます。これがブレークポイントです。 デバッグ実行する. Spyderでデバッグ実行するには、「ファイルをデバッグ開始」アイコンをおします。もしくは Ctrl + F5 をおします。 すると、Spyderエディタの中で今いる行番号が太字になり 他の人が作成し、アップロードしているモデルを利用する。 今回は手始めにVGG16のネットワークとモデルをダウンロードし、Caltech101のデータをかけてみる 1．ネットワーク定義ファイルのダウンロード 多くの研究結果がModel Zooで公開されており、GitHub Gistでダウンロードできる（Caffe内のダウ… 色を反転させて保存する これはhtmlでつかってる0-255の数字と一緒であります。 各数値を255から引くことで色を反転させることができます。
mnist.npy 手書きの数字(MNIST) hiragana.npy 「あ」から「こ」までの、ひらがな十種。 上記のうち、好きなものを一つ選んでTRAIN_DATAとし、ダウンロードすること。数字は学習が容易だが、ひらがなは難しい。 以下は手書きの数字(MNIST)を選んだ場合の例である。
2019年2月17日 MNISTはまぁどんな形でダウンロードしてもいいのですが、今回はpytorchを使った例を載せます。 MNISTは28x28のモノクロ画像だけど、random forestのアルゴにかけるときとかは一次元で入力する必要があったりしますので、簡単 2020年1月22日 これを最初に実行する際には，ネットからデータをダウンロードする。次回からはローカルにキャッシュ 拡張子 npz のファイルは NumPy の ndarray を収めたバイナリファイル 変数名.npy を束ねたZIPアーカイブである。詳しくは np.savez() 2017年3月16日 scikit-learnで学習した分類器を保存する場合、joblib.dumpを使用するが、これだと、大量のnpyファイルが作られる。 tr_samples, tr_labels = load_svmlight_file('mnist.scale') # one-versus-restで線形SVM分類器を学習する。 # n_jobs 2020年1月22日 データセット「MNIST」について説明。7万枚の手書き数字の「画像＋ラベル」データが無料でダウンロードでき、画像認識などのディープ 実際にMNISTを使うには、scikit-learn／Keras／TensorFlow／PyTorchといった各ライブラリが提供する機能を利用することをお勧めする。 という4つのファイルは、.jpgのような一般的な画像ファイルではなく、独自のフォーマットを持つ単一（＝複数の画像データがひとまとめに 2018年4月11日 ソースコードを実行するPythonファイルと同一の階層にディレクトリを作成し、その中に画像を格納します。拡張性を高めるためディレクトリは複数（Folder1,Folder2）とします。読み込まれた画像は50×50のRGB形式にリサイズしてnumpyの 2017年11月2日 Caffeではモデルの構造や学習方法などをprototxtという設定ファイルで定義できるので、非常に再利用し易く重宝しています。 docker pull するだけでOSも含め必要なモノを全てダウンロードから導入までしてくれるので、非常に楽チンです。 上記のコマンドを実行すると、lmdbという文字列が付いた名称のディレクトリが $CAFFE_ROOT/examples/mnist 直下に2つ生成 python convert.py lenet.prototxt --caffemodel lenet.caffemodel --code-output-path=lenet.py --data-output-path=lenet.npy