環境 iMac, Late 2012 macOS High Sierra 10.13.4 CPU: 2.7GHz intel Core i5 GPU: NVIDIA GeForce GT 640M 512MB GPU Driver Version: 355.11.10.10.30.120 卒論でDeep Learningを扱うため、研究室のNVIDIA製GPUを積んでいるマシンでGPU版tensorflowを使えるようにセットアップしようと試みました。 まぁ、今さっきメキメキっと音を立てて心が折れたところなんですけど。。。 結論(推論)からいいますと、おそらく今回のGPUドライバのバージョンに対応するバージョンのCUDAドライバをNVIDIAが提供していないのではないかと思われます。正しくセットアップできる方法をご存知の方！お願いします！教えてください！ CUDA ドライバ＋ツールキットを
Titanic: Machine Learning from Disaster タイタニック号の乗客名簿的なものから、生存者のデータを分析するチュートリアル的なやつです。 https://www.kaggle.com/c/titanic データ初見でやりながら記事を書いてるので、支離滅裂です。 素敵な解説 自分の好みに合わせて、つまみ食いします。 https://qiita.com/suzumi/items/8ce18bc90c942663d1e6 https://www.codexa.net/kaggle-titanic-beginner/ https://qiita.com/k2me14/items/ab9d71960d2b9d422c16 https://www.codexa.net/kaggle-titanic-beginner/ 道具 Python 3 Jupyter noteb
【DQN】秘書問題のところで、Matplotlibのグラフの見出し等の日本語化が出来ずに豆腐になっていた問題。。。解決したのでまとめておく。 結論からいうと、基本は、以下の参考のとおりでできました。 そして、理由はわかりませんが、それ以外はまったくできませんでした。 【参考】 ・ 【matplotlib】日本語の設定@keisukeのブログ 前提の環境 ・Windows10 ・Python3 ・Anaconda3 手順は以下のとおり ・matplotlibの設定ファイルの場所を探して、matplotlibrcをコピー ・日本語に対応したフォントのダウンロードとコピー ・matplotlibの設定ファイルを書き換える ・フォントのキャッシュの削除 ・matplotlibの設定ファイルの場所を探して、matplotlibrcをコピー これはpythonを実行した後に、以下のコマンドでいけます
はじめに Chainer 4からiDeepが正式にサポートされるようになりました。iDeepを使うことでCPUによる学習・推論が高速になります。もちろん、iDeepはXeon系のCPUを主なターゲットとしていますが、経験上ノートPCレベルでも多少の速度向上があります。 iDeepの活用方法について説明したウェブサイトはいくつかあるのですが、導入をMKLのインストールから通しで説明しているサイトがなかったので、備忘録のためにiDeepの導入方法を記載します。 なお、本説明はUbuntu 16.04、Chainer 5.0.0rc1を対象にしています。iDeepやChainerのAPIは今後どんどんかわってゆくと思われるので、適宜ソースのサイトを参照してください。 手順 Pythonの導入 適当な方法でPythonが使える環境を作ります。このとき、Pythonのshared objectを忘れ
※△１ 2019.02.01 動かない環境があった為修正 ※△２ 2019.02.03 文章を各所修正 CNNの任意の特長マップを使用して可視化をするスクリプトです 下記にある通りGrad-CAMで表示がおかしくなる学習結果に対しても そこそこ良好な可視化結果を得られています。 ただし問題がありまして、識別率が低い画像を可視化すると 判別に使用していない特長フィルターも可視化されてしまうので 関係ないところまで反応してしまうという問題があります この辺はGrad-CAMの手法で解決できるので 両方を使い分けるのがいいと思います 確認環境 python3.6.6 , 3.6.7 , 3.6.8 Tensorflow:1.10.0 Keras：2.2.2 , 2.2.4 やり始めたきっかけ Grad-CAMを使って作成したモデルの評価を行っていました いつものデータセットを使いVGG16のファ
前回取り上げた秘書問題を再度取り上げようと思います。 秘書問題の大きな課題として以下二つの問題があります １．応募者１００人を超えてどこまで学習できるのか ２．理論はnが大きいとして$e/n$を導いているが、$n$が小さいときはどうなるの？？ 恋するウワンとしては、２の課題の方が切実なので今回はこれを取り上げてみたいと思います。 ２．理論はnが大きいとしてe/nを導いているが、nが小さいときはどうなるの？？ まず、採用成功率の推移を見てみましょう。 n=50 Episode 1: reward: 0.000, steps: 27 採用成功率(1000回)：0.394 n=20 Episode 1: reward: 0.000, steps: 20 採用成功率(1000回)：0.396 n=10 Episode 1: reward: 0.000, steps: 6 採用成功率(1000回)：
STL-10のunlabeledの画像10万枚（96x96）をImageDataGeneratorで回してたらメモリ12GB近く使ってパンクしそうになったので対処法を考えました。 環境：Keras=v2.2.4、TensorFlow=v1.8.0、CPU環境 結論だけ見たい方は「解決法」のとこまで飛んでください。 ImageDataGenerator.flow()は入力データを全部float32にキャストしてる？ STL-10はtrain（5000枚）, test（8000枚）, unlabeled（10万枚）の3種類のデータからなり、それぞれ1つずつの大きなバイナリファイルに固められています。Pythonの実装は詳しくはこちらにあります。 STL-10の実装は本質的なことではないのですが、このバイナリの画像データがuint8のNumpy配列で定義されているのがポイントなのです。uint8
なぜスピーカの周波数分析を行うのか ダンスミュージックを聴くときは低音重視、クラシックを聴くときは高音重視、音楽制作に使うときはフラットなど、スピーカは用途によって求められる周波数の特性が変わってきます。欲しい音がきちんと出るスピーカを設計したり、選んだりする際にスピーカの周波数分析を行い、定量的に評価することが重要になります。 分析の流れ PythonでTSP信号（測定信号）を作る →スピーカに入力して出力をマイクで録音 →Pythonで分析、グラフ作成 使用機材 被測定スピーカ：Genelec 8050A マイク：NTI M2230 オーディオインターフェイス：RME MADIface XT 測定環境：無響室 TSP信号とは システムの周波数特性は、理想的にはインパルスをシステムに入力し、その出力であるインパルス応答をフーリエ変換することで得られます。 しかしインパルスを放出するスピー
from keras.models import Sequential from keras.layers import Activation, Dense, Dropout from keras.utils.np_utils import to_categorical from keras.optimizers import Adagrad from keras.optimizers import Adam import numpy as np from PIL import Image import os # 学習用のデータを作る. image_list = [] label_list = [] for dir in os.listdir("data/dog/ForFinalTrain/"): dir1 = "data/dog/ForFinalTrain/" + dir label =
時代はDQNということで、久しぶりに遊んでみた。というか、ここからひと月毎日DQNで遊んでみようと思う。 その心機一転、Exampleから一つずつ遊び倒す。 まずは、インストールだが、以前の環境で動かそうとしたら、怒られた。 >python ddpg_pendulum.py Using TensorFlow backend. Traceback (most recent call last): File "ddpg_pendulum.py", line 8, in <module> from rl.agents import DDPGAgent ImportError: No module named 'rl' >pip install keras-rl Collecting keras-rl Requirement already satisfied: keras>=2.0.7 in c
BatchNormalization（以下BN）を入れると 過学習が起きにくくなるという事は経験的にわかっていましたが どこに入れればいいのか不明なので、簡単なCNNのモデルを作成し確認してみました BNの細かい説明はお魚の本P.186～を参照 データセットによって動きが変わることは十分考えられますので、参考程度にお願いします ただ、思ったよりも動きが変わって面白かったです ※△１ 2018.10.7追記 上記の予想通り、データセットをcifer10に変更したところ BNを入れた方がlossが大きくなる結果となりました 検証はこちらに掲載します 簡単にまとめると データ数が十分に多く、モデルのパラメータが少ない 過学習が起きづらいモデルに対してBNを導入すると lossが大きくなるようです 確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 学習デ
前提 MacOS 10.14 Mojave python 3.7.0 基本的には「Python3 TensorFlow for Mac 環境構築」の記事（python 3.6.0）のやり方を参考にpython3.7で構築しようとしてつまずいて調べたことをまとめておきます。 先に結論 記事を書いておいてアレなんですが、現時点（2018/10/13）で**python 3.7に正式に対応できているTensorflowのpipパッケージはまだ追いついてないようです。。**一応強引な回避策もあるにはあるようなのでそちらも書いておきます。 MacOS 10.14 Mojave MacOS 10.13 High Sierra をお使いの方は「1. pyenv install でエラー」の項のみ参考にしてください。 普通に構築されたい方は素直にpythonを3.6にダウングレードして、対応するpipのt
LTSVは主にログファイルの形式として最近好まれているテキストフォーマットです。 http://ltsv.org/ 一行一レコード、各セルをタブで区切っているところはTSVと同じなのですが、ヘッダ行に列タイトルを付ける代わりに各セルに直接ラベルをつけた形になっています。 host:example.com url:/api/users status:200 time:2018-01-01T00:00:00+09:00 host:example.com url:/api/users status:200 time:2018-01-01T00:00:01+09:00 このような見た目。 人の目にも読みやすく機械的にもパースしやすいのが利点です。 パースしやすさのためにあえて仕様にエスケープを含めていないほど。 さてこのLTSV形式、pandasに読み込み用メソッドが用意されていません。 pand
目的 x軸方向（時間方向）にずれたデータを1つのヒートマップ上に並べて表示したい． そのために，データの整形を行う． 状況 複数のセンサからデータをサンプリング サンプリング周期は同じ 取得タイミングがずれている データ数が異なる Ex.) 分散システムになっていて，それぞれのデータが中央に送られてくる． ので，一筋縄ではいきません． データ整形からプロットまで データの読み込み（作成） pd.read_csv() とかで読むけど，今回はダミーデータを使用します． # 時間のズレを作る time_A = np.arange(5, step=0.01) time_B = np.arange(5.1, step=0.01) # 適当にばらつかせる time_A += list(map(int, np.random.normal(scale=0.01, size=len(time_A)))) t
KerasでいうところのConv2Dがどのような演算をやっているかどういう風に理解してますか。 よくモデルの図解では直方体のデータ変形の例で示されますよね。 じゃあこれがどんな演算かっていうと初心者向け解説だと、畳み込みや特徴量抽出の説明をしてそれで終わってしまうことがままあります。 そうすると自分は、いや、畳み込みわかるけどConv2Dのパラメータ数とかどうなってるのか分らないよ、と思うわけです。 ということでConv2Dの自分なりの行列計算の理解をまとめたいと思います。もしかしたら詳しい参考書とかには書かれてるのかもしれませんが自分の読んだ本には行列計算は載っていませんでしたので……。 畳み込みや行列自体については解説しませんので畳み込みの原理は理解されたうえでお読みください。 もしも書いてる内容が間違っている場合は指摘していただけると幸いです。 inputs = Input(shap
Python3.6のインストール ※ 2018/10現在、tensorflowを動かすにはPython3.7ではダメらしい。 下記URLよりPython本体をダウンロードする。 https://www.python.org/downloads/windows/ ・ Python 3.6.7rc1 - 2018-09-26 「Windows x86-64 executable installer」あたりが妥当。 ダウンロードしたインストーラに従い、Pythonをインストールする。 Pythonのインストール確認 $> C:\WINDOWS\system32>python --version $> Python 3.6.7rc1 ※ うまくいかない場合、環境変数のパスが通っていないと考えられるため システム環境変数のPathにインストールしたPyrthonフォルダ 例：[「C:~~\Pytho
機械学習 機械学習には様々な種類のものがあります．大きく分けると以下のように なります． 教師あり学習 教師なし学習 その他(強化学習など) 今回はロジスティック回帰を使うために簡単に教師あり学習について紹介したいと思います． 教師あり学習(回帰) 教師あり学習ではデータと正解ラベルの2つの情報が渡されます． 大量のデータから「このデータの正解はこのラベルであった」というパターンを見つけ出して，正解ラベルのないデータに対してもそれを予測するものになります． 教師あり学習はさらに正解ラベルの種類によって回帰と分類に分けられます． 回帰は，正解となる値が連続した数値となるものです． よく見られる例として： ビールの売り上げは気温に影響すると言われています. この情報を元に実際の売り上げと気温のデータを利用して機械学習を行うことで、天気予報から得た翌日の気温から売り上げを予測することが可能になり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
