ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成DeepLearningPyTorch活性化関数誤差逆伝播法ED法 追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。 また最後にニューロンが正・負どちらに発火しているの...
グラフィック系の開発者であるニキータ・リシッツァ氏が、「自身のプロダクトのあらゆる場所で使用している」と述べるお気に入りのテクニックである「指数平滑法」について解説を投稿しました。 My favourite animation trick: exponential smoothing | lisyarus blog https://lisyarus.github.io/blog/programming/2023...
はじめに 先日以下の記事が話題となり、とてもワクワクしたので自分も実装して色々実験してみました。 実装するうちに理解が深まったので一度、 誤差拡散法の元ネタ紹介から 数式の解説、 ED法の弱点、 行列計算を使用した実装と簡単なテスト結果、 実装上の工夫 までまとめてみたいと思います。 誤差拡散（Error Diffus...
はじめに @pocokhc(ちぃがぅ)さんが、金子勇さんのED法を実装してMNISTの学習に成功しました。 金子勇さんの失われたED法 金子勇さんの失われたED法発掘の経緯 ここではちぃがぅさんのコードを元に、ED法をシンプルに解説していきたいと思います。 ED法をわかりやすく解説するため、今入力を(1,0)としたとき(0)を推論す...
初めまして。普段は産婦人科医をしつつAIの医学応用に関する研究をしています。 Qiitaは見る専でしたが、以下のバズっている記事を拝見した時、生理学の神経構造の話をふと思い出したのでメモ代わりに記載しようと思います。 読みにくい部分があれば申し訳ありません。 とくに@pocokhc(ちぃがぅ)さんの記事のコード詳細...
はじめに JAIST(北陸先端科学技術大学院大学)の社会人コースを 3 年半かけて卒業し、情報科学の修士号を取得しました。当初の想定では 2 年半で卒業するつもりだったのですが、諸々の事情で長引いてしまいました。。 昨今は社会人大学院への進学を検討する方も多いかと思います。そういった方のご参考になればということ...
今を努力しない理由にはならないだろう。 視点の高低は価値の高低ではない たまには真面目風で前向き風な話をしてみましょう。 まず、長い目で見れば人は必ず死にます。 これは自然の摂理です。 では人はいずれ死ぬのだから何かを成し遂げたり築き上げたりする行動や今日のご飯を食べることですら無駄かと言えば、それは...
KorniaはバックエンドにPyTorchを使用したコンピュータービジョンライブラリで、古典的なコンピュータービジョンの処理を微分可能にして昨今のディープラーニングモデルに統合するためのPython向けライブラリ。 Korniaは、PyTorch用の微分可能なコンピュータービジョンライブラリです。 Korniaは、コンピュータービジョ...
先日AY2024-Term3を終えて卒業要件単位数を満たすことができました。今はまだ卒業申請中なので「仮」としている。ディプロマを手にするまでは実感が湧かなそうだけれど日に日に記憶が薄れていくので振り返りを。 清々しい気分で見物した今年の牡丹 目次 CS 2204 Communications and Networking CS 2301 Operating System...
1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けて...
「微分」に関連する商品は見つかりませんでした