はじめに 先日、ED法の解説記事を書きました。 並列処理と相性が良さそうであると述べておきながら、GPUを使用した実装をしていなかったので、CuPyを使用して並列処理の威力を確かめてみます。 GPUを使った重みの並列更新 一層あたり32*2細胞、4096層、入力サイズ28*28、バッチサイズ64で実行したところ、計算時間は for...
NVIDIAに対抗するAIスタートアップGroqとは? NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル(LLM)の推論に特化したAIチップ「言語処理ユニット(LPU)」を開発するGroqだ。 VentureBeat(2024年2月23日)の報道によると、Groqは「年末までに、(...
2.2k{icon} {views} 複数のLLM(GPT/Claude3)とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題(TSP)が有効に機能しました。また、生成部分ではGPTよりClaude3...
常に役立つ訳では無いし誰にでも有効な訳では無いが、あるとお得な考え方。 物理の話 前段として、スカラーとベクトルについてまずは話しましょう。 と言っても理解するために可換体やらテンソルやらの専門用語が必要となる厳密な意味ではなく、もっとシンプルな高校物理でやる範囲の話です。 大雑把に言えば、スカラー...
物理の本ではよく, 「反変ベクトルとは~~という変換則をもち, 共変ベクトルは・・・という変換則をもつものとして定義される」と説明がなされますが, 初学者にとってはなぜ唐突にこのような定義がされるのか非常にわかりにくいと思います. そこでこのページでは数学的によりシンプルな定義を採用し, 一点の曇りなく自...
Intelが2024年4月にAIアクセラレータ「Gaudi 3」を発表しました。ハードウェア系ニュースサイト・ServeTheHomeが、前世代のGaudi 2やNVIDIAのH100よりも高い性能を発揮するというGaudi 3を実際に会場で見てきたとして、そのレポートを公開しています。 This is Intel Gaudi 3 the New 128GB HBM2e AI Chip in the Wild h...
KorniaはバックエンドにPyTorchを使用したコンピュータービジョンライブラリで、古典的なコンピュータービジョンの処理を微分可能にして昨今のディープラーニングモデルに統合するためのPython向けライブラリ。 Korniaは、PyTorch用の微分可能なコンピュータービジョンライブラリです。 Korniaは、コンピュータービジョ...
いずれも16フレームで学習が行われているため、長時間の動画生成はできないようです(大体2秒程度) 実際に生成してみた結果 プロンプト Waves are crashing on the sandy beach. The ocean glows orange in the setting sun, and the sun is about to set on the horizon. モデル Resolution Data #iterations Batch S...
AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のク...
PyTorch v1.12 以降では、macOS において Apple Silicon あるいは AMD の GPU を使ったアクセラレーションが可能になっているらしい。 バックエンドの名称は Metal Performance Shaders (MPS) という。 意外と簡単に使えるようなので、今回は手元の Mac で試してみた。 使った環境は次のとおり。 GPU が 19 コアの Apple...
「テンソル」に関連する商品は見つかりませんでした