NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（...
2k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の...
常に役立つ訳では無いし誰にでも有効な訳では無いが、あるとお得な考え方。 物理の話 前段として、スカラーとベクトルについてまずは話しましょう。 と言っても理解するために可換体やらテンソルやらの専門用語が必要となる厳密な意味ではなく、もっとシンプルな高校物理でやる範囲の話です。 大雑把に言えば、スカラー...
物理の本ではよく, 「反変ベクトルとは～～という変換則をもち, 共変ベクトルは・・・という変換則をもつものとして定義される」と説明がなされますが, 初学者にとってはなぜ唐突にこのような定義がされるのか非常にわかりにくいと思います. そこでこのページでは数学的によりシンプルな定義を採用し, 一点の曇りなく自...
Intelが2024年4月にAIアクセラレータ「Gaudi 3」を発表しました。ハードウェア系ニュースサイト・ServeTheHomeが、前世代のGaudi 2やNVIDIAのH100よりも高い性能を発揮するというGaudi 3を実際に会場で見てきたとして、そのレポートを公開しています。 This is Intel Gaudi 3 the New 128GB HBM2e AI Chip in the Wild h...
KorniaはバックエンドにPyTorchを使用したコンピュータービジョンライブラリで、古典的なコンピュータービジョンの処理を微分可能にして昨今のディープラーニングモデルに統合するためのPython向けライブラリ。 Korniaは、PyTorch用の微分可能なコンピュータービジョンライブラリです。 Korniaは、コンピュータービジョ...
いずれも16フレームで学習が行われているため、長時間の動画生成はできないようです（大体２秒程度） 実際に生成してみた結果 プロンプト Waves are crashing on the sandy beach. The ocean glows orange in the setting sun, and the sun is about to set on the horizon. モデル Resolution Data #iterations Batch S...
AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のク...
PyTorch v1.12 以降では、macOS において Apple Silicon あるいは AMD の GPU を使ったアクセラレーションが可能になっているらしい。 バックエンドの名称は Metal Performance Shaders (MPS) という。 意外と簡単に使えるようなので、今回は手元の Mac で試してみた。 使った環境は次のとおり。 GPU が 19 コアの Apple...
理化学研究所（理研）量子コンピュータ研究センター 量子複雑性解析理研白眉研究チームの桑原 知剛 理研白眉チームリーダー（開拓研究本部 桑原量子複雑性解析理研白眉研究チーム 理研白眉研究チームリーダー）、ヴー・バンタン 特別研究員、京都大学 理学部の齊藤 圭司 教授の共同研究チームは、相互作用するボーズ粒子...
「テンソル」に関連する商品は見つかりませんでした