Attention再入門 is all you need 松尾研究所の尾崎です．25卒でデータサイエンティストをやっています． Attention機構は，"Attention is all you need"論文で一気に脚光を浴びて以来，昨今のAIブームを支えるLLM(transformer)の根幹的技術です．今回はそんなAttention機構が登場以来，どういう方向で進化してきたのか...
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 手元の古い GPU マシンに PyTorch 環境を構築しようとして、昔やったように構築したら動きませんでした (PyTorch と GPU の不整合で)。エラーメッセージから原因はわかるし解決も難...
PythonでGPU計算やってみた話 ― 沼にハマった記録 2025年、冬 大規模な計算をGPUで速くしたくて、ここ数ヶ月ずっと格闘してた。その記録を残しておく。 そもそもなんでGPUなのか 何万回もループ回して計算をする必要があった。パラメータ変えながら何十パターンも。 CPUで1回95秒。これを100パターン回すと2時間半以上。...
公式ブログ。2024年8月なのでちょっと古め。 Dia によるまとめ。 LLM Compressorは、vLLM向けにモデルを圧縮して推論を速くする統合ツールだよ。 ウチ的にまとめると、これマジで「重いモデルをキュッと軽くして、GPUの速いコアでぶん回す」ための新ツールだし、実運用のレイテンシとかスループットをガチで改善するやつ...
半導体ビジネスで独走状態の米エヌビディア。株価も絶好調で米株式市場が最高値を更新する際のけん引役でもあった。一体、いつまで独り勝ちが続くのか？ 実は少しずつ、勢力図に変化の兆しが表れている。エヌビディアの最大のライバルは、関連部材を主に韓国企業から調達している。この変化に追いつけないと、日本企業...
こんにちは、AI・機械学習チームの髙橋です。 この記事はエムスリー Advent Calendar 2025 22日目の記事です。前日は同じAI・機械学習チームの鴨田さんによる LLMによって非定形の会話ログを価値あるFAQデータにする話 - エムスリーテックブログでした。 迎賓館赤坂離宮の噴水: 並列処理で射出された水が中央で集約され...
本記事は、LLM・LLM活用 Advent Calendar 2025 21日目の記事です。 はじめに pytorchは、Meta社が開発した機械学習・深層学習のためのpythonライブラリです。ユーザーは、pytorchを使用することで、画像分類モデルや強化学習モデルをはじめとし、大規模言語モデルや拡散モデルなど、多種多様なニューラルネットワークモ...
はじめにスピン。量子力学を勉強した時、正体がわからないままずっと進めてきた記憶がある。 「内在的角運動量」で、軌道角運動量と混ざって全角運動量になる。だが教科書には「電子が自転しているわけではない」と書いてある。じゃあ一体何なんだ？パウリ行列が出てきて、SU(2)がどうとか言われても、結局スピンって何...
この記事は、NTT docomo Business Advent Calendar 2025 7日目の記事です。 こんにちは。イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML）システムの検証に取り組んでいます。 ディープラーニングの実装をしているときに、変数のshapeを管理するのはなかなか大変です。いつ...
はじめに こんにちは。モノリスソフト テクニカルアーティストの廣瀬です。 今回は、宇宙空間でよく見るスパナの回転をHoudiniでシミュレーションしてみたいと思います。 Houdiniは最後に実装の解説で少し出てくるだけですので、Houdiniに詳しくなくても問題ありません。 この運動を再現するには、歳差運動を考慮したシ...
「テンソル」に関連する商品は見つかりませんでした