「そろそろ新しいパソコンが欲しいけれど、Amazonで買っても大丈夫なのかな？」 日用品の買い物には便利なAmazonですが、数万円から十数万円もするパソコンとなると、少し躊躇してしまう方も多いのではないでしょうか。初期不良が起きたらどうなるのか、家電量販店で買うよりも本当にお得なのか、様々な疑問が湧いてきま...
スマートフォンで高度なAIを手軽にローカル環境で動かせる時代が到来しつつあります。カリフォルニア工科大学発のAIラボ「PrismML」が発表した超圧縮AIモデル「Bonsai-8B」は、AIをクラウド上の巨大システムから私たちの手元へと解放する画期的な技術です。本記事では、この革新的なAIが私たちの生活やお財布事情をどう...
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Bonsai-8B考察 — 1-bit LLMは使い物になるのか 自分用メモとして書きました。PrismML（Caltech発）がリリースした真の1-bit LLM「Bonsai-8B」。モデルサイズわずか1.15GB。海外LLM...
清水 亮 ryo_shimizu 新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。 Tweet ソフトウェアの革命は、突然やってくる。 ように見える。 カリフォルニア工科大学(以下カルテック)のババク・ハッ...
こんにちは、kazuです。 先日PrismMLから発表された1-bit Bonsai 8Bを自分のMac（M3 Pro / 36GB）で試してみました。 結論から言うと、たった1.15GBのモデルで生成速度65tok/sec。通常の8Bモデル（16GB前後）の1/14のサイズとは思えない速さです。 この記事では、Macへの導入手順と実際の使用感を紹介します。 1-bit Bon...
以前の比較から様々なOCRがリリースされていましたので、精度、速度を測ってみます。 GLM-OCRがバウンディングボックスがとれないので、比較はテキストのみです。 今回調べたのは以下 Tesseract PaddleOCR GLM-OCR OwOCR ChromeScreenAI meikiocr NDLOCR-Lite Manga OCR EasyOCR RapidOCR 動作確認のColabは以下（※たま...
速度ではSwiftLMが勝つ。でも……純粋な生成速度ではSwiftLMが平均27.3 tok/sで最速でした。Bonsai 8Bは21.1 tok/sで、SwiftLMの約0.77倍。1ビットのdequantizationオーバーヘッドがあるので、これは仕方ない部分です。 しかし、数字だけでは見えない差があります。 回答の品質が違う Bonsai 8Bの回答は、Qwen 2.5 3Bとは...
HashiCorpの共同創設者である Mitchell Hashimoto氏が開発した高速かつ機能豊富な次世代ターミナルエミュレーターであるGhosttyは、ターミナルの速度と操作性を重視するエンジニアを中心に高い支持を集めています。Ghosttyの魅力とはどういうものなのか、一般的な評価に加えてHashimoto氏の見解を通じて人気の理由を確認...
Ollama不要？Apple Silicon Mac内蔵AIをコマンドラインで使う無料ツール「apfel」を試した こんにちは、コードを書かないエンジニア@もるふぉです。 「ローカルLLM使いたいけど、モデルのDLが面倒で結局手が出せてない」——自分もずっとそっちでした。 Ollamaを試すたびに数GBのダウンロードが始まって、「また今度でいい...
「なぜ、プレイステーションはサターンに勝てたのか？」 その答えは、無能ゆえの空白ではなく、3Dの未来を見据えた 「冷徹な合理化」の産物でした 今回の動画では、セガサターンの設計思想と比較しながら、ソニーがいかにして「合理化」という思想にすべてを賭け、1MBという極小の戦場（VRAM）で勝利を収めたのかを徹底...
「GPU」に関連する商品は見つかりませんでした