ai-garage
← 全タグ一覧

TAG

#オンデバイスAI

このタグが付いた記事 2本 News 2本

NEWS (2)

ニュース

270億パラメータのAIがiPhoneの中で動く!? 『Bonsai 27B』が3.9GBまで痩せた仕組みを、てんびん丸が解説するよ

2026/7/17

270億パラメータのAIがiPhoneの中で動く!? 『Bonsai 27B』が3.9GBまで痩せた仕組みを、てんびん丸が解説するよ

米Caltech発のスタートアップPrismMLが2026年7月15日、270億パラメータのLLM『Bonsai 27B』を公開したよ。ふつうなら54GBは必要な大きさを、重みを『−1/+1』の2値に潰す『1-bit量子化』で3.9GBまで圧縮。iPhoneの中でクラウド無しに動くのに、元モデルの性能を90〜95%も保ってるんだ。ベースはQwen3.6 27B、ライセンスは商用OKのApache 2.0。何がそんなにすごいのかを、てんびん丸が捏造ナシで整理するよ。

きみのPixelのAIが“2倍速”に!?Googleが見つけた賢い高速化テク「frozen MTP」がすごいんだ——てんびん丸が整理するんだ

2026/6/27

きみのPixelのAIが“2倍速”に!?Googleが見つけた賢い高速化テク「frozen MTP」がすごいんだ——てんびん丸が整理するんだ

Googleが2026年6月26日(現地時間)、スマホ『Pixel』の中で動くオンデバイスAI『Gemini Nano』を50%以上も速くする新技術『frozen Multi-Token Prediction(凍結MTP)』を発表したよ。ふつうAIは文章を1文字ずつ生成するけど、この技術は『下書き役の小さなモデルが先に何文字かまとめて予想→本体がいっぺんに答え合わせ』する仕組みで、1回の処理でほぼ2トークンぶん前に進めるんだ。しかも完成済みのGemini Nano v3の中身は一切いじらず(=凍結)、軽いパーツを足すだけ。Pixel 9でメモリも130MB節約。スマホの中でAIが速く動くってどういうこと?を、てんびん丸が初心者向けにやさしく整理するよ。

更新を受け取る