ai-garage

AI-GARAGE LABS

実際に動かして、計ってから書く

公式発表を要約しただけの記事は、他所でも読めます。LABS では 1 つのテーマについて、 公式が公表している仕様と、こちらで実際に手を動かして計った数字を、分けて並べます。 料金シミュレータやプロンプト診断のように、読みながらその場で試せるツールも記事に入れています。

  • 自分たちで計る 公式の数字をそのまま載せず、同じ条件で実際に走らせて確かめます
  • 生の出力を載せる 読みやすく直すと「実際の出力」でなくなるので、加工せずそのまま置きます
  • 測れなかったことも書く 条件が揃わず確かめられなかった項目は、その理由ごと書き残します
Opus 5.5 × Gemini 3.8 Flash TTS で、解説動画を丸ごと作ってみた(イメージ)
動画2本を実際に制作 Gemini の音声AI 5世代を実測

Opus 5.5 × Gemini 3.8 Flash TTS で、解説動画を丸ごと作ってみた ── 話題の組み合わせを実際に回して、声の読み間違い・速さ・料金を測った

X で話題の「映像は Claude Opus 5.5、声は Gemini 3.8 Flash TTS」で、解説動画(1分57秒)と縦ショートを実際に作りました。読み間違えやすい言葉を19か所しこんだ原稿を Gemini の音声AI 5世代に3回ずつ読ませると、3.8 Flash ははっきりした誤読0回。約40秒の読み上げを平均14.5秒で返し、1分あたり約2.7円。ただし請求は音声1秒32トークンで公式の目安より28%多く、本文に「明るく読んで」と書くと14回中13回で指示まで読み上げました。動画・全音声・30の声の聞き比べ・コードを掲載。

読み間違いテスト(3.8 Flash)
18.3 / 19
約40秒の読み上げにかかった時間
14.5秒
1分のナレーションの料金
約2.7円
AIに契約書をチェックさせたら、どこまで見抜けるか(イメージ)
4モデル×2本×3回を採点 自分の契約書で使える20項目

AIに契約書をチェックさせたら、どこまで見抜けるか ── 落とし穴を20個仕込んだ契約書で、Claude と Gemini を採点した

フリーランスに不利な条項を仕込んだ架空の業務委託契約書2本を、Claude Fable 5.1・Sonnet 5・Gemini 3.1 Pro・3.8 Flash に3回ずつチェックさせました。わかりやすい落とし穴10個は4モデルとも全部発見。定義や但し書きに隠した10個では見落としが6件出て、3回とも全部見つけたのは Fable 5.1 だけ。フリーランス法の60日ルールは全員が指摘した一方、法律の条番号を取り違えた回答が24本中2本ありました。

わかりやすい落とし穴(12回)
120 / 120
気づきにくい落とし穴(12回)
114 / 120
法律の条番号の取り違え
24本中2本
Claude Fable 5.1 徹底検証(イメージ)
筆者 = 検証対象 本人の5段階×11課題を実測

Claude Fable 5.1 徹底検証 ── 「考える量」を上げると、何が変わって何が変わらないのか

effort(考える量)は、単価を動かさずに1タスクの実費を数倍動かすつまみ。筆者本人(Fable 5.1)の effort を low から max まで5段階に変えて同じ11課題を解かせ、Fable 5・Opus 5 にも同じ5段階を回しました(165セル)。簡単な4課題は全段階満点で max だけトークン約3.5倍。難しい3課題(開閉区間の結合・難問クイズ・字数ぴったりの作文)でも、コーディングと数学は low で満点。さらに難しい4課題(論理パズル・上位の数学・11条件の作文・正規表現エンジン)で、数学の1問が15セル全部が正解に届かず、段階が上がるほど正解との差だけが縮みました。Gemini 3.8 Flash の3段階、Artificial Analysis の7モデル段階別データ、第三者の実測11本も収録。

価格(Fable 5 と同じ)
$10 / $50
本人の5段階×11課題(55セル)
満点でないのは 8
low → max のトークン(簡単 / 難問 / さらに難問)
3.5倍 / 6.8倍 / 7.4倍
Claude Fable 5 徹底検証(イメージ)
筆者 = 検証対象 4モデル実測比較 後継は Fable 5.1

Claude Fable 5 徹底検証 ── 本人と弟分3モデルに、同じ問題を解かせてみた

Opus の上に新設された「Mythos クラス」の一般向けモデルを検証(2026年9月1日に後継の Fable 5.1 が公開)。仕様46件は別のAIが出典と1件ずつ突合し、実測は Fable 5・Opus 5・Sonnet 5・Haiku 4.5 に同じ4課題を解かせてプログラムで機械採点しました。結果は Fable 5 が満点、でも10分の1の価格の Haiku 4.5 もほぼ満点。「差がつかなかった」という都合の悪い数字もそのまま載せています。

価格(当時の主力 Opus 5 の2倍)
$10 / $50
実測(3課題20点満点)
20点
出典と突合した公式情報
46件
話すだけで、書ける(イメージ)
試せるツール4つ 編集部の実使用つき

話すだけで、書ける ── AI音声入力「Typeless」は、デスクワークの前提を変えるか

公式が掲げる「タイピングの4倍速」を、査読論文の実測値と並べて検証しました。話し言葉から捨てられる文字が何割あるのかを、同じ整形を自分で実装して計測(−32.2%)。競合9本の価格は各公式ページで個別に確認。さらに編集部が使い続けて効いた点――小声で通ること、AIへの指示の情報量が増えて出力の質が上がること、メール返信の手順まで書いています。

公式の主張 / 論文の実測
220 / 152.86 wpm
話し言葉から削れた文字
−32.2%
無料枠
週 8,000 語
Opus 5 は何を作れるのか(イメージ)
動くデモ付き 実在確認25件 後継は Opus 5.5

Opus 5 は何を作れるのか ── Xの作例と口コミを集めて、同じことを自分でもやってみた

X で伸びた「Opus 5 に作らせた物」の投稿を実在確認して整理し、同じことを自分でも試しました(2026年7月の記録。後継の Opus 5.5 は9月22日に公開)。外部ライブラリなしの HTML 1枚で、ブラウザの中で学習するニューラルネットの実験室を作って公開。作る途中で直した4箇所と、そのデモで測った数字も載せています。

作らせた HTML
1ファイル 50KB
外部への通信
0
実在確認した投稿
25件
Claude Opus 5 徹底検証(イメージ)
筆者 = 検証対象 動くツール5つ 後継は Opus 5.5

Claude Opus 5 徹底検証 ── この記事は Opus 5 が自分について書いています

2026年7月の Opus 5 公開時の検証です(9月22日に後継の Opus 5.5 が公開され、Opus 5 は旧世代に)。価格は据え置きで、直さないと動かなくなる箇所は2つだけ。ただしプロンプトは「足す」のではなく「削る」方向で書き直す必要があります。公式仕様の整理に加えて、本人に同じお題を2回解かせて冗長さを実測しました。

Opus 5 の価格
$5 / $25
要修正の変更
2件
実測した冗長さの削減
-74.9%

よくある質問

Q.ai-garage LABS はどんな記事ですか?
A.1 つのテーマについて、公式が公表している仕様と、編集部が実際に手を動かして計った数字を、分けて並べる検証記事です。料金シミュレータやプロンプト診断のように、読みながらその場で試せるツールも記事の中に入れています。
Q.ふつうのニュース記事と何が違いますか?
A.公式の数字をそのまま載せるのではなく、同じ条件で実際に走らせて確かめる点です。AI の出力は読みやすく直すと「実際の出力」ではなくなるので、加工せずそのまま置きます。条件が揃わず確かめられなかった項目も、その理由ごと書き残します。
Q.どのくらいの頻度で公開されますか?
A.決まった曜日はなく不定期です。現在7本を公開していて、最新は2026年9月26日の「Opus 5.5 × Gemini 3.8 Flash TTS で、解説動画を丸ごと作ってみた」です。次の号は準備中です。
Q.これまでにどんなテーマを検証しましたか?
A.「Opus 5.5 × Gemini 3.8 Flash TTS で、解説動画を丸ごと作ってみた」(話題の組み合わせを実際に回して、声の読み間違い・速さ・料金を測った)、「AIに契約書をチェックさせたら、どこまで見抜けるか」(落とし穴を20個仕込んだ契約書で、Claude と Gemini を採点した)、「Claude Fable 5.1 徹底検証」(「考える量」を上げると、何が変わって何が変わらないのか)、「Claude Fable 5 徹底検証」(本人と弟分3モデルに、同じ問題を解かせてみた)、「話すだけで、書ける」(AI音声入力「Typeless」は、デスクワークの前提を変えるか)、「Opus 5 は何を作れるのか」(Xの作例と口コミを集めて、同じことを自分でもやってみた)、「Claude Opus 5 徹底検証」(この記事は Opus 5 が自分について書いています)の7本です。

次の号は準備中です。取り上げてほしいモデルや、確かめてほしいことがあれば @tenbin_maru まで。

更新を受け取る