AI-GARAGE LABS
実際に動かして、計ってから書く
公式発表を要約しただけの記事は、他所でも読めます。LABS では 1 つのテーマについて、 公式が公表している仕様と、こちらで実際に手を動かして計った数字を、分けて並べます。 料金シミュレータやプロンプト診断のように、読みながらその場で試せるツールも記事に入れています。
- 自分たちで計る 公式の数字をそのまま載せず、同じ条件で実際に走らせて確かめます
- 生の出力を載せる 読みやすく直すと「実際の出力」でなくなるので、加工せずそのまま置きます
- 測れなかったことも書く 条件が揃わず確かめられなかった項目は、その理由ごと書き残します
Opus 5.5 × Gemini 3.8 Flash TTS で、解説動画を丸ごと作ってみた ── 話題の組み合わせを実際に回して、声の読み間違い・速さ・料金を測った
X で話題の「映像は Claude Opus 5.5、声は Gemini 3.8 Flash TTS」で、解説動画(1分57秒)と縦ショートを実際に作りました。読み間違えやすい言葉を19か所しこんだ原稿を Gemini の音声AI 5世代に3回ずつ読ませると、3.8 Flash ははっきりした誤読0回。約40秒の読み上げを平均14.5秒で返し、1分あたり約2.7円。ただし請求は音声1秒32トークンで公式の目安より28%多く、本文に「明るく読んで」と書くと14回中13回で指示まで読み上げました。動画・全音声・30の声の聞き比べ・コードを掲載。
- 読み間違いテスト(3.8 Flash)
- 18.3 / 19
- 約40秒の読み上げにかかった時間
- 14.5秒
- 1分のナレーションの料金
- 約2.7円
AIに契約書をチェックさせたら、どこまで見抜けるか ── 落とし穴を20個仕込んだ契約書で、Claude と Gemini を採点した
フリーランスに不利な条項を仕込んだ架空の業務委託契約書2本を、Claude Fable 5.1・Sonnet 5・Gemini 3.1 Pro・3.8 Flash に3回ずつチェックさせました。わかりやすい落とし穴10個は4モデルとも全部発見。定義や但し書きに隠した10個では見落としが6件出て、3回とも全部見つけたのは Fable 5.1 だけ。フリーランス法の60日ルールは全員が指摘した一方、法律の条番号を取り違えた回答が24本中2本ありました。
- わかりやすい落とし穴(12回)
- 120 / 120
- 気づきにくい落とし穴(12回)
- 114 / 120
- 法律の条番号の取り違え
- 24本中2本
Claude Fable 5.1 徹底検証 ── 「考える量」を上げると、何が変わって何が変わらないのか
effort(考える量)は、単価を動かさずに1タスクの実費を数倍動かすつまみ。筆者本人(Fable 5.1)の effort を low から max まで5段階に変えて同じ11課題を解かせ、Fable 5・Opus 5 にも同じ5段階を回しました(165セル)。簡単な4課題は全段階満点で max だけトークン約3.5倍。難しい3課題(開閉区間の結合・難問クイズ・字数ぴったりの作文)でも、コーディングと数学は low で満点。さらに難しい4課題(論理パズル・上位の数学・11条件の作文・正規表現エンジン)で、数学の1問が15セル全部が正解に届かず、段階が上がるほど正解との差だけが縮みました。Gemini 3.8 Flash の3段階、Artificial Analysis の7モデル段階別データ、第三者の実測11本も収録。
- 価格(Fable 5 と同じ)
- $10 / $50
- 本人の5段階×11課題(55セル)
- 満点でないのは 8
- low → max のトークン(簡単 / 難問 / さらに難問)
- 3.5倍 / 6.8倍 / 7.4倍
Claude Fable 5 徹底検証 ── 本人と弟分3モデルに、同じ問題を解かせてみた
Opus の上に新設された「Mythos クラス」の一般向けモデルを検証(2026年9月1日に後継の Fable 5.1 が公開)。仕様46件は別のAIが出典と1件ずつ突合し、実測は Fable 5・Opus 5・Sonnet 5・Haiku 4.5 に同じ4課題を解かせてプログラムで機械採点しました。結果は Fable 5 が満点、でも10分の1の価格の Haiku 4.5 もほぼ満点。「差がつかなかった」という都合の悪い数字もそのまま載せています。
- 価格(当時の主力 Opus 5 の2倍)
- $10 / $50
- 実測(3課題20点満点)
- 20点
- 出典と突合した公式情報
- 46件
話すだけで、書ける ── AI音声入力「Typeless」は、デスクワークの前提を変えるか
公式が掲げる「タイピングの4倍速」を、査読論文の実測値と並べて検証しました。話し言葉から捨てられる文字が何割あるのかを、同じ整形を自分で実装して計測(−32.2%)。競合9本の価格は各公式ページで個別に確認。さらに編集部が使い続けて効いた点――小声で通ること、AIへの指示の情報量が増えて出力の質が上がること、メール返信の手順まで書いています。
- 公式の主張 / 論文の実測
- 220 / 152.86 wpm
- 話し言葉から削れた文字
- −32.2%
- 無料枠
- 週 8,000 語
Opus 5 は何を作れるのか ── Xの作例と口コミを集めて、同じことを自分でもやってみた
X で伸びた「Opus 5 に作らせた物」の投稿を実在確認して整理し、同じことを自分でも試しました(2026年7月の記録。後継の Opus 5.5 は9月22日に公開)。外部ライブラリなしの HTML 1枚で、ブラウザの中で学習するニューラルネットの実験室を作って公開。作る途中で直した4箇所と、そのデモで測った数字も載せています。
- 作らせた HTML
- 1ファイル 50KB
- 外部への通信
- 0
- 実在確認した投稿
- 25件
Claude Opus 5 徹底検証 ── この記事は Opus 5 が自分について書いています
2026年7月の Opus 5 公開時の検証です(9月22日に後継の Opus 5.5 が公開され、Opus 5 は旧世代に)。価格は据え置きで、直さないと動かなくなる箇所は2つだけ。ただしプロンプトは「足す」のではなく「削る」方向で書き直す必要があります。公式仕様の整理に加えて、本人に同じお題を2回解かせて冗長さを実測しました。
- Opus 5 の価格
- $5 / $25
- 要修正の変更
- 2件
- 実測した冗長さの削減
- -74.9%
よくある質問
- Q.ai-garage LABS はどんな記事ですか?
- A.1 つのテーマについて、公式が公表している仕様と、編集部が実際に手を動かして計った数字を、分けて並べる検証記事です。料金シミュレータやプロンプト診断のように、読みながらその場で試せるツールも記事の中に入れています。
- Q.ふつうのニュース記事と何が違いますか?
- A.公式の数字をそのまま載せるのではなく、同じ条件で実際に走らせて確かめる点です。AI の出力は読みやすく直すと「実際の出力」ではなくなるので、加工せずそのまま置きます。条件が揃わず確かめられなかった項目も、その理由ごと書き残します。
- Q.どのくらいの頻度で公開されますか?
- A.決まった曜日はなく不定期です。現在7本を公開していて、最新は2026年9月26日の「Opus 5.5 × Gemini 3.8 Flash TTS で、解説動画を丸ごと作ってみた」です。次の号は準備中です。
- Q.これまでにどんなテーマを検証しましたか?
- A.「Opus 5.5 × Gemini 3.8 Flash TTS で、解説動画を丸ごと作ってみた」(話題の組み合わせを実際に回して、声の読み間違い・速さ・料金を測った)、「AIに契約書をチェックさせたら、どこまで見抜けるか」(落とし穴を20個仕込んだ契約書で、Claude と Gemini を採点した)、「Claude Fable 5.1 徹底検証」(「考える量」を上げると、何が変わって何が変わらないのか)、「Claude Fable 5 徹底検証」(本人と弟分3モデルに、同じ問題を解かせてみた)、「話すだけで、書ける」(AI音声入力「Typeless」は、デスクワークの前提を変えるか)、「Opus 5 は何を作れるのか」(Xの作例と口コミを集めて、同じことを自分でもやってみた)、「Claude Opus 5 徹底検証」(この記事は Opus 5 が自分について書いています)の7本です。
次の号は準備中です。取り上げてほしいモデルや、確かめてほしいことがあれば @tenbin_maru まで。