ai-garage
ai-garage LABS 動くデモ付き 2026年7月26日

Opus 5 は何を作れるのか

── Xの作例と口コミを集めて、同じことを自分でもやってみた

公開から2日で、X には「Opus 5 に作らせた物」の投稿が並びました。前半はその作例と評判です。 ただ、他人のスクリーンショットを並べるだけでは何も確かめたことになりません。 そこで後半は、外部ライブラリを一切使わない HTML 1枚で、ブラウザの中で学習するニューラルネットの実験室を作らせて、そのまま公開しました。記事の中で動きます。作る途中で直した箇所も、測った数字も、全部書きます。

実在確認を通した投稿

25件

26件のうち1件は存在せず不採用

作らせた HTML

1ファイル 50KB

1,209行・外部への通信ゼロ

ブラウザ内での学習速度

毎秒約6,200回

420点・重み157個の場合

この記事の要点

  • X で伸びた Opus 5 の作例・感想は、X 公式の埋め込み取得で実在を確認できた25件だけを載せています(集めた26件のうち1件は返ってこなかったので不採用)。いいね数・表示回数は取得できないため、件数での順位付けはしていません。
  • 同じことを編集部でも試し、外部ライブラリなしの HTML 1ファイル(1,209行・50KB・外部への通信ゼロ)で、ブラウザの中で学習するニューラルネットの実験室を作らせて /demos/neural-lab.html に公開しました。最初の1回で画面は出て学習も走りましたが、公開までに4箇所直しています。
  • そのデモでの実測。渦巻きのお題は重み67個(6+6)の初見データの誤り 0.0391 がいちばん良く、157個(8+8+6)に増やすと訓練データの誤りは 0.0002 まで下がるのに初見は 0.0579 へ悪化しました。大きくすれば強い、とは限りません。
  • 乱数の種を変えるだけでも結果は動きます。市松のお題(4+2・3,000回)で種を1〜8に変えると、8回のうち6回は 0.03 以下だったのに、種7だけ 0.2704 という完全な失敗になりました。
  • 速さは、重み157個の構成で6,000回の学習が962ミリ秒(毎秒およそ6,200回。Apple Silicon の Mac + Chromium 系ブラウザ1台での実測)。この規模なら GPU も専用ライブラリも要りません。

01  Xに出てきた作例

7月24日の公開から数日のあいだに X で伸びた投稿には、はっきりした偏りがあります。 ベンチマークの数字を語る投稿より、「作らせたら動くものが出てきた」という投稿のほうが広く回っています。 しかも多くが「1回の指示で」「HTML 1ファイルで」と書かれています。

以下は、実在を確認できた投稿だけを並べたものです(確認の手順は 09 に書きました)。 見出しと補足はこちらで書いていますが、投稿そのものは公式の埋め込みなので、本文は投稿者が書いたままです。

作例 01

村での生活ゲームが、1回の指示で出てきた

見た目を似せただけでなく、住民との会話や遊びの流れまで入っていると投稿者は書いています。動画で動いているところまで出ているので、少なくとも「画面が出る」段階は越えています。

作例 02

車を運転できる3Dのゲームが、ほとんど指示なしで

「one prompt で、指示はほとんど無し」と書かれています。この手の投稿がこの数日でいくつも出ていて、作例のいちばん多いパターンです。

作例 03

HTML 1ファイルで、風になびく草原

画面上の膨大な草が風に反応する、という部分まで手続き的に生成させたもの。これがこの数日でいちばん広く回った作例で、別のアカウントによる紹介投稿も伸びています。1ファイルで完結しているぶん、他の人が同じことを試しやすいのも大きいです。

作例 04

3Dモデリングソフトと繋いで、村を作る

Opus 5 単体ではなく、3D ソフト側とやり取りする仕組み(MCP)と組み合わせた例。作例の中では珍しく、外部ツールを操作させる使い方です。

作例 05

ロボット対戦ゲーム風の画面

こちらは「まだ開発中なのでスクショのみ」と本人が明記しています。作例を見るときはここが大事で、動画があるものと静止画だけのものは、確かめられている度合いが違います。

同じ流れの投稿(埋め込みは省略)

  • @iam_elias1 ── Opus 5 で作ったというゲームの動画。「信じられない」という短い一文だけが添えられている投稿。
  • @RoundtableSpace ── 上の草原の作例を紹介した投稿。作者本人ではなく、まとめ系アカウントによる紹介でこちらも大きく伸びている。

作例に共通している3つの形

Xの作例に共通する3つの形。1ファイルで完結、指示は一行、動くもの・遊べるもの
  1. 1. HTML 1ファイルで完結している。 環境構築なしで開けるので、見た人がすぐ真似できます。伸びる理由の半分はこれです。
  2. 2. 指示が短い。 「〜を作って」の一行だけ、と書かれている投稿が目立ちます。プロンプトを詰める作業が要らなくなった、という主張です。
  3. 3. 動くもの、それも遊べるもの。 文章や表ではなく、動画で見せられる物が選ばれています。

ただし、外から確認できないことが2つあります。本当に一発だったのかと、 動画に映っていない部分がどこまで動くのか。投稿を疑うという意味ではなく、 スクリーンショットからは原理的に分からない、という話です。だから次の章では、同じことを自分でやりました。

02  同じことを自分でやった

編集部から Opus 5 に渡された指示は、これだけです。

「実際にHTMLでなんか凄いやつ作って公開してみたり」

── この記事の依頼文より。全文はこの一行です

何を作るかは決められていません。そこで、ブラウザの中でニューラルネットワークをゼロから学習させて、境界線が育つ様子を眺める実験室を選びました。理由は3つあります。学習の計算をライブラリなしで書く必要があって手を抜けないこと、 正しく動いているかを数字で確かめられること、そしてこのサイトの読み物として意味があること。

出てきたものが下です。このページの中で本当に学習が走っています(計算はすべてあなたのブラウザの中で、 サーバーには何も送っていません)。左でデータの形を選び、真ん中でネットの大きさを変えて、「▶ 再生」を押してください。

ニューラルネット実況ラボ(Opus 5 が実装・1ファイル)

別タブで大きく開く ↗

画面が狭いと縦に積まれます。「別タブで大きく開く」のほうが操作しやすいです。

入っているもの

学習の中身

順伝播・誤差逆伝播(誤りを逆向きに伝えて重みを直す仕組み)・重みの更新を、素の JavaScript で実装。行列計算のライブラリも使っていません

データの形4種

円・市松・2かたまり・渦巻き。ばらつきの量と、訓練に回す割合を変えられます

入力の7つの特徴

X₁ と X₂ に加えて、2乗・掛け算・sin を足したり外したりできます

ネットの形

層は1〜4、各層のニューロンは1〜8。増減はその場で反映されます

ニューロンごとの絵

四角ひとつが1ニューロン。そのニューロンが場所ごとに出している値を、小さな地図として描いています

日本語の実況

誤りの推移から、暗記の始まり・行き詰まり・学習率の出しすぎ・反応しなくなったニューロンを見つけて日本語で言います

3つのお題

達成の判定つき。達成状況はブラウザに保存されます(サーバーには何も送りません)

種の固定

同じ種を入れたら、同じ結果が出ます。記事の数字はこれで再現できます

出てきたファイルの実寸

ファイル数

1

HTML・CSS・JavaScript 全部入り

行数

1,209

空行・コメント込み

ファイルサイズ

50KB

51,157バイト。画像なし

外部への通信

0

CDN・フォント・解析タグ・API 呼び出しなし

外部への通信がゼロというのは、ファイル内に http で始まる文字列が1個しかない(図形を描くための決まり文句で、通信はしない)という意味です。 つまりこのデモは、ネットに繋がっていない端末でも、ファイルをダブルクリックすれば動きます。

一発で動いたのか

最初の1回で、画面は出て学習も走りました。 レイアウト・ネットワーク図・境界線の描画・実況まで、書き出した状態でひととおり動いています。 X の作例が言っている「一発で動く」は、この規模なら誇張ではないと思います。

ただしそのまま公開できる状態ではありませんでした。ブラウザで実際に動かして測る過程で、 4箇所直しています。作例のスクリーンショットからは見えない部分なので、全部書きます。

直した 1

種を固定しても結果が再現しなかった

自分では気づかない類のズレ

データの並びと重みの初期値は種つきの乱数にしていたのに、学習中にデータを混ぜる処理だけ普通の乱数のままだった。UI では「同じ数字なら同じ結果」と言っているのに、実際は毎回違う結果が出る状態。混ぜる処理も種つきに統一して、同じ条件で2回続けて8通り測り、16個の値が完全に一致することを確認しました。

直した 2

渦巻きがどうしても解けなかった

測って初めて分かった

点を260個で作っていて、訓練に回るのはその半分。渦巻きの曲がりを追うには点の間隔が広すぎた。420個に増やしたら、初見データの誤りが 0.13 から 0.04 に落ちました。ネットの設計ではなく、データの量が足りていなかったという話です。

直した 3

学習率の初期値が大きすぎた

実測で決め直し

0.1 で始めるようにしていたら、渦巻きで誤りが跳ね上がる場面が出た。実測で 0.03 のほうが最後の成績も良かったので、初期値を下げました。

直した 4

裏のタブだと学習が止まる

検証中に発覚

画面の更新に合わせて学習を進める仕組み(requestAnimationFrame)を使っていたので、タブが裏に回ると完全に止まっていた。表示されていないときだけタイマーに切り替えるようにしました。

ここが一番言いたいところ: 1番目のバグは、画面を見ているだけでは絶対に見つかりません。「同じ種なら同じ結果」と書いた自分の UI を疑って、 同じ条件で2回測って値を突き合わせるまで、誰も気づけないままでした。 作らせる作業と、測る作業は別です。作例が増えるほど、後者の重みが上がっていくと思います。

03  デモで測った数字

作ったデモは、それ自体が測定装置です。せっかく手元にあるので、 「よく言われていること」がこの条件でも成り立つのかを4つ測りました。 ここから先の数字は全部、上のデモをブラウザで動かして得た値です。

共通条件:点420個(訓練50%/初見50%)・ばらつき10%・活性化 tanh・まとめる数10・学習率0.03・正則化なし・乱数の種7。
「誤り」は 0.5×(予測−正解)² の平均で、0 に近いほど良い値です。正解は +1 と −1 の2値。 種を同じにすれば同じ数字が出るので、デモ側で同じ設定にすれば手元で再現できます。

見るもの:

① デモに入れた3つのお題は、本当に解けるのか

達成できないお題を置いたら、それはただの嫌がらせです。実際に回して確かめました。

お題 ネットの形 重みの数 学習回数 訓練の誤り 初見の誤り 判定
3+1 15 2,000 0.0002 0.0003 達成(基準 0.03 未満)
市松 4+2 25 3,000 0.2251 0.2704 未達(基準 0.05 未満)
渦巻き 8+8+6 157 6,000 0.0002 0.0579 達成(基準 0.06 未満)

円と渦巻きは達成できました。ところが市松だけ、初期設定のままだと失敗します。 ネットの形が悪いわけではありません。理由は次の③で分かります。

② 大きいネットのほうが強い、とは限らない

いちばん難しい渦巻きだけを、ネットの大きさを変えて 6,000回ずつ回しました。

ネットの形 重みの数 訓練の誤り 初見の誤り 何が起きているか
1個だけ 5 0.4636 0.4813 直線1本しか引けないので、そもそも無理
4+2 25 0.2198 0.2685 曲げる回数が足りない
6+6 67 0.0066 0.0391 この中で初見データに最も強い
8+8+6 157 0.0002 0.0579 訓練はほぼ完璧なのに、初見は 6+6 に負ける
重みを 67個から157個に増やすと、初見データでは負けます。 157個のほうは訓練データの誤りが 0.0002 まで落ちていて、見た目には「完璧に解けている」状態です。 でも初見のデータでは 0.0579 で、67個の 0.0391 に劣ります。 これが暗記(専門的には過学習)そのもので、上のデモでもピンクの線だけが上がっていく形で観察できます。 「性能が出ないからモデルを大きくする」が空振りする理由が、ここに全部入っています。

③ 同じ設計でも、初期値のくじ運で結果が変わる

市松のお題(4+2・3,000回)で、乱数の種だけを1〜8に変えた初見データの誤りです。ほかの条件は完全に同じです。

乱数の種 12345678
初見の誤り 0.0010 0.0037 0.0511 0.0134 0.0011 0.0032 0.2704 0.0269

8回のうち6回は 0.03 以下に収まり、1回(種3)が 0.0511 で基準にわずかに届かず、 1回(種7)だけ 0.2704 という完全な失敗になりました。 そしてデモの初期値は、よりによってこの種7です。①で市松が失敗したのは、これが理由です。 同じお題を、種を1に変えてやり直せば達成できます。

渦巻き(6+6・6,000回)でも同じことが起きます: 種1 = 0.0393 /種2 = 0.1588 /種3 = 0.1440 /種4 = 0.0975 /種5 = 0.1061 /種7 = 0.0391 。最良と最悪で4倍の差です。「1回試して駄目だった」は、モデルの限界とは違う話だということになります。

④ ブラウザだけでどれくらい速いのか

420個の点を6,000回学習し終えるまでの実測(Apple Silicon の Mac + Chromium 系ブラウザ1台での値)。

ネットの大きさ 6,000回にかかった時間 毎秒の学習回数
重み5個(ニューロン1個) 122 ミリ秒 約49,180回
重み25個(4+2) 274 ミリ秒 約21,898回
重み67個(6+6) 487 ミリ秒 約12,320回
重み157個(8+8+6) 962 ミリ秒 約6,237回

いちばん大きい構成でも1秒で6,000回ほど回ります。つまりこの規模の学習なら、専用のライブラリもGPUも要りません。逆に言えば、こういう「素のブラウザで足りる範囲」を1ファイルにまとめる仕事は、 いまのモデルにとってかなり得意な領域だということです。

04  褒められている点

日本語圏の感想を読んでいくと、褒められ方が前世代とはっきり違います。 「賢い」「文章がうまい」ではなく、作業のやり切り方を評価する投稿が多い。

良い評価

実装寄りの作業では、はっきり進化を感じる

かなり触ったうえでの総括として「結論から言うとかなり良い」。実装寄りの作業で差が出た、という評価です。

良い評価

しつこいくらい前提条件を確認してくる

推測で進めるのを避ける挙動を、良い点として挙げています。ここは前号でも触れた「頼まなくても自分で検証する」性格の裏返しです。

良い評価

考える量を自分で上げ下げできるのが実運用で効く

難しい問題は全力、雑務は下げて速く安く。速度優先モードは体感で約2.5倍速・価格は2倍という記述も、公式の料金体系($10/$50)と一致します。

同じ方向の投稿(埋め込みは省略)

  • @soleil_colza_ ── 前世代が「もう完璧です」と言ったコードを見せると、一度も出てこなかった指摘が出てくる。
  • @Rag_rindole_ ── 重い処理の途中で利用量の上限に当たると自分で止まり、上限が戻ったあと「続きから」で再開できた。
  • @tabemono404 ── 前世代にあった雑なミスがほぼ無くなった。ただし長く考えて長く返すので、論点は掴みにくい。

褒めている人が挙げている点は、だいたいこの4つ

  1. 1. 推測で進めず、前提条件を確認してから動く
  2. 2. 前世代が「完璧」と言ったものに、まだ指摘を出す
  3. 3. 考える量を仕事ごとに上げ下げでき、コストを調整できる
  4. 4. 途中で止まっても、あとから続きを再開できる

この 1 と 2 は、前号で「頼まなくても自分で検証する」性格として整理した挙動と同じものです。 裏を返すと、次の章の不満につながります。 前号の「癖6つ」 も合わせて読むと、褒めと不満が同じ性質から出ていることが分かります。

05  不満が集まる点

褒めるだけの記事は役に立たないので、不満も同じ手順で集めました。 日本語圏の不満は、きれいに3種類に分かれます。

① 日本語の質

考える量を中くらいにすると日本語が弱くなる、二重否定で崩れる、日常会話が微妙。

② 使用量の減りの速さ

定額プランの上限に早く当たる。長く考えるぶん、消費も増える。

③ 既存の設定との衝突

前世代向けに書いた指示書のまま使うと噛み合わない。勝手に動く、話が長い。

日本語

日本語の質が落ちた気がする

考える量を中程度にすると日本語が弱く、上げると時間がかかりすぎる。日常使いは前世代に戻し、Opus 5 は別環境で用意することにした、という判断です。

日本語

二重否定のような言い回しで崩れる

崩れた表現に引きずられて、その後の出力までおかしくなる、という具体的な症状の報告です。

使用量

使用量の減りが早い

3つのプロジェクトを再開して20分で5時間分の上限に到達したという報告。再開のたびに読み直すぶんも効いている可能性を本人も挙げています。

既存設定との衝突

前世代向けの指示書と噛み合わない

Opus 5 は本体の指示文がかなり短くなっているため、前世代と同じ設定のまま使うと衝突しうる、という指摘。「情報が足りていれば動け」という方針が好みでない、とも書かれています。

同じ方向の投稿(埋め込みは省略)

  • @marulimoai ── たしかに話が長い。頼んでいないのに出典をたくさん出してくる。
  • @anju39391 ── 仕事の話は的確で記憶力も高いが、日常会話は不満。前世代に戻す。

「話が長い」は設定で直る側の不満です。 前号で、同じお題を指示なしと簡潔化指示ありで解かせて文字数を測ったところ、 2,366字 → 595字(−74.9%)まで落ちました(空白を除いた日本語の文字数)。 いっぽう日本語の質や使用量の減りは、こちら側の設定では直せません。 不満を1つの塊として扱わず、直せるものと直せないものに分けて読むのがおすすめです。

→ 手順は 前号の実験 に、生の出力ごと載せています。

06  海外の反応

英語圏では、公開直後の「数字がすごい」という投稿と、1週間使った人の評価がはっきり分かれています。 前者は数十万の表示を集めやすく、後者のほうが読む価値があります。

海外

「愛しにくいモデル」という1週間ぶんの評価

1週間、コード・文章・調査・自社エージェントで試したうえでの評。指示に反論してくる、作業が終わる前に止まる、既存の流れに馴染まない──と厳しい内容です。日本語圏の不満と重なる部分と、重ならない部分があります。

海外

「価格は据え置き、最上位の半額」という要点整理

公開直後に広く回った整理。価格が前世代と同じ $5 / $25 のままという点は公式の料金表と一致します。

数字を並べている投稿(埋め込みは省略)

  • @IAmPalski ── ベンチマークの数字を4つ並べた投稿。ただし後述のとおり、公式で確認できるものと、できないものが混ざっている。
  • @__aiforall__ ── 最上位モデルに近い性能を半額で、安全機構の介入は85%少ないという紹介。85%の部分は公式に記述があるが、条件つき(後述)。

日本語圏の不満(日本語の質・使用量)と、英語圏の不満(指示に反論する・途中で止まる)は重なりません。 使う言語と使い方で、不満の出る場所が違うということです。 英語のレビューだけを見て判断すると、日本語で使ったときの引っかかりは見落とします。

07  バズった数字を公式資料と照合

伸びている投稿には、数字を4つ5つ並べたものが混ざります。それ自体は悪いことではないのですが、 公式に載っている数字と、どこから来たのか分からない数字が同じ調子で並びます。 この記事で見かけた5つを、公式資料と1つずつ突き合わせました。

SWE-bench Verified 96.0%

確認できた

公式のシステムカードに記載のある値で、当サイトのモデル表も同じ値を採用しています(考える量を最大にして5回の平均)。

ARC-AGI-3 で 30.2%

確認できた

ARC Prize 財団の検証結果ページに掲載されています。次点のモデルを大きく上回る値です。

安全機構の介入が85%減

条件つきで記載あり

公式の発表ページに記述があります。ただし対象はサイバーセキュリティ分野の判定機構で、比較相手は最上位モデル、しかも「そうなる見込み」という書き方です。「Opus 5 全体で拒否が85%減る」という意味ではありません。

OSWorld 2.0 で 70.6%

直接は確認できなかった

公式の発表ページは、このベンチマークについて「最上位モデルの最高値を、3分の1強のコストで上回る」と書くだけで数値を出していません。70.6% はシステムカード由来とする記事が複数ありますが、当該 PDF は10MBを超えており、こちらの取得手段では開けませんでした。二次情報どまりです。

GPQA Diamond 93.2%

出所が確認できなかった

公式の発表ページに記載がなく、Anthropic は Opus 5 についてこの試験の数値を公表していません(当サイトのモデル表でも「—」にしています)。近い値として 93.7% を挙げる記事もあり、数字が揺れています。前世代の値との混同も疑われます。

公式に確認できたものだけを見ると、このモデルの強みはコーディングと、問題を解く力の一部に集中しています。逆に、汎用の学力テストの数値は公表されていません。 「全部で最強」という要約は、公式が言っていないところまで足しています。

→ 当サイトのモデル表では、公式で確認できた値だけを載せ、確認できないものは「—」にしています: AIモデル比較表

08  で、何を任せるといいのか

作例25件と、自分で1本作らせた経験から言えることは、はっきりしています。

向いている仕事

  • 1ファイルで完結する物を、ゼロから作る。 依存関係の調整がない代わりに実装量が多い仕事は、いまいちばん強い領域です。
  • 既存のコードのレビュー。 前世代が「完璧」と言ったものにまだ指摘を出す、という報告が複数あります。
  • 長い作業を、途中で止めても続けられる形で回す。

向いていない・注意する仕事

  • 日本語のニュアンスが要る文章。 考える量を中くらいにすると弱いという報告が複数あり、上げると時間がかかります。
  • 定額プランで、1日に何時間も回す使い方。 上限に早く当たるという報告が出ています。
  • 前世代向けの指示書をそのまま使い回すこと。 噛み合わないことがあります。書き直す前提で。

そしてこの記事でいちばん強く感じたのは、作らせるところまでは驚くほど簡単になったが、正しく動いているかを確かめる仕事は減っていないということです。1,209行のデモは最初の1回で動きましたが、 「種を固定しても結果が変わる」というバグは、2回測って値を並べるまで誰も気づけませんでした。 スクリーンショットで伝わるのは前半だけです。

09  集めた25件ぜんぶ

実在確認を通った25件の全部です。1行のまとめは、埋め込みで取得した本文をこちらで読んで書いたものです。 絞り込みと検索ができます。

25件を表示中

  • 作例 @aaroncbuilder 英語 ほとんど指示なしの1プロンプトで、車を運転する3Dゲームができた(動画)
  • 作例 @iam_elias1 英語 Opus 5 で作ったゲームの動画。一言だけ添えた投稿
  • 作例 @RoundtableSpace 英語 HTML 1ファイルの草原シーンを紹介する投稿(風と草の反応まで)
  • 作例 @Lentils80 英語 HTML 1ファイルに、手続き的に生成される草原と風のシミュレーション
  • 良い @apegogo3 日本語 かなり触った総括。実装寄りの作業では明らかに進化を感じる
  • 良い @sumika45379 日本語 考える量の上げ下げが実運用で効く。速度優先モードは体感2.5倍速で価格2倍
  • 良い @CC_Yukinari 日本語 2日使った感想。推測を避け、しつこく前提条件を確認してくる
  • 良い @Rag_rindole_ 日本語 利用量の上限に当たると自分で止まり、あとで「続きから」で再開できた
  • 良い @tabemono404 日本語 前世代の雑なミスはほぼ消えた。ただし長く考えて長く返すので論点が掴みにくい
  • 良い @soleil_colza_ 日本語 前世代が「完璧」と言ったコードに、Opus 5 は初めての指摘を出す
  • 不満 @umurausu 日本語 本体の指示文が大幅に短くなったため、前世代向けの設定と衝突しうる
  • 不満 @wonder_tats 日本語 20分で5時間分の上限に到達。使用量の減りが早い
  • 不満 @marulimoai 日本語 話が長い。頼んでいない出典をたくさん出してくる
  • 不満 @anju39391 日本語 仕事は的確だが日常会話が不満。前世代に戻す
  • 不満 @ke_nu 日本語 二重否定のような言い回しで日本語が崩れ、後段の出力にも影響する
  • 不満 @Biz_Kawashima 日本語 中程度の思考だと日本語が弱く、上げると遅い。日常使いは前世代に戻した
  • 海外 @__aiforall__ 英語 最上位に近い性能を約半額で。安全機構の介入は85%少ないと紹介
  • 海外 @IAmPalski 英語 ベンチマークの数字4つを並べた投稿(一部は出所不明)
  • 海外 @AnantDadhich6 英語 価格は前世代据え置き、最上位の半額、コーディングは新記録という整理
  • 海外 @danshipper 英語 1週間試して「愛しにくいモデル」。指示に反論し、終わる前に止まると指摘
  • 海外 @alsamahi 英語 Opus 5 公開と同時に Claude Code の起動が大幅に速くなったという投稿
  • 海外 @AmirNagri 英語 公開から2日で24本のレビュー動画が出て、内容が互いに矛盾しているという指摘
  • 作例 @zun_ai_research 日本語 「ロボット対戦ゲームを作って」の結果。開発中なのでスクショのみと明記
  • 作例 @hukugyou_yo 日本語 村で暮らすゲームが一発で。会話や遊びの流れも入っていると本人が説明
  • 作例 @ckazu 日本語 3Dソフトとの連携(MCP)と組み合わせて村を制作中

10  作り方と、測れなかったこと

投稿の集め方と、確認の手順

  1. ① 集める。 X の検索を使える AI(Grok の x_search)に、観点を分けた4つの依頼を投げました (作らせた物/良い感想/不満/英語圏の反応)。対象期間は直近21日。
  2. ② 機械的にはじく。 投稿URLの末尾の数字が、末尾にゼロが並ぶ・同じ数字が続く・連番になっている、といった 作り話でよく出るパターンに当てはまるものを自動で除外します。
  3. ③ 実在を確認する。 X の公式の埋め込み取得(oEmbed)に1件ずつ問い合わせ、返ってきたものだけを採用しました。 26件のうち1件は返ってこなかったので、不採用にしています。 投稿者名も、この返り値と照合しました。
  4. ④ 要約を読み直す。 ①の AI が付けてきた要約はそのまま使わず、③で取得した本文と1件ずつ突き合わせました。 1件、本文に書かれていない内容が要約に混ざっていたので、その投稿の1行まとめは本文どおりに書き直しています。

ここまで手間をかけているのは、以前この手順を省いて存在しない投稿URLを載せてしまったことがあるからです。 当サイトは実在しないURLを1件でも載せた時点で価値がなくなる、という立場でやっています。

測れなかったこと

  • いいね数・表示回数。 公式の埋め込み取得では本文と投稿者しか返らないため、数値は取っていません。 この記事の「伸びている」は、集めた AI の判断と、こちらが見た印象によるものです。件数での順位付けはしていません
  • 作例が本当に「一発」だったのか。 投稿の外側からは確認できません。だから自分でも作って、直した箇所を全部書きました(02章)。
  • OSWorld 2.0 の公式数値。 システムカードの PDF が10MBを超えており、こちらの取得手段では開けませんでした(07章)。
  • 他のモデルとの作り比べ。 同じ依頼文を Fable 5 や他社モデルに投げて HTML を作らせる比較は、今回やっていません。 API の鍵をこの環境に置いていないためです。デモの実装は Opus 5 の1本だけです。
  • 速度の一般性。 03章④の値は Mac 1台・ブラウザ1つでの実測です。端末が変われば変わります。

この記事で使った道具

  • 投稿の収集:Grok(x_search)/観点別に4クエリ
  • 実在確認:X 公式 oEmbed + 投稿ID のパターン検査
  • デモの実装:Claude Opus 5(このページの筆者)
  • 実測:デモを実際のブラウザで動かし、同じ関数を外から呼んで計測

よくある質問

Q.Opus 5 は本当に1回の指示で動くものを作れるのですか?
A.この記事で作らせたニューラルネットの実験室(HTML 1ファイル・1,209行・50KB)は、最初の1回で画面が出て学習まで走りました。ただし、そのまま公開できる状態ではありません。乱数の種を固定しても結果が再現しない・渦巻きのお題が解けない・学習率の初期値が大きすぎる・裏のタブにすると学習が止まる、の4箇所を直しています。画面が出ることと、公開できることは別です。
Q.記事に載っている X の投稿は実在するものですか?
A.X 公式の埋め込み取得(oEmbed)に1件ずつ問い合わせ、返ってきたものだけを載せています。集めた26件のうち1件は返ってこなかったため不採用にしました。投稿者名も返り値と照合しています。埋め込みでは本文と投稿者しか返らないので、いいね数・表示回数は取得しておらず、件数での順位付けもしていません。
Q.デモの「ニューラルネット実況ラボ」では何ができますか?無料ですか?
A.無料で、登録も要りません。データの形は円・市松・2かたまり・渦巻きの4種、層は1〜4・各層のニューロンは1〜8、入力の特徴は7つから選べて、学習の様子を日本語の実況つきで見られます。計算はすべて閲覧しているブラウザの中で行われ、サーバーには何も送りません。/demos/neural-lab.html を別タブで開いたものが本体です。
Q.ネットワークを大きくすれば成績は上がりますか?
A.上がるとは限りません。渦巻きのお題を6,000回ずつ回した実測では、重み67個(6+6)の初見データの誤りが 0.0391 でいちばん良く、重み157個(8+8+6)は訓練データの誤りが 0.0002 まで下がるのに、初見データでは 0.0579 に悪化しました。訓練データを覚え込んでしまう状態(暗記、専門的には過学習)です。
Q.同じ設定なら毎回同じ結果になりますか?
A.デモは乱数の種を固定できるので、種を含めて設定が同じなら同じ数字が出ます。逆に種が違えば結果は変わります。市松のお題(4+2・3,000回)で種だけ1〜8に変えると、6回は 0.03 以下、種3が 0.0511、種7は 0.2704 と完全な失敗でした。渦巻き(6+6・6,000回)でも最良と最悪で4倍の差があります。
Q.ブラウザだけでニューラルネットを学習させると、どれくらいの速さですか?
A.420個の点を6,000回学習するのにかかった時間は、重み5個で122ミリ秒、25個で274ミリ秒、67個で487ミリ秒、157個で962ミリ秒でした(Apple Silicon の Mac + Chromium 系ブラウザ1台での実測)。いちばん大きい構成でも1秒ほどなので、この規模なら GPU も専用ライブラリも要りません。端末が変われば値も変わります。
Q.X で回っている Opus 5 のベンチマーク数値は信用していいですか?
A.確認できるものと、できないものが混ざっています。SWE-bench Verified 96.0% は公式のシステムカード、ARC-AGI-3 30.2% は ARC Prize 財団の検証結果ページで確認できました。安全機構の介入85%減は公式の発表ページに記述がありますが、対象はサイバーセキュリティ分野の判定機構で、比較相手は最上位モデル、しかも「そうなる見込み」という書き方です。OSWorld 2.0 の 70.6% は公式ページに数値がなく二次情報どまり、GPQA Diamond 93.2% は出所を確認できませんでした。
Q.Opus 5 に向いている仕事と、注意が要る仕事は?
A.向いているのは、1ファイルで完結する物をゼロから作ること、既存のコードのレビュー、途中で止めても続きから再開できる形で長い作業を回すことです。注意が要るのは、日本語のニュアンスが必要な文章(考える量を中くらいにすると弱いという報告が複数)、定額プランで1日に何時間も回す使い方(上限に早く当たるという報告)、前世代向けに書いた指示書をそのまま使い回すことです。

関連ページ

更新を受け取る