村での生活ゲームが、1回の指示で出てきた
見た目を似せただけでなく、住民との会話や遊びの流れまで入っていると投稿者は書いています。動画で動いているところまで出ているので、少なくとも「画面が出る」段階は越えています。
── Xの作例と口コミを集めて、同じことを自分でもやってみた
公開から2日で、X には「Opus 5 に作らせた物」の投稿が並びました。前半はその作例と評判です。 ただ、他人のスクリーンショットを並べるだけでは何も確かめたことになりません。 そこで後半は、外部ライブラリを一切使わない HTML 1枚で、ブラウザの中で学習するニューラルネットの実験室を作らせて、そのまま公開しました。記事の中で動きます。作る途中で直した箇所も、測った数字も、全部書きます。
実在確認を通した投稿
25件
26件のうち1件は存在せず不採用
作らせた HTML
1ファイル 50KB
1,209行・外部への通信ゼロ
ブラウザ内での学習速度
毎秒約6,200回
420点・重み157個の場合
この記事の要点
7月24日の公開から数日のあいだに X で伸びた投稿には、はっきりした偏りがあります。 ベンチマークの数字を語る投稿より、「作らせたら動くものが出てきた」という投稿のほうが広く回っています。 しかも多くが「1回の指示で」「HTML 1ファイルで」と書かれています。
以下は、実在を確認できた投稿だけを並べたものです(確認の手順は 09 に書きました)。 見出しと補足はこちらで書いていますが、投稿そのものは公式の埋め込みなので、本文は投稿者が書いたままです。
見た目を似せただけでなく、住民との会話や遊びの流れまで入っていると投稿者は書いています。動画で動いているところまで出ているので、少なくとも「画面が出る」段階は越えています。
「one prompt で、指示はほとんど無し」と書かれています。この手の投稿がこの数日でいくつも出ていて、作例のいちばん多いパターンです。
画面上の膨大な草が風に反応する、という部分まで手続き的に生成させたもの。これがこの数日でいちばん広く回った作例で、別のアカウントによる紹介投稿も伸びています。1ファイルで完結しているぶん、他の人が同じことを試しやすいのも大きいです。
Opus 5 単体ではなく、3D ソフト側とやり取りする仕組み(MCP)と組み合わせた例。作例の中では珍しく、外部ツールを操作させる使い方です。
こちらは「まだ開発中なのでスクショのみ」と本人が明記しています。作例を見るときはここが大事で、動画があるものと静止画だけのものは、確かめられている度合いが違います。
同じ流れの投稿(埋め込みは省略)
ただし、外から確認できないことが2つあります。本当に一発だったのかと、 動画に映っていない部分がどこまで動くのか。投稿を疑うという意味ではなく、 スクリーンショットからは原理的に分からない、という話です。だから次の章では、同じことを自分でやりました。
編集部から Opus 5 に渡された指示は、これだけです。
「実際にHTMLでなんか凄いやつ作って公開してみたり」
何を作るかは決められていません。そこで、ブラウザの中でニューラルネットワークをゼロから学習させて、境界線が育つ様子を眺める実験室を選びました。理由は3つあります。学習の計算をライブラリなしで書く必要があって手を抜けないこと、 正しく動いているかを数字で確かめられること、そしてこのサイトの読み物として意味があること。
出てきたものが下です。このページの中で本当に学習が走っています(計算はすべてあなたのブラウザの中で、 サーバーには何も送っていません)。左でデータの形を選び、真ん中でネットの大きさを変えて、「▶ 再生」を押してください。
ニューラルネット実況ラボ(Opus 5 が実装・1ファイル)
別タブで大きく開く ↗画面が狭いと縦に積まれます。「別タブで大きく開く」のほうが操作しやすいです。
学習の中身
順伝播・誤差逆伝播(誤りを逆向きに伝えて重みを直す仕組み)・重みの更新を、素の JavaScript で実装。行列計算のライブラリも使っていません
データの形4種
円・市松・2かたまり・渦巻き。ばらつきの量と、訓練に回す割合を変えられます
入力の7つの特徴
X₁ と X₂ に加えて、2乗・掛け算・sin を足したり外したりできます
ネットの形
層は1〜4、各層のニューロンは1〜8。増減はその場で反映されます
ニューロンごとの絵
四角ひとつが1ニューロン。そのニューロンが場所ごとに出している値を、小さな地図として描いています
日本語の実況
誤りの推移から、暗記の始まり・行き詰まり・学習率の出しすぎ・反応しなくなったニューロンを見つけて日本語で言います
3つのお題
達成の判定つき。達成状況はブラウザに保存されます(サーバーには何も送りません)
種の固定
同じ種を入れたら、同じ結果が出ます。記事の数字はこれで再現できます
ファイル数
1
HTML・CSS・JavaScript 全部入り
行数
1,209
空行・コメント込み
ファイルサイズ
50KB
51,157バイト。画像なし
外部への通信
0
CDN・フォント・解析タグ・API 呼び出しなし
外部への通信がゼロというのは、ファイル内に http
で始まる文字列が1個しかない(図形を描くための決まり文句で、通信はしない)という意味です。
つまりこのデモは、ネットに繋がっていない端末でも、ファイルをダブルクリックすれば動きます。
最初の1回で、画面は出て学習も走りました。 レイアウト・ネットワーク図・境界線の描画・実況まで、書き出した状態でひととおり動いています。 X の作例が言っている「一発で動く」は、この規模なら誇張ではないと思います。
ただしそのまま公開できる状態ではありませんでした。ブラウザで実際に動かして測る過程で、 4箇所直しています。作例のスクリーンショットからは見えない部分なので、全部書きます。
データの並びと重みの初期値は種つきの乱数にしていたのに、学習中にデータを混ぜる処理だけ普通の乱数のままだった。UI では「同じ数字なら同じ結果」と言っているのに、実際は毎回違う結果が出る状態。混ぜる処理も種つきに統一して、同じ条件で2回続けて8通り測り、16個の値が完全に一致することを確認しました。
点を260個で作っていて、訓練に回るのはその半分。渦巻きの曲がりを追うには点の間隔が広すぎた。420個に増やしたら、初見データの誤りが 0.13 から 0.04 に落ちました。ネットの設計ではなく、データの量が足りていなかったという話です。
0.1 で始めるようにしていたら、渦巻きで誤りが跳ね上がる場面が出た。実測で 0.03 のほうが最後の成績も良かったので、初期値を下げました。
画面の更新に合わせて学習を進める仕組み(requestAnimationFrame)を使っていたので、タブが裏に回ると完全に止まっていた。表示されていないときだけタイマーに切り替えるようにしました。
ここが一番言いたいところ: 1番目のバグは、画面を見ているだけでは絶対に見つかりません。「同じ種なら同じ結果」と書いた自分の UI を疑って、 同じ条件で2回測って値を突き合わせるまで、誰も気づけないままでした。 作らせる作業と、測る作業は別です。作例が増えるほど、後者の重みが上がっていくと思います。
作ったデモは、それ自体が測定装置です。せっかく手元にあるので、 「よく言われていること」がこの条件でも成り立つのかを4つ測りました。 ここから先の数字は全部、上のデモをブラウザで動かして得た値です。
共通条件:点420個(訓練50%/初見50%)・ばらつき10%・活性化 tanh・まとめる数10・学習率0.03・正則化なし・乱数の種7。
「誤り」は 0.5×(予測−正解)² の平均で、0 に近いほど良い値です。正解は +1 と −1 の2値。
種を同じにすれば同じ数字が出るので、デモ側で同じ設定にすれば手元で再現できます。
達成できないお題を置いたら、それはただの嫌がらせです。実際に回して確かめました。
| お題 | ネットの形 | 重みの数 | 学習回数 | 訓練の誤り | 初見の誤り | 判定 |
|---|---|---|---|---|---|---|
| 円 | 3+1 | 15 | 2,000 | 0.0002 | 0.0003 | 達成(基準 0.03 未満) |
| 市松 | 4+2 | 25 | 3,000 | 0.2251 | 0.2704 | 未達(基準 0.05 未満) |
| 渦巻き | 8+8+6 | 157 | 6,000 | 0.0002 | 0.0579 | 達成(基準 0.06 未満) |
円と渦巻きは達成できました。ところが市松だけ、初期設定のままだと失敗します。 ネットの形が悪いわけではありません。理由は次の③で分かります。
いちばん難しい渦巻きだけを、ネットの大きさを変えて 6,000回ずつ回しました。
| ネットの形 | 重みの数 | 訓練の誤り | 初見の誤り | 何が起きているか |
|---|---|---|---|---|
| 1個だけ | 5 | 0.4636 | 0.4813 | 直線1本しか引けないので、そもそも無理 |
| 4+2 | 25 | 0.2198 | 0.2685 | 曲げる回数が足りない |
| 6+6 | 67 | 0.0066 | 0.0391 | この中で初見データに最も強い |
| 8+8+6 | 157 | 0.0002 | 0.0579 | 訓練はほぼ完璧なのに、初見は 6+6 に負ける |
市松のお題(4+2・3,000回)で、乱数の種だけを1〜8に変えた初見データの誤りです。ほかの条件は完全に同じです。
| 乱数の種 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| 初見の誤り | 0.0010 | 0.0037 | 0.0511 | 0.0134 | 0.0011 | 0.0032 | 0.2704 | 0.0269 |
8回のうち6回は 0.03 以下に収まり、1回(種3)が 0.0511 で基準にわずかに届かず、 1回(種7)だけ 0.2704 という完全な失敗になりました。 そしてデモの初期値は、よりによってこの種7です。①で市松が失敗したのは、これが理由です。 同じお題を、種を1に変えてやり直せば達成できます。
渦巻き(6+6・6,000回)でも同じことが起きます: 種1 = 0.0393 /種2 = 0.1588 /種3 = 0.1440 /種4 = 0.0975 /種5 = 0.1061 /種7 = 0.0391 。最良と最悪で4倍の差です。「1回試して駄目だった」は、モデルの限界とは違う話だということになります。
420個の点を6,000回学習し終えるまでの実測(Apple Silicon の Mac + Chromium 系ブラウザ1台での値)。
| ネットの大きさ | 6,000回にかかった時間 | 毎秒の学習回数 |
|---|---|---|
| 重み5個(ニューロン1個) | 122 ミリ秒 | 約49,180回 |
| 重み25個(4+2) | 274 ミリ秒 | 約21,898回 |
| 重み67個(6+6) | 487 ミリ秒 | 約12,320回 |
| 重み157個(8+8+6) | 962 ミリ秒 | 約6,237回 |
いちばん大きい構成でも1秒で6,000回ほど回ります。つまりこの規模の学習なら、専用のライブラリもGPUも要りません。逆に言えば、こういう「素のブラウザで足りる範囲」を1ファイルにまとめる仕事は、 いまのモデルにとってかなり得意な領域だということです。
日本語圏の感想を読んでいくと、褒められ方が前世代とはっきり違います。 「賢い」「文章がうまい」ではなく、作業のやり切り方を評価する投稿が多い。
かなり触ったうえでの総括として「結論から言うとかなり良い」。実装寄りの作業で差が出た、という評価です。
推測で進めるのを避ける挙動を、良い点として挙げています。ここは前号でも触れた「頼まなくても自分で検証する」性格の裏返しです。
難しい問題は全力、雑務は下げて速く安く。速度優先モードは体感で約2.5倍速・価格は2倍という記述も、公式の料金体系($10/$50)と一致します。
同じ方向の投稿(埋め込みは省略)
この 1 と 2 は、前号で「頼まなくても自分で検証する」性格として整理した挙動と同じものです。 裏を返すと、次の章の不満につながります。 前号の「癖6つ」 も合わせて読むと、褒めと不満が同じ性質から出ていることが分かります。
褒めるだけの記事は役に立たないので、不満も同じ手順で集めました。 日本語圏の不満は、きれいに3種類に分かれます。
① 日本語の質
考える量を中くらいにすると日本語が弱くなる、二重否定で崩れる、日常会話が微妙。
② 使用量の減りの速さ
定額プランの上限に早く当たる。長く考えるぶん、消費も増える。
③ 既存の設定との衝突
前世代向けに書いた指示書のまま使うと噛み合わない。勝手に動く、話が長い。
考える量を中程度にすると日本語が弱く、上げると時間がかかりすぎる。日常使いは前世代に戻し、Opus 5 は別環境で用意することにした、という判断です。
崩れた表現に引きずられて、その後の出力までおかしくなる、という具体的な症状の報告です。
3つのプロジェクトを再開して20分で5時間分の上限に到達したという報告。再開のたびに読み直すぶんも効いている可能性を本人も挙げています。
Opus 5 は本体の指示文がかなり短くなっているため、前世代と同じ設定のまま使うと衝突しうる、という指摘。「情報が足りていれば動け」という方針が好みでない、とも書かれています。
同じ方向の投稿(埋め込みは省略)
「話が長い」は設定で直る側の不満です。 前号で、同じお題を指示なしと簡潔化指示ありで解かせて文字数を測ったところ、 2,366字 → 595字(−74.9%)まで落ちました(空白を除いた日本語の文字数)。 いっぽう日本語の質や使用量の減りは、こちら側の設定では直せません。 不満を1つの塊として扱わず、直せるものと直せないものに分けて読むのがおすすめです。
→ 手順は 前号の実験 に、生の出力ごと載せています。
英語圏では、公開直後の「数字がすごい」という投稿と、1週間使った人の評価がはっきり分かれています。 前者は数十万の表示を集めやすく、後者のほうが読む価値があります。
1週間、コード・文章・調査・自社エージェントで試したうえでの評。指示に反論してくる、作業が終わる前に止まる、既存の流れに馴染まない──と厳しい内容です。日本語圏の不満と重なる部分と、重ならない部分があります。
公開直後に広く回った整理。価格が前世代と同じ $5 / $25 のままという点は公式の料金表と一致します。
数字を並べている投稿(埋め込みは省略)
日本語圏の不満(日本語の質・使用量)と、英語圏の不満(指示に反論する・途中で止まる)は重なりません。 使う言語と使い方で、不満の出る場所が違うということです。 英語のレビューだけを見て判断すると、日本語で使ったときの引っかかりは見落とします。
伸びている投稿には、数字を4つ5つ並べたものが混ざります。それ自体は悪いことではないのですが、 公式に載っている数字と、どこから来たのか分からない数字が同じ調子で並びます。 この記事で見かけた5つを、公式資料と1つずつ突き合わせました。
SWE-bench Verified 96.0%
確認できた公式のシステムカードに記載のある値で、当サイトのモデル表も同じ値を採用しています(考える量を最大にして5回の平均)。
ARC-AGI-3 で 30.2%
確認できたARC Prize 財団の検証結果ページに掲載されています。次点のモデルを大きく上回る値です。
安全機構の介入が85%減
条件つきで記載あり公式の発表ページに記述があります。ただし対象はサイバーセキュリティ分野の判定機構で、比較相手は最上位モデル、しかも「そうなる見込み」という書き方です。「Opus 5 全体で拒否が85%減る」という意味ではありません。
OSWorld 2.0 で 70.6%
直接は確認できなかった公式の発表ページは、このベンチマークについて「最上位モデルの最高値を、3分の1強のコストで上回る」と書くだけで数値を出していません。70.6% はシステムカード由来とする記事が複数ありますが、当該 PDF は10MBを超えており、こちらの取得手段では開けませんでした。二次情報どまりです。
GPQA Diamond 93.2%
出所が確認できなかった公式の発表ページに記載がなく、Anthropic は Opus 5 についてこの試験の数値を公表していません(当サイトのモデル表でも「—」にしています)。近い値として 93.7% を挙げる記事もあり、数字が揺れています。前世代の値との混同も疑われます。
公式に確認できたものだけを見ると、このモデルの強みはコーディングと、問題を解く力の一部に集中しています。逆に、汎用の学力テストの数値は公表されていません。 「全部で最強」という要約は、公式が言っていないところまで足しています。
→ 当サイトのモデル表では、公式で確認できた値だけを載せ、確認できないものは「—」にしています: AIモデル比較表
作例25件と、自分で1本作らせた経験から言えることは、はっきりしています。
向いている仕事
向いていない・注意する仕事
そしてこの記事でいちばん強く感じたのは、作らせるところまでは驚くほど簡単になったが、正しく動いているかを確かめる仕事は減っていないということです。1,209行のデモは最初の1回で動きましたが、 「種を固定しても結果が変わる」というバグは、2回測って値を並べるまで誰も気づけませんでした。 スクリーンショットで伝わるのは前半だけです。
実在確認を通った25件の全部です。1行のまとめは、埋め込みで取得した本文をこちらで読んで書いたものです。 絞り込みと検索ができます。
25件を表示中
ここまで手間をかけているのは、以前この手順を省いて存在しない投稿URLを載せてしまったことがあるからです。 当サイトは実在しないURLを1件でも載せた時点で価値がなくなる、という立場でやっています。
よくある質問
更新を受け取る