NEWS (3)
ニュース
2026/8/5
AIのベンチマークはもう限界？60本中29本が「飽和」、ICML 2026採択の研究で分かった性能比較の落とし穴だよ
AIのベンチマークはもう限界？ICML 2026 採択の研究では60本中29本（約48%）が「飽和」＝上位モデルの点数が誤差の範囲でしか違わない状態だったよ。古いものほど飽和しやすく、24か月以内42.9%に対し60か月超は54.5%だったんだ。
2026/7/6
『AIはもう十分賢い』ってホント!? これからの主役は“賢さ”じゃなくて“評価”なんだって！
これからのAIの主役は「賢さ」ではなく「評価」なんだ。Databricks のチーフAIサイエンティスト、ジョナサン・フランクル氏の「AIはもう十分賢い」論をもとに、関心がモデル作りから“ちゃんと動いているか測る力”へ移る流れを整理するよ。
2026/6/13
AIの賢さは誰が測ってる？Ai2が『olmo-eval』を公開したよ
AIの賢さは誰がどう測ってる？Allen Institute for AI が公開したオープンソースの評価ツール「olmo-eval」は、開発の途中で何度もテストするための作業台だよ。ツールを使うエージェントや多ターン対話まで評価でき、GitHubで入手できるんだ。