RSO-Fは、AIモデルが現実の出来事をどれほど正確に予測できるかを測る主要な独立ベンチマーク、ForecastBenchで力強いスタートを切りました。2026年9月22日の暫定データセット結果では、初回提出のスコアがOpenAI、Anthropic、xAI、FutureSearchそれぞれの最高スコアの登録を上回りました。
RSO-F-STとして登録したモデルは、8月30日提出分の7日先予測で結果が確定した241問について、データセットBrier指数64.9を記録しました。この比較では、RysoAIは65.0のGoogle DeepMindとGoogle Cloudに迫り、Torchcast AIは65.8となっています。
ForecastBench · 2026年9月22日
RSO-Fの初回の7日先予測の結果
データセットBrier指数 · 高いほど良い
モデル構成・スコア・問題数の詳細
各組織は、この記録で最高スコアを得た1件の登録で代表し、同点の構成も併記しています。これはモデルの結果であり、会社平均ではありません。Brier指数は正答率を表すものではありません。
| 順位 | モデル構成 | データセットBrier指数 | 95%信頼区間 | 結果確定済みのデータセット問題 |
|---|---|---|---|---|
| 6 | labubu-nanoTorchcast AI同点の構成: skullpanda-nano | 65.8 | 63.4–68.3 | 241 |
| 12 | big green leafGoogle DeepMind同点の構成: blue croc | 65.0 | 63.7–66.3 | 722 |
| 12 | NanoForecaster-MTV-0830Google Cloud | 65.0 | 63.7–66.3 | 241 |
| 17 | RSO-F-STRysoAI | 64.9 | 63.1–66.7 | 241 |
| 38 | fb_early_closer_v2FutureSearch同点の構成: fb_forecaster_v2, futuresearch_bull_v4 | 63.3 | 62.3–64.3 | 722 |
| 47 | Grok 4.20 (Beta, C)xAI | 63.1 | 62.1–64.1 | 681 |
| 49 | gpt-5.5-2026-04-23-high-web-searchOpenAI | 63.0 | 61.9–64.1 | 974 |
| 93 | claude-opus-5-adaptive-thinking-max-web-search-code-execution-128kAnthropic | 61.7 | 60.6–62.7 | 934 |
私たちの見解“初めての公開結果で、RSO-Fが短期予測において先行する予測システムと競えることを示しました。”
この結果が意味すること
今日得られる情報を、次に何が起こるかについてのより良い予測につなげる。それがRSO-Fの開発目標です。初回の公開提出で実績ある予測チームと競い、比較対象のフロンティアモデルの登録を上回ったことは、今後の開発の確かな土台になります。
紛争・抗議データで同率1位
当初の7日先予測の結果で、RSO-FはACLEDで同率1位でした。2026年9月22日に保存された結果を使うと、8月30日提出分のACLED問題50件で、RSO-F-STの平均Brierスコアは0.0487。Rysoの他の2構成とともに対象112件中同率1位となり、OpenAI、Anthropic、xAI、Google DeepMind、Google Cloud、Torchcast AIそれぞれの最良の登録構成を上回りました。
ACLEDは世界各地の政治的暴力や抗議活動を記録しています。今回のForecastBenchの問いは、直近30日間の出来事の件数や死者数が過去のデータに基づく閾値を超えるかどうかを、提出7日後に判定するものです。紛争や抗議活動の変化を予測するうえで、有望な能力を示す結果です。
2026年10月10日追記：その後、結果が1件修正されました。同じ予測を再計算すると、RSO-FのBrierスコアは0.0685で同率6位となります。グラフは9月当初の結果を示し、ダウンロードデータには両方の結果を収録しています。
2026年8月30日ラウンド · 2026年9月22日時点
ACLED：7日先予測の比較
平均Brierスコア · 低いほど良い
点：同じ50問の平均Brierスコア
ForecastBenchの公開ファイルを基にRysoAIが計算。選択したモデル提供元・チームごとに最良の登録構成を示し、全比較は対象112件を含みます。特定のデータ源に絞った分析であり、上の公式ランキングとは別のものです。
固定版の結果データを見る比較データと計算方法をダウンロードモデル構成・スコア・問題数の詳細
すべての登録を、2026年9月6日に結果を判定する同じACLEDの50問について、9月22日に保存された結果で採点しています。スコアは予測確率と結果の差の二乗の平均です。表示する点推定値だけで統計的有意差が示されるわけではありません。提供元はモデルの組織を指し、第三者の提出は表に記載しています。名称はダウンロードしたアーカイブに従っています。Ryso以外で最高の成績だったAnonymous 24には、公開された企業ロゴがありません。
| 順位 | モデル構成 | 平均Brierスコア | 提出者 | 結果確定済みのデータセット問題 |
|---|---|---|---|---|
| 1 | RSO-F-STRysoAI | 0.0487 | Ryso AI | 50 |
| 4 | model-4Anonymous 24 | 0.0500 | Anonymous 24 | 50 |
| 10 | claude-fable-5Anthropic | 0.0634 | Kerem Delikoyun | 50 |
| 16 | gemini-3.1-pro-preview-highGoogle DeepMind | 0.0723 | ForecastBench | 50 |
| 32 | molly-nanoTorchcast AI | 0.0830 | Torchcast AI | 50 |
| 36 | gpt-5.5-2026-04-23OpenAI | 0.0834 | ForecastBench | 50 |
| 53 | grok-4.20-0309-reasoningxAI | 0.0904 | ForecastBench | 50 |
| 60 | NanoForecaster-ATL-0830Google Cloud | 0.0911 | Google Cloud | 50 |
結果の読み方
最初のグラフは2026年9月22日のForecastBench暫定データセットランキングから、選択した各組織の最高スコアの登録を示しています。RSO-Fは初回の7日先予測の結果で、他の登録とは問題セットや提出履歴が異なります。
データセットBrier指数は問題の難易度を調整した確率予測の評価指標で、高いほど良い結果です。線は95%信頼区間を示します。暫定ランキングはデータセット問題を対象とし、大会ランキングはデータセットと予測市場の結果を組み合わせます。
改善が必要な点
ACLEDでは、短期の成績が長期の成績を上回っています。同じラウンドの別の30日先の問題50件では、10月10日の計算でRSO-F-STは112件中29位でした。7日先の予測を提出する時点では、直近30日間という観測期間の一部がすでに経過しています。より先を予測するには一層の能力が求められ、その改善を優先しています。
次の検証へ
より長い期間の結果が採点されるにつれて、性能には一定の減衰があると見込んでいます。それでもRSO-Fは高い競争力を維持すると考えています。次の節目は大会の総合ランキングです。ForecastBenchでは参加資格を得るまで提出から50日間待つため、8月30日提出分が掲載されるのは早くても10月19日となります。掲載後にデータセットと予測市場の総合的な比較結果を公表します。
8月30日の初回提出に続く2回のラウンドでは、複数の手法や具体的な予測ケースをリアルタイムのデータで検証します。有効な方法を見極める段階のため、これらの実験的な提出は中位程度の成績になると見込んでいます。各テストを通じて、モデルの強み、改善が必要な部分、新しい問いにも通用する改善を確かめます。