RSO-F 在 ForecastBench 上取得了强劲的开局。ForecastBench 是评估 AI 模型预测现实事件能力的领先独立基准之一。在 2026 年 9 月 22 日的初步数据集结果中,我们首次提交的得分高于 OpenAI、Anthropic、xAI 和 FutureSearch 各自得分最高的已列出条目。
模型以 RSO-F-ST 的名称参赛,在 8 月 30 日提交中七天预测期限的 241 个已确定结果的问题上,取得了 64.9 的数据集 Brier 指数。在本次对比中,RysoAI 接近得分均为 65.0 的 Google DeepMind 和 Google Cloud;Torchcast AI 的得分为 65.8。
ForecastBench · 2026 年 9 月 22 日
RSO-F 首批七天期结果
数据集 Brier 指数 · 越高越好
具体模型、得分及问题数量
每个所选机构由该固定快照中得分最高的一个条目代表,并列配置一并列出。这些是模型结果,并非公司平均值;Brier 指数也不代表答对问题的百分比。
| 排名 | 模型配置 | 数据集 Brier 指数 | 95% 置信区间 | 结果已确定的数据集问题 |
|---|---|---|---|---|
| 6 | labubu-nanoTorchcast AI其他并列配置: skullpanda-nano | 65.8 | 63.4–68.3 | 241 |
| 12 | big green leafGoogle DeepMind其他并列配置: blue croc | 65.0 | 63.7–66.3 | 722 |
| 12 | NanoForecaster-MTV-0830Google Cloud | 65.0 | 63.7–66.3 | 241 |
| 17 | RSO-F-STRysoAI | 64.9 | 63.1–66.7 | 241 |
| 38 | fb_early_closer_v2FutureSearch其他并列配置: fb_forecaster_v2, futuresearch_bull_v4 | 63.3 | 62.3–64.3 | 722 |
| 47 | Grok 4.20 (Beta, C)xAI | 63.1 | 62.1–64.1 | 681 |
| 49 | gpt-5.5-2026-04-23-high-web-searchOpenAI | 63.0 | 61.9–64.1 | 974 |
| 93 | claude-opus-5-adaptive-thinking-max-web-search-code-execution-128kAnthropic | 61.7 | 60.6–62.7 | 934 |
我们的看法“首批公开结果表明,RSO-F 已能在短期预测中与领先的预测系统展开竞争。”
这意味着什么
这是 RSO-F 开发目标的初步展现:把今天可获得的信息转化为对未来更好的预测。首次公开提交便能与成熟的预测团队竞争,并超过所比较的前沿模型条目,为我们下一步的研发奠定了坚实基础。
冲突与抗议数据预测并列第一
在最初的七天期结果中,RSO-F 在 ACLED 上并列第一。按 2026 年 9 月 22 日存档的结果计算,RSO-F-ST 在 8 月 30 日提交的 50 个 ACLED 问题上取得了 0.0487 的平均 Brier 分数。它与另外两个 Ryso 变体在 112 个合格条目中并列榜首,领先于 OpenAI、Anthropic、xAI、Google DeepMind、Google Cloud 和 Torchcast AI 各自最好的已列出配置。
ACLED 记录全球的政治暴力与抗议事件。这些 ForecastBench 问题询问:滚动 30 天窗口内的事件数量或死亡人数是否会超过根据历史数据设定的阈值,并在提交七天后评定结果。这一成绩展现了模型预测冲突与抗议活动变化的潜力。
2026 年 10 月 10 日更新:此后一个结果被修订。用相同预测重新计算后,RSO-F 的 Brier 分数为 0.0685,排名并列第六。图表保留 9 月的原始结果;可下载的数据包含两个版本。
2026 年 8 月 30 日轮次 · 2026 年 9 月 22 日快照
ACLED:七天期对比
平均 Brier 分数 · 越低越好
圆点:相同 50 个问题的平均 Brier 分数
由 RysoAI 根据 ForecastBench 公开文件计算。每个所选模型提供方或团队展示其最优的已列出配置;完整对比涵盖 112 个合格条目。这是针对特定数据来源的分析,与上方官方排行榜不同。
查看固定版本的结果数据下载对比数据与计算方法具体模型、得分及问题数量
所有条目均基于 2026 年 9 月 6 日判定结果的相同 50 个 ACLED 问题,使用 9 月 22 日存档的结果评分。分数为预测概率与实际结果之差的平方的平均值。展示的点估计不能证明统计显著性。提供方标签对应模型所属机构;第三方提交者在表中注明。标签采用下载存档中的名称;Anonymous 24 是非 Ryso 条目中得分最好的条目,没有公开的公司标志。
| 排名 | 模型配置 | 平均 Brier 分数 | 提交者 | 结果已确定的数据集问题 |
|---|---|---|---|---|
| 1 | RSO-F-STRysoAI | 0.0487 | Ryso AI | 50 |
| 4 | model-4Anonymous 24 | 0.0500 | Anonymous 24 | 50 |
| 10 | claude-fable-5Anthropic | 0.0634 | Kerem Delikoyun | 50 |
| 16 | gemini-3.1-pro-preview-highGoogle DeepMind | 0.0723 | ForecastBench | 50 |
| 32 | molly-nanoTorchcast AI | 0.0830 | Torchcast AI | 50 |
| 36 | gpt-5.5-2026-04-23OpenAI | 0.0834 | ForecastBench | 50 |
| 53 | grok-4.20-0309-reasoningxAI | 0.0904 | ForecastBench | 50 |
| 60 | NanoForecaster-ATL-0830Google Cloud | 0.0911 | Google Cloud | 50 |
如何解读结果
第一张图呈现 2026 年 9 月 22 日 ForecastBench 初步数据集排行榜,展示每个所选机构得分最高的已列出条目。RSO-F 的结果来自其首批七天期预测;其他条目的问题集和提交历史各不相同。
数据集 Brier 指数在调整问题难度后衡量概率预测表现,数值越高越好。线段表示 95% 置信区间。初步排行榜涵盖数据集问题;主赛事排行榜综合数据集与预测市场的结果。
需要改进的方向
ACLED 的短期结果强于较长期结果。在同一轮次另一组 50 个三十天期问题上,根据我们 10 月 10 日的计算,RSO-F-ST 在 112 个条目中排名第 29。提交七天期预测时,滚动 30 天观察窗口中的部分时间已经过去。更远期的预测对模型提出了更高要求,提升这方面的表现是我们的重点。
下一阶段的检验
随着更长期预测结果纳入评分,我们预计性能会出现一定衰减,同时也预计 RSO-F 仍将保持很强的竞争力。下一里程碑是主赛事综合排行榜:ForecastBench 规定提交后需等待 50 天才具备入榜资格,因此我们 8 月 30 日的提交最早可于 10 月 19 日入榜。届时,我们将公布完整的数据集与预测市场对比结果。
在 8 月 30 日首次提交后的两个轮次中,我们将使用实时数据测试多种方法和具体预测案例。在探索有效方法的过程中,我们预计这些实验性提交的表现大致处于中游。每次测试都帮助我们了解模型的优势、需要改进之处,以及哪些改进能够适用于新的问题。

