RSO-Fが初のForecastBench大会評価でClaude Opus 5とGoogle CloudのNanoForecasterを上回る

2026年10月19日、RSO-F-STは大会の全463件中同率35位でした。各実名チームの最高スコアで比べるとRysoAIは同率10位です。

解決済み567問の総合指数は67.0で、掲載されたClaude Opus 5、Claude Fable 5の構成とGoogle CloudのNanoForecasterを上回りました。

2026年10月19日のRSO-F-ST大会結果
指標	Brier指数	95%区間	問題数
データセット	62.9	[61.6, 64.3]	485
市場	71.7	[70.5, 72.9]	82
総合	67.0	[66.1, 68.0]	567

全463件中同率35位。ForecastBenchを含む実名チームを各最高総合スコアで比べると同率10位。出典：ForecastBench、CC BY-SA 4.0。 CC BY-SA 4.0

暫定評価から大会へ

9月には初回提出のデータセット暫定結果を報告しました。10月には予定どおり予測市場も含む大会での比較が出ました。

大会への掲載は提出から50日後で、その間に多くの結果が確定します。10月19日の順位はその時点の記録です。

RSO-F-STはデータセット485問で62.9、市場82問で71.7。総合は67.0で、95%信頼区間は66.1から68.0でした。

難易度を補正したBrierスコアを2分野で等しく重み付けします。指数は正答率ではなく、総合指数も表示された2指数の単純平均ではありません。

アーカイブ記事。日付は本文で扱う時期を示しています。