RSO-Fの評価

RSO-Fは、まだ起きていない出来事に対する予測を検証するForecastBenchで公開評価を受けています。結果はデータセット部門の暫定リーダーボードで公開され、問いの結果が判明するにつれて更新されます。

データセット部門の暫定リーダーボードは、実際の時系列データに基づく、結果が判明した問いを対象にしています。予測市場の問いは別に評価されるため、両部門を合わせた総合順位ではありません。

予測がうまくいく場面や外れる場面を調べ、示した確率が実際の結果とどれだけ一致するかを確かめます。

新しい用途には、それぞれの評価が必要です。