AIモデル精度比較
複数のAI予測モデルを同一データで評価。的中率だけでなく確率の質も検証しています。
モデルランキング
| 順位 | モデル | 特徴 | Top1的中率 | Logloss | Brier | 状態 |
|---|---|---|---|---|---|---|
| 1 | v3a | 確率精度重視 | 54.83% | 0.3488 | 0.1052 | 実験中 |
| 2 | v2 | 的中率重視 | 56.23% | 0.4093 | 0.1263 | 本番 |
| ref | 常に1号艇 | ベースライン | 55.29% | 0.3702 | 0.1108 | 参考 |
| ref | ランダム | 理論下限 | 16.67% | 1.7918 | - |
v2は的中率に強く、v3aは確率の信頼性に優れています。Loglossが低いほど確率の質が高いことを示します。
Top1 的中率
AI本命が1着になった割合。高いほど「当たるモデル」。
Logloss
確率の質を測る指標。低いほど「予測確率が信頼できるモデル」。
Brier Score
予測確率と実際の結果の二乗誤差。低いほど確率の精度が高い。
コース別キャリブレーション
予測確率と実際の勝率のズレ。ズレが小さいほどキャリブレーションが良い。
| 枠 | 実勝率 | v2予測 | v2ズレ | v3a予測 | v3aズレ |
|---|---|---|---|---|---|
| 1 | 54.83% | 53.37% | +1.5 | 54.8% | +0.0 |
| 2 | 13.1% | 14.45% | -1.3 | 13.51% | -0.4 |
| 3 | 12.64% | 12.6% | +0.0 | 11.98% | +0.7 |
| 4 | 10.08% | 10.11% | -0.0 | 9.82% | +0.3 |
| 5 | 6.03% | 5.96% | +0.1 | 6.08% | -0.0 |
| 6 | 3.32% | 3.5% | -0.2 | 3.82% | -0.5 |
v2は1コースを過小評価（実勝率55%に対して予測29%）していました。 v3aはコースバイアス補正により実際の勝率に近づいています。
日別的中率比較
| 日付 | v2 的中率 | v2 的中 | v3a 的中率 | v3a 的中 | 勝者 |
|---|---|---|---|---|---|
| 03-17 | 59.8% | 49/82 | 57.3% | 47/82 | v2 |
| 03-16 | 50.8% | 64/126 | 51.6% | 65/126 | v3a |
| 03-15 | 60.3% | 91/151 | 62.9% | 95/151 | v3a |
| 03-14 | 60.9% | 92/151 | 58.3% | 88/151 | v2 |
| 03-13 | 53.9% | 82/152 | 51.3% | 78/152 | v2 |
| 03-12 | 51.1% | 90/176 | 50% | 88/176 | v2 |
| 03-11 | 50.3% | 78/155 | 46.5% | 72/155 | v2 |
| 03-10 | 45.3% | 62/137 | 47.4% | 65/137 | v3a |
| 03-09 | 54.5% | 72/132 | 55.3% | 73/132 | v3a |
| 03-08 | 52% | 65/125 | 46.4% | 58/125 | v2 |
| 03-07 | 59.3% | 67/113 | 54.9% | 62/113 | v2 |
| 03-06 | 60.2% | 77/128 | 60.9% | 78/128 | v3a |
| 03-05 | 64.7% | 90/139 | 66.2% | 92/139 | v3a |
| 03-04 | 53.7% | 72/134 | 51.5% | 69/134 | v2 |
v2 モデル
本番- 独自開発の機械学習モデル
- レース前に取得可能な情報のみ使用
- 1着的中率（Top1 Accuracy）重視
的中率は高いが、1コースの勝率を過小評価する傾向がある。
v3a モデル
実験中- v2 + コースバイアス補正
- コース別勝率の統計的事実を組み込み
- 確率の質（Logloss・Brier Score）を改善
- モデル再学習なし（補正のみ）
確率分布の信頼性が大幅に改善。コース別の歪みを補正。
AIモデルは継続的に改良されています。 評価データは実レース結果に基づきます。