AI精度検証
公開中のモデルの予測精度を、複数のベースラインと比較します。
モデル比較 (テスト期間: 2026年)
| Model | Top1 Accuracy | LogLoss | Brier Score | 特徴量数 |
|---|---|---|---|---|
| ランダム (理論値) | 16.67% | - | - | 0 |
| 常に1号艇 | 54.89% | 0.3702 | 0.1108 | 0 |
| 簡易 (枠+会場) | 55.44% | 0.4193 | 0.1296 | 2 |
| v2 事前予測公開版 | 56.88% | 0.4093 | 0.1263 | 22 |
| v1 事後分析参考 | 59.50% | 0.4039 | 0.1246 | 27 |
v1にはcourse_no(進入コース)とstart_timing(ST)が含まれており、レース後にしか確定しない情報です。 公開版v2ではこれらを除去しています。
Top1 Accuracy
56.88%
AIが1着と予測した艇が実際に1着だった割合。ランダムなら16.7%。
LogLoss
0.4093
確率予測の対数損失。小さいほど確率推定が正確。
Brier Score
0.1263
確率のキャリブレーション精度。0に近いほど良い。
月別 Top1 Accuracy
| 月 | レース数 | 的中 | Accuracy | Bar |
|---|---|---|---|---|
| 2026-01 | 5,034 | 2,849 | 56.60% | |
| 2026-02 | 4,056 | 2,325 | 57.32% | |
| 2026-03 | 152 | 83 | 54.61% |
予測枠番別 的中率
AIが1着に推した艇の枠番ごとの的中率。1号艇推し時の精度が最も高い。
1号艇
58.82%
4867/8274
2号艇
41.36%
189/457
3号艇
42.18%
124/294
4号艇
32.73%
54/165
5号艇
38.89%
14/36
6号艇
56.25%
9/16
Calibration (確率キャリブレーション)
モデルが出力した確率帯ごとに、実際の1着率を比較。 理想は「30%と予測 → 実際に30%当たる」。
| 予測確率帯 | サンプル数 | 1着数 | 実際の1着率 | 理想との差 |
|---|---|---|---|---|
| 10% - 15% | 23,604 | 844 | 3.58% | -8.9% |
| 15% - 20% | 21,972 | 3,254 | 14.81% | -2.7% |
| 20% - 25% | 4,879 | 2,217 | 45.44% | +22.9% |
| 25% - 30% | 3,650 | 2,553 | 69.95% | +42.5% |
| 30% - 35% | 423 | 327 | 77.30% | +44.8% |
| 35% - 40% | 54 | 35 | 64.81% | +27.3% |
| 40% - 45% | 11 | 7 | 63.64% | +21.1% |
| 45% - 50% | 5 | 2 | 40.00% | -7.5% |
| 50% - 55% | 3 | 2 | 66.67% | +14.2% |
| 55% - 60% | 1 | 0 | 0.00% | -57.5% |
| 60% - 65% | 2 | 1 | 50.00% | -12.5% |
登録モデル一覧
| Model Code | Feature Version | Train Period | Valid Period |
|---|---|---|---|
| lgbm_top1_v2_prerace | v2_prerace_22feat | Fri Jan 01 ~ Tue Dec 31 | Wed Jan 01 ~ Wed Dec 31 |
| lgbm_top1_v1 | v1_basic_27feat | Fri Jan 01 ~ Tue Dec 31 | Wed Jan 01 ~ Wed Dec 31 |