AI精度検証
v2（メインモデル）とv3a（コースバイアス補正）の予測精度を比較します。
モデル比較 (テスト期間: 2026年)
| Model | Top1 Acc | LogLoss | Brier | 種別 |
|---|---|---|---|---|
| ランダム | 16.67% | - | - | - |
| 常に1号艇 | 54.62% | 0.3702 | 0.1108 | ベースライン |
| 簡易モデル | 55.44% | 0.4193 | 0.1296 | 参考 |
| v2 事前予測 公開版 | 56.88% | 0.4093 | 0.1263 | メイン |
| v3a コース補正 実験中 | 55.49% | 0.3488 | 0.1052 | 実験 |
v3aはv2のスコアにコースバイアス補正を加えたモデル。LogLoss・Brierで全モデル中最良。
主要指標 v2 vs v3a
Top1 Accuracy
v2
56.88%
vs
v3a
55.49%
AIが1着と予測した艇が実際に1着だった割合。
LogLoss
v2
0.4093
vs
v3a
0.3488
確率予測の対数損失。小さいほど確率推定が正確。
Brier Score
v2
0.1263
vs
v3a
0.1052
確率のキャリブレーション精度。0に近いほど良い。
月別 Top1 Accuracy
| 月 | レース数 | v2 | v3a | 差 |
|---|---|---|---|---|
| 26-01 | 5,340 | 52.81% | 51.65% | -1.16 |
| 26-02 | 4,200 | 54.83% | 53.26% | -1.57 |
| 26-03 | 3,163 | 40.94% | 39.93% | -1.01 |
| 26-04 | 528 | 0% | 0% | 0.00 |
| 26-05 | 600 | 0% | 0% | 0.00 |
| 26-06 | 564 | 0% | 0% | 0.00 |
| 26-07 | 660 | 0% | 0% | 0.00 |
差はv3a − v2。正の値はv3aが優位。
予測枠番別 的中率
AIが1着に推した艇の枠番ごとの的中率。v2とv3aを並列表示。
1号艇
v2
43.68%
6001/13737
v3a
41.57%
6258/15055
2号艇
v2
32.61%
211/647
v3a
-%
0/0
3号艇
v2
33.42%
133/398
v3a
-%
0/0
4号艇
v2
24.17%
51/211
v3a
-%
0/0
5号艇
v2
33.33%
13/39
v3a
-%
0/0
6号艇
v2
39.13%
9/23
v3a
-%
0/0
Calibration (確率キャリブレーション)
モデルが出力した確率帯ごとに、実際の1着率を比較。理想は「30%と予測 → 実際に30%当たる」。
v2
| 確率帯 | 件数 | 実1着率 | 差 |
|---|---|---|---|
| 0-5% | 28,638 | 1.71% | -0.8% |
| 5-10% | 20,975 | 5.42% | -2.1% |
| 10-15% | 11,435 | 8.92% | -3.6% |
| 15-20% | 6,248 | 13.33% | -4.2% |
| 20-25% | 3,908 | 16.12% | -6.4% |
| 25-30% | 2,839 | 21.10% | -6.4% |
| 30-35% | 2,090 | 24.07% | -8.4% |
| 35-40% | 1,676 | 28.16% | -9.3% |
| 40-45% | 1,519 | 33.38% | -9.1% |
| 45-50% | 1,551 | 35.53% | -12.0% |
| 50-55% | 1,606 | 40.85% | -11.6% |
| 55-60% | 1,854 | 47.68% | -9.8% |
| 60-65% | 1,940 | 49.33% | -13.2% |
| 65-70% | 1,840 | 52.39% | -15.1% |
| 70-75% | 2,211 | 54.77% | -17.7% |
v3a
| 確率帯 | 件数 | 実1着率 | 差 |
|---|---|---|---|
| 0-5% | 15,105 | 2.32% | -0.2% |
| 5-10% | 25,949 | 4.65% | -2.9% |
| 10-15% | 30,366 | 8.86% | -3.6% |
| 15-20% | 3,791 | 23.13% | +5.6% |
| 20-25% | 64 | 50.00% | +27.5% |
| 35-40% | 4 | 0.00% | -37.5% |
| 40-45% | 372 | 11.02% | -31.5% |
| 45-50% | 2,426 | 24.24% | -23.3% |
| 50-55% | 4,054 | 36.61% | -15.9% |
| 55-60% | 5,408 | 49.74% | -7.8% |
| 60-65% | 2,789 | 52.17% | -10.3% |
| 65-70% | 2 | 0.00% | -67.5% |
運用モデル
現在 v2（メインモデル）と v3a（実験モデル）の2モデル体制で運用中。 詳細はAIモデル比較ページをご覧ください。