AI精度検証
v2（メインモデル）とv3a（コースバイアス補正）の予測精度を比較します。
モデル比較 (テスト期間: 2026年)
| Model | Top1 Acc | LogLoss | Brier | 種別 |
|---|---|---|---|---|
| ランダム | 16.67% | - | - | - |
| 常に1号艇 | 54.72% | 0.3702 | 0.1108 | ベースライン |
| 簡易モデル | 55.44% | 0.4193 | 0.1296 | 参考 |
| v2 事前予測 公開版 | 56.88% | 0.4093 | 0.1263 | メイン |
| v3a コース補正 実験中 | 55.49% | 0.3488 | 0.1052 | 実験 |
v3aはv2のスコアにコースバイアス補正を加えたモデル。LogLoss・Brierで全モデル中最良。
主要指標 v2 vs v3a
Top1 Accuracy
v2
56.88%
vs
v3a
55.49%
AIが1着と予測した艇が実際に1着だった割合。
LogLoss
v2
0.4093
vs
v3a
0.3488
確率予測の対数損失。小さいほど確率推定が正確。
Brier Score
v2
0.1263
vs
v3a
0.1052
確率のキャリブレーション精度。0に近いほど良い。
月別 Top1 Accuracy
| 月 | レース数 | v2 | v3a | 差 |
|---|---|---|---|---|
| 26-01 | 5,340 | 52.81% | 51.65% | -1.16 |
| 26-02 | 4,200 | 54.83% | 53.26% | -1.57 |
| 26-03 | 3,163 | 40.94% | 39.93% | -1.01 |
| 26-04 | 528 | 0% | 0% | 0.00 |
| 26-05 | 600 | 0% | 0% | 0.00 |
| 26-06 | 564 | 0% | 0% | 0.00 |
| 26-07 | 660 | 0% | 0% | 0.00 |
| 26-08 | 552 | 0% | 0% | 0.00 |
| 26-09 | 3,058 | 0% | 0% | 0.00 |
| 26-10 | 3,614 | 0% | 0% | 0.00 |
差はv3a − v2。正の値はv3aが優位。
予測枠番別 的中率
AIが1着に推した艇の枠番ごとの的中率。v2とv3aを並列表示。
1号艇
v2
29.39%
6001/20416
v3a
28.09%
6258/22279
2号艇
v2
22.86%
211/923
v3a
-%
0/0
3号艇
v2
23.79%
133/559
v3a
-%
0/0
4号艇
v2
17.77%
51/287
v3a
-%
0/0
5号艇
v2
20.97%
13/62
v3a
-%
0/0
6号艇
v2
28.13%
9/32
v3a
-%
0/0
Calibration (確率キャリブレーション)
モデルが出力した確率帯ごとに、実際の1着率を比較。理想は「30%と予測 → 実際に30%当たる」。
v2
| 確率帯 | 件数 | 実1着率 | 差 |
|---|---|---|---|
| 0-5% | 43,074 | 1.14% | -1.4% |
| 5-10% | 30,981 | 3.67% | -3.8% |
| 10-15% | 16,651 | 6.13% | -6.4% |
| 15-20% | 9,085 | 9.17% | -8.3% |
| 20-25% | 5,674 | 11.10% | -11.4% |
| 25-30% | 4,016 | 14.92% | -12.6% |
| 30-35% | 3,035 | 16.57% | -15.9% |
| 35-40% | 2,465 | 19.15% | -18.4% |
| 40-45% | 2,224 | 22.80% | -19.7% |
| 45-50% | 2,276 | 24.21% | -23.3% |
| 50-55% | 2,355 | 27.86% | -24.6% |
| 55-60% | 2,662 | 33.21% | -24.3% |
| 60-65% | 2,826 | 33.86% | -28.6% |
| 65-70% | 2,801 | 34.42% | -33.1% |
| 70-75% | 3,549 | 34.12% | -38.4% |
v3a
| 確率帯 | 件数 | 実1着率 | 差 |
|---|---|---|---|
| 0-5% | 22,392 | 1.56% | -0.9% |
| 5-10% | 38,672 | 3.12% | -4.4% |
| 10-15% | 44,683 | 6.02% | -6.5% |
| 15-20% | 5,556 | 15.78% | -1.7% |
| 20-25% | 92 | 34.78% | +12.3% |
| 35-40% | 6 | 0.00% | -37.5% |
| 40-45% | 515 | 7.96% | -34.5% |
| 45-50% | 3,518 | 16.71% | -30.8% |
| 50-55% | 5,899 | 25.16% | -27.3% |
| 55-60% | 7,954 | 33.82% | -23.7% |
| 60-65% | 4,385 | 33.18% | -29.3% |
| 65-70% | 2 | 0.00% | -67.5% |
運用モデル
現在 v2（メインモデル）と v3a（実験モデル）の2モデル体制で運用中。 詳細はAIモデル比較ページをご覧ください。