AI精度検証
v2（メインモデル）とv3a（コースバイアス補正）の予測精度を比較します。
モデル比較 (テスト期間: 2026年)
| Model | Top1 Acc | LogLoss | Brier | 種別 |
|---|---|---|---|---|
| ランダム | 16.67% | - | - | - |
| 常に1号艇 | 54.72% | 0.3702 | 0.1108 | ベースライン |
| 簡易モデル | 55.44% | 0.4193 | 0.1296 | 参考 |
| v2 事前予測 公開版 | 56.88% | 0.4093 | 0.1263 | メイン |
| v3a コース補正 実験中 | 55.49% | 0.3488 | 0.1052 | 実験 |
v3aはv2のスコアにコースバイアス補正を加えたモデル。LogLoss・Brierで全モデル中最良。
主要指標 v2 vs v3a
Top1 Accuracy
v2
56.88%
vs
v3a
55.49%
AIが1着と予測した艇が実際に1着だった割合。
LogLoss
v2
0.4093
vs
v3a
0.3488
確率予測の対数損失。小さいほど確率推定が正確。
Brier Score
v2
0.1263
vs
v3a
0.1052
確率のキャリブレーション精度。0に近いほど良い。
月別 Top1 Accuracy
| 月 | レース数 | v2 | v3a | 差 |
|---|---|---|---|---|
| 26-01 | 5,340 | 52.81% | 51.65% | -1.16 |
| 26-02 | 4,200 | 54.83% | 53.26% | -1.57 |
| 26-03 | 3,163 | 40.94% | 39.93% | -1.01 |
| 26-04 | 528 | 0% | 0% | 0.00 |
| 26-05 | 600 | 0% | 0% | 0.00 |
| 26-06 | 564 | 0% | 0% | 0.00 |
| 26-07 | 660 | 0% | 0% | 0.00 |
| 26-08 | 552 | 0% | 0% | 0.00 |
| 26-09 | 416 | 0% | 0% | 0.00 |
差はv3a − v2。正の値はv3aが優位。
予測枠番別 的中率
AIが1着に推した艇の枠番ごとの的中率。v2とv3aを並列表示。
1号艇
v2
41.02%
6001/14628
v3a
39.06%
6258/16023
2号艇
v2
30.49%
211/692
v3a
-%
0/0
3号艇
v2
32.13%
133/414
v3a
-%
0/0
4号艇
v2
23.29%
51/219
v3a
-%
0/0
5号艇
v2
28.89%
13/45
v3a
-%
0/0
6号艇
v2
36%
9/25
v3a
-%
0/0
Calibration (確率キャリブレーション)
モデルが出力した確率帯ごとに、実際の1着率を比較。理想は「30%と予測 → 実際に30%当たる」。
v2
| 確率帯 | 件数 | 実1着率 | 差 |
|---|---|---|---|
| 0-5% | 30,528 | 1.60% | -0.9% |
| 5-10% | 22,396 | 5.08% | -2.4% |
| 10-15% | 12,169 | 8.38% | -4.1% |
| 15-20% | 6,591 | 12.64% | -4.9% |
| 20-25% | 4,138 | 15.22% | -7.3% |
| 25-30% | 2,979 | 20.11% | -7.4% |
| 30-35% | 2,222 | 22.64% | -9.9% |
| 35-40% | 1,764 | 26.76% | -10.7% |
| 40-45% | 1,606 | 31.57% | -10.9% |
| 45-50% | 1,633 | 33.74% | -13.8% |
| 50-55% | 1,689 | 38.84% | -13.7% |
| 55-60% | 1,976 | 44.74% | -12.8% |
| 60-65% | 2,067 | 46.30% | -16.2% |
| 65-70% | 1,983 | 48.61% | -18.9% |
| 70-75% | 2,397 | 50.52% | -22.0% |
v3a
| 確率帯 | 件数 | 実1着率 | 差 |
|---|---|---|---|
| 0-5% | 16,077 | 2.18% | -0.3% |
| 5-10% | 27,666 | 4.36% | -3.1% |
| 10-15% | 32,292 | 8.33% | -4.2% |
| 15-20% | 4,009 | 21.88% | +4.4% |
| 20-25% | 71 | 45.07% | +22.6% |
| 35-40% | 4 | 0.00% | -37.5% |
| 40-45% | 400 | 10.25% | -32.3% |
| 45-50% | 2,565 | 22.92% | -24.6% |
| 50-55% | 4,267 | 34.78% | -17.7% |
| 55-60% | 5,762 | 46.69% | -10.8% |
| 60-65% | 3,023 | 48.13% | -14.4% |
| 65-70% | 2 | 0.00% | -67.5% |
運用モデル
現在 v2（メインモデル）と v3a（実験モデル）の2モデル体制で運用中。 詳細はAIモデル比較ページをご覧ください。