預測準確度校準報告
這一頁公布站上顯示的機率實際上準不準。所有數字都是從站上已結算的市場現算的, 沒有挑樣本:符合下方條件的市場全部列入,包含算錯的那些。
判斷一個機率準不準,不能看「猜對幾題」——報 60% 的題目本來就該有四成不發生。 要看的是 Brier score:把每一題的(機率 − 實際結果)平方後取平均,越低越好。 每題都報 50% 會得到 0.25;完全說中是 0。單看這個數字沒有意義,所以旁邊 一併列出「每題都只報基準發生率」會拿到的分數;技巧分數=1 −(本站 Brier ÷ 基準 Brier),大於 0 才代表比只報基準率好。
AI 預測也能用同樣的態度檢驗:ChatGPT、Gemini、Claude 賽前猜比分到底準不準,可以參考 AI 預測球賽準嗎?——那邊把三家 AI 的賽前預測逐場跟實際比分公開對帳。它看的是猜中比例,評分方式和本頁的 Brier score 不同,兩邊數字不能直接比。
最後計算時間:2026/10/26 06:48:16(台北時間,每六小時重算)。 本頁與下方 CSV、JSON 下載是同一份快照,數字一致。統計期間以各題的實際結算時間為準。
沒進樣本的題目都有計數:站上組排除 判定無效 29 題、附屬盤 3334 題、截止後仍被錨定 14 題、結果衝突 1 題、提早結束 49 題;外部組排除 判定無效 524 題、附屬盤 9650 題、沒有截止前走勢 600 題、結果衝突 1 題。 各原因的定義寫在頁尾「計算方式與排除條件」,JSON 下載的 excluded_counts 有同一份數字。
另有 14 題已從站上樣本排除:2026 年 9 月 24 日以前,部分 Polymarket 匯入的月度題在截止後仍依外部行情重新錨定,收盤價可能已偏向結果,且截止前價格無法還原。 排除清單列在 JSON 下載的 excluded_post_close_anchored。
一、站上收盤機率
價格凍結那一刻(原訂截止、實際停盤、結算三者取最早)站上顯示的機率,對照最後的判定結果。這是使用者真正看到的那個數字,也是這份報告的主結果。提早結束的 49 題(事件在截止前就揭曉)不算在內:其中有些在結果公開後仍有人投入,收盤價可能已被結果推過。把它們算進去是 1708 題、Brier 0.2230、技巧分數 0.102,只當參考。
| 機率區間 | 題數 | 預測平均 | 實際命中 |
|---|---|---|---|
| 0%–20% | 74 | 10.3% | 8.1% |
| 20%–35% | 206 | 29.5% | 23.8% |
| 35%–45% | 395 | 40.4% | 40.0% |
| 45%–55% | 512 | 49.8% | 48.2% |
| 55%–65% | 307 | 59.0% | 55.4% |
| 65%–80% | 131 | 69.9% | 71.8% |
| 80%–100% | 34 | 91.8% | 79.4% |
二、外部資料來源的收單前機率
賽事類市場的機率來自 Polymarket 的即時盤。這一組取的是截止時間之前的最後一個報價,用來看外部來源本身的水準——站上的數字大部分時候就是跟著它走。
| 機率區間 | 題數 | 預測平均 | 實際命中 |
|---|---|---|---|
| 0%–20% | 46 | 13.0% | 10.9% |
| 20%–35% | 172 | 29.8% | 26.7% |
| 35%–45% | 339 | 40.3% | 39.8% |
| 45%–55% | 454 | 49.7% | 50.4% |
| 55%–65% | 258 | 59.1% | 57.8% |
| 65%–80% | 94 | 69.8% | 72.3% |
| 80%–100% | 19 | 87.6% | 94.7% |
三、有人實際投入 P幣的市場
上面第一組裡,站上真的有人投入 P幣的那些。樣本還很少,這一組的數字波動會很大,暫時不適合當結論看。
| 機率區間 | 題數 | 預測平均 | 實際命中 |
|---|---|---|---|
| 0%–20% | 38 | 7.2% | 7.9% |
| 20%–35% | 37 | 28.6% | 8.1% |
| 35%–45% | 52 | 40.2% | 38.5% |
| 45%–55% | 46 | 49.7% | 37.0% |
| 55%–65% | 32 | 58.9% | 34.4% |
| 65%–80% | 24 | 70.0% | 58.3% |
| 80%–100% | 16 | 95.8% | 62.5% |
三之二、看錯最多的事件題
有人投入、且不是提早結束的事件題裡,收盤時多數站錯邊、落差最大的 6 題。 機率是價格凍結時的收盤值(取樣時間列在每一列),結果依各題結算來源。 這是站上參與者的集體判斷失準的例子,不代表事件本身「機率」是多少。
| 題目 | 收盤「是」 | 結果 | 取樣(台北時間) | 投入 P幣 |
|---|---|---|---|---|
| Apple新品發表推出的 iPhone 18 Pro 會包含「櫻桃紅」配色嗎? | 98% | 否 | 2026/9/9 12:00 | 62,106 |
| 《藥師少女的獨語》會在 ABEMA 動畫祭宣布新作嗎? | 97% | 否 | 2026/9/21 00:00 | 40,398 |
| Stray Kids 台北大巨蛋演唱會 9/17 全面開賣當天會完售嗎? | 97% | 否 | 2026/9/17 23:59 | 33,510 |
| 始源會在9月底前發布中文口說影片嗎? | 95% | 否 | 2026/9/15 23:59 | 27,550 |
| 麥當勞BT21公仔會在9月20日前公告完售或停止換購嗎? | 95% | 否 | 2026/9/20 23:59 | 25,420 |
| 高雄AAA亞洲明星盛典門票會在9月19日開賣當天售罄嗎? | 7% | 是 | 2026/9/19 23:59 | 41,680 |
限制:單題落差不能說明整體準不準(看上面的 Brier 與技巧分數);投入少的題目一兩筆投入就能把收盤價推到極端; 條件限定只看「是/否」已結算的題,判定無效的不列。
同一批市場:本站 vs 外部來源
第一組與第二組樣本不同,直接拿兩個 Brier 相比沒有意義。這裡只取兩組都有、且兩邊結果一致的 1270 個市場: 本站收盤 Brier 0.2281,外部收單前 Brier 0.2277; 每題差值平均 0.00042,95% 區間 -0.00012~0.00096,區間跨過 0,看不出差別。 其中 796 題兩邊機率完全相同(沒人投入,站上價格就是外部價格),所以整體本來就很難拉開。 另有 1 題站上與外部的結果相反(pm-kbo-kiw-han-2026-08-07),人工查核前兩組都不收。
分聯盟表現
取自第二組(外部來源收單前機率)。只列樣本 5 題以上的聯盟;題數少的 Brier 波動極大,不具解讀價值。
| 聯盟 | 題數 | Brier |
|---|---|---|
| MLB | 437 | 0.238 |
| 日職 | 175 | 0.233 |
| NHL | 134 | 0.228 |
| 韓職 | 130 | 0.222 |
| NBA | 90 | 0.227 |
| 中職 | 89 | 0.252 |
| 西甲 | 78 | 0.203 |
| 英超 | 70 | 0.201 |
| 法甲 | 58 | 0.232 |
| 德甲 | 57 | 0.226 |
| 歐冠 | 55 | 0.177 |
| 加密貨幣 | 7 | 0.135 |
計算方式與排除條件
- 樣本=站上狀態為「已結算為是」或「已結算為否」的市場。判定為無效的不算——那代表無法依條件判定,不是預測錯。
- 讓分盤與大小分盤一律排除。它們的結果是從母場比分推出來的,算進去等於同一場比賽重複計數。
- 第一組的機率取自結算時寫下的市場快照。收盤機率是價格凍結那一刻的站上機率:原訂截止、實際停盤、結算三者中最早的那一刻起,就不再接受投入、也不再對齊外部行情。結算紀錄可能更晚才寫入,但收盤機率不會因此改變。明細的取樣時間就是這個凍結時間。
- 提早結束的題(停盤或結算早於原訂截止)不進第一組主結果。這類題在結果公開到停盤之間可能還有人投入,收盤價會被結果推過,2026 年 10 月檢查時發現過這種情況;含提早結束的數字列在第一組說明裡當參考。
- 技巧分數附 95% 區間(逐題 Brier 差的常態近似)。區間下界大於 0 才寫「優於基準」,跨過 0 寫「看不出優於基準」。樣本少於 200 題的組別在樣本數旁標「樣本少」。
- 排除原因計數:voided=判定無效;secondary=讓分/大小分附屬盤;no_pool=流動池沒成形;no_close_time=缺截止時間;post_close_anchored=截止後仍被外部行情錨定;no_preclose_history=外部組沒有截止前走勢;early_settled=提早結束;outcome_conflict=站上與外部結果相反。
- 第二組的機率取自外部來源走勢中「截止時間之前」的最後一點,中位數落在截止前約 1 小時。不使用淘汰當下的數值——賽事在結束後仍會在站上保留 48 小時,那時的數值早已跳到接近 0 或 100%,拿它計算會得出假的高準確度。
- Brier score=(機率 − 實際結果)² 的平均,實際結果以是=1、否=0 代入。技巧分數=1 −(本站 Brier ÷ 只報基準率的 Brier),大於 0 才代表比亂猜好。
- 已知限制一:資料期間目前只有數週。區間兩端(低於 20%、高於 80%)的樣本數看各組表格的 n 欄,桶內樣本少於 30 的實際命中率不宜單獨解讀。
- 第二組的來源:外部走勢自 2026-09-03 起改存獨立文件,本報告 9/15 前只讀舊位置,這一組因此停在 263 題;已修正為兩處都讀,之後會隨歸檔持續增加。
- 結果頁的題數與第一組不同:結果頁只列保留期內、且未下架的市場,並含判定無效者;這裡取的是全部歷史上已結算為是/否、且流動池成形的市場,不受保留期限制,也排除無效與已下架。兩邊的差額來自這幾條規則,不是漏算。
- 已知限制二:沒提早結束的題,也可能在截止前結果就已公開(例如加場公告早於截止),那段期間的投入會把收盤價推向結果。目前沒有逐題記錄「結果第一次公開的時間」,這類題還無法自動排除,數字可能因此偏好看。統計期間一律以實際結算時間計,不用截止時間——後者可能落在未來,會看起來像用了還沒發生的資料。
下載完整明細
每一題的市場代號、標題、收盤機率與實際結果。歡迎自行驗算——上面的數字若跟你算的不一樣, 請到爭議與更正頁告訴我們。
