免費試讀課程單元 · AI 產品管理:範疇、評測與上線
規則優先
如果一條簡單規則就能做到模型一半的效果,你還會急著導入 AI 嗎?
Wondering 課程《AI 產品管理:範疇、評測與上線》的第 1 個課程單元
先問:規則能解決嗎?
接到新需求時,AI 產品經理的第一步不是挑模型。
而是先問:這個問題,能不能用一條簡單規則解決?
如果一條規則就能做到模型一半的效果,急著導入 AI 可能只是多花錢。
這就是規則優先:先用規則建立基準,再決定要不要換成模型。
規則是最好的基準
規則有四個明顯優點:開發快、成本低、好解釋、容易除錯。
模型則要付出開發、推論與維護成本。
- 規則
- 模型
所以規則很適合當成基準:任何 AI 方案,都要先跟它比一比,看看多出多少效益。
情境:自動分類客訴
假設某電商客服主管想導入 AI 模型,把客訴自動分到「退貨」「物流」「付款」三類。
- 客訴: 分錯就轉錯部門,延遲回覆
- 退貨
- 物流
- 付款
工程團隊估計,模型要花三個月開發,每月還要付推論費用。
分類錯了會怎樣?客訴會轉錯部門,回覆跟著延遲。
先寫規則,再測試
第一步,先寫關鍵字規則。例如信件出現「退貨」「退款」,就歸到退貨類。
這種規則一天就能上線。
第二步,用假設的 500 封歷史客訴測試:規則正確率 80%,模型原型 88%。
- 規則: 一天就能上線
- 模型原型: 88
現在你有了基準,可以具體比較兩者差多少。
多 8 分值不值得?
第三步,比較成本。模型只多出 8 個百分點的正確率。
代價卻是多花三個月開發,加上每月持續的推論費用。
- 模型多出的正確率: 8 個百分點
- 模型額外開發時間: 還要加上每月推論費用
- 規則上線時間: 1 天
數字皆為假設情境
效益比不上成本,所以結論是:先上線規則。
這不代表模型不好,只是現在還不划算。
事先寫好換模型的條件
規則不會永遠夠用。情況太多變、規則多到難以維護,或錯誤率影響使用者與商業目標,規則就做不好了。
但還要再確認:模型多出的效益,是否高於開發、推論與維護成本?
- 規則已上線
- 規則做不好了?: 情況多變、難維護或錯誤率影響目標
- 效益高於成本?: 比較開發、推論與維護成本
- 繼續用規則
- 改用模型
這些時機要用可衡量的條件事先定義,不要憑直覺。
例如客服案例:正確率掉到 75% 以下,或客訴類別多到規則難以維護,就導入模型。
帶回你的工作
下次遇到新需求,照這個順序走。
- 先寫規則: 用簡單規則快速上線。
- 測出基準: 用歷史資料量出規則的表現。
- 比較成本: 模型多出的效益要高於開發、推論與維護成本。
- 設定條件: 用可衡量的條件定義何時換成模型。
先寫規則、測出基準,再比較模型多出的效益與成本。
最後寫下換成模型的條件,定期檢查。
這樣能省下不必要的開發與維護成本,也讓導入 AI 的決定有憑有據。
自我檢測
一位 AI 產品經理接到新需求:自動把使用者的留言標成「好評」或「負評」。他接下來應該_____
- 先問這個問題能不能用簡單規則解決
- 先比較市面上哪個 AI 模型最準
答案: 先問這個問題能不能用簡單規則解決
面對新需求,第一步不是挑模型,而是先問簡單規則能不能解決。規則開發快、成本低,可以當成衡量任何 AI 方案的基準。
假設某訂餐 App 想自動判斷訂單備註是不是「要求不加辣」。團隊測試後發現:關鍵字規則正確率 90%,AI 模型原型 91%。模型要多花六個月開發,每月還要付推論費用。判斷錯了的影響很小。比較合理的做法是哪一個?
- 先上線規則,因為模型多出的效益比不上成本
- 改用模型,因為模型的正確率比規則高
- 規則和模型都不用,因為兩者都不是 100% 正確
- 改用模型,因為規則以後一定很難維護
答案: 先上線規則,因為模型多出的效益比不上成本
模型只多出 1 個百分點,卻要多花六個月和每月費用,多出的效益不及成本,所以先上線規則。模型比較準,不代表就值得改用。
一個團隊決定先用規則上線。對於「什麼時候該換成模型」,比較好的做法是_____
- 事先訂好可衡量的條件,例如正確率掉到某個數字以下就換
- 先不訂條件,等大家覺得規則不好用時再討論
答案: 事先訂好可衡量的條件,例如正確率掉到某個數字以下就換
換成模型的時機應該事先用可衡量的條件定義,例如「正確率掉到某個數字以下」,而不是憑直覺決定,這樣才不會太早或太晚換。
繼續學習
這是《AI 產品管理:範疇、評測與上線》共 8 個課程單元中的第 1 個。接下來:
- 自動或輔助
- 錯誤代價
- 成功指標
- 超越感覺
- 首套評測
Wondering 把任何主題變成可以閱讀、觀看或收聽的短課程單元,並附有練習題和 AI 家教。