免費試讀課程單元 · AI 產品管理:範疇、評測與上線

規則優先

如果一條簡單規則就能做到模型一半的效果,你還會急著導入 AI 嗎?

Wondering 課程《AI 產品管理:範疇、評測與上線》的第 1 個課程單元

先問:規則能解決嗎?

接到新需求時,AI 產品經理的第一步不是挑模型。

而是先問:這個問題,能不能用一條簡單規則解決?

如果一條規則就能做到模型一半的效果,急著導入 AI 可能只是多花錢。

一半的效果,值得多少成本?

這就是規則優先:先用規則建立基準,再決定要不要換成模型。

規則是最好的基準

規則有四個明顯優點:開發快、成本低、好解釋、容易除錯。

模型則要付出開發、推論與維護成本。

規則與模型的代價
  • 規則
  • 模型

所以規則很適合當成基準:任何 AI 方案,都要先跟它比一比,看看多出多少效益。

情境:自動分類客訴

假設某電商客服主管想導入 AI 模型,把客訴自動分到「退貨」「物流」「付款」三類。

客訴要分去哪裡
  • 客訴: 分錯就轉錯部門,延遲回覆
  • 退貨
  • 物流
  • 付款

工程團隊估計,模型要花三個月開發,每月還要付推論費用。

分類錯了會怎樣?客訴會轉錯部門,回覆跟著延遲。

先寫規則,再測試

第一步,先寫關鍵字規則。例如信件出現「退貨」「退款」,就歸到退貨類。

這種規則一天就能上線。

第二步,用假設的 500 封歷史客訴測試:規則正確率 80%,模型原型 88%。

500 封歷史客訴的正確率(假設)
  • 規則: 一天就能上線
  • 模型原型: 88

現在你有了基準,可以具體比較兩者差多少。

多 8 分值不值得?

第三步,比較成本。模型只多出 8 個百分點的正確率。

代價卻是多花三個月開發,加上每月持續的推論費用。

效益與成本放一起看
  • 模型多出的正確率: 8 個百分點
  • 模型額外開發時間: 還要加上每月推論費用
  • 規則上線時間: 1 天

數字皆為假設情境

效益比不上成本,所以結論是:先上線規則。

這不代表模型不好,只是現在還不划算。

事先寫好換模型的條件

規則不會永遠夠用。情況太多變、規則多到難以維護,或錯誤率影響使用者與商業目標,規則就做不好了。

但還要再確認:模型多出的效益,是否高於開發、推論與維護成本?

要不要換成模型
  • 規則已上線
  • 規則做不好了?: 情況多變、難維護或錯誤率影響目標
  • 效益高於成本?: 比較開發、推論與維護成本
  • 繼續用規則
  • 改用模型

這些時機要用可衡量的條件事先定義,不要憑直覺。

例如客服案例:正確率掉到 75% 以下,或客訴類別多到規則難以維護,就導入模型。

帶回你的工作

下次遇到新需求,照這個順序走。

規則優先四步驟
  • 先寫規則: 用簡單規則快速上線。
  • 測出基準: 用歷史資料量出規則的表現。
  • 比較成本: 模型多出的效益要高於開發、推論與維護成本。
  • 設定條件: 用可衡量的條件定義何時換成模型。

先寫規則、測出基準,再比較模型多出的效益與成本。

最後寫下換成模型的條件,定期檢查。

這樣能省下不必要的開發與維護成本,也讓導入 AI 的決定有憑有據。

自我檢測

一位 AI 產品經理接到新需求:自動把使用者的留言標成「好評」或「負評」。他接下來應該_____

  • 先問這個問題能不能用簡單規則解決
  • 先比較市面上哪個 AI 模型最準

答案: 先問這個問題能不能用簡單規則解決

面對新需求,第一步不是挑模型,而是先問簡單規則能不能解決。規則開發快、成本低,可以當成衡量任何 AI 方案的基準。

假設某訂餐 App 想自動判斷訂單備註是不是「要求不加辣」。團隊測試後發現:關鍵字規則正確率 90%,AI 模型原型 91%。模型要多花六個月開發,每月還要付推論費用。判斷錯了的影響很小。比較合理的做法是哪一個?

  • 先上線規則,因為模型多出的效益比不上成本
  • 改用模型,因為模型的正確率比規則高
  • 規則和模型都不用,因為兩者都不是 100% 正確
  • 改用模型,因為規則以後一定很難維護

答案: 先上線規則,因為模型多出的效益比不上成本

模型只多出 1 個百分點,卻要多花六個月和每月費用,多出的效益不及成本,所以先上線規則。模型比較準,不代表就值得改用。

一個團隊決定先用規則上線。對於「什麼時候該換成模型」,比較好的做法是_____

  • 事先訂好可衡量的條件,例如正確率掉到某個數字以下就換
  • 先不訂條件,等大家覺得規則不好用時再討論

答案: 事先訂好可衡量的條件,例如正確率掉到某個數字以下就換

換成模型的時機應該事先用可衡量的條件定義,例如「正確率掉到某個數字以下」,而不是憑直覺決定,這樣才不會太早或太晚換。

繼續學習

這是《AI 產品管理:範疇、評測與上線》共 8 個課程單元中的第 1 個。接下來:

  1. 自動或輔助
  2. 錯誤代價
  3. 成功指標
  4. 超越感覺
  5. 首套評測

免費開始這門課程

Wondering 把任何主題變成可以閱讀、觀看或收聽的短課程單元,並附有練習題和 AI 家教。