單一指標對決策的影響-淺談 古德哈特定律

by Travis Chang

前些日子,一個在物流公司當宅配員的朋友告訴我,他被公司抓到代簽顧客收貨單,所以被公司開除了。雖然代簽這個行為本身是錯誤的,我們也可以把問題著重在行為錯誤的討論上,但我想從另一個更廣的角度思考:一項錯誤的行為(或結果),有沒有可能是因為政策與制度方面所造成的?
經過更深入的研究之後發現,原來相似的問題可以追溯到1975年經濟學家古德哈特所提出的理論,這個理論的應用小至個人目標、公司治理,大至民生經濟、國家考試、國家決策等等各方面的政策制定都與它有關。這個理論如此的重要,但許多的決策者卻總是思考「如何讓公司營收增加」、「如何讓xxx最大化」等等,都是著重在單一指標的優化,卻忽略「過度依賴某項指標做決策,反而容易造成其他意想不到的結果」。我們的學校從沒有教育我們如何做決策,也沒有教會我們深入思考制度與政策的問題,即使市面上有類似做決策的書籍,即使這個理論已經提出了將近五十年,卻甚少人談論古德哈特定律,然而這項定律是如此的簡單卻又如此的重要,因此,不論你只是一個想要設定個人目標的人或是帶領一群人的決策者,我都希望透過這篇文章引領你了解指標的重要性與古德哈特定律的影響。

單一指標會產生 古德哈特定律 效應。

一、 古德哈特定律 (Goodhart’s Law)

回到一開始的宅配司機,他所在的物流公司為了鼓勵司機多送貨,採取了「送越多貨、收入越高」的薪資結構,我這個朋友非常想要賺錢,所以他送的貨量比其他宅配員多。但宅配員卻常常碰到收件人不在家也沒有其他代收人,因此多跑一趟是常有的事。但,他卻會用電話告訴顧客說:「不然我幫你把貨放在鞋櫃旁邊(或某個地方),我幫你代簽,你下班到家就可以拿到貨了。」大部分的顧客都同意貨件提早送達,因此我的朋友不用像其他人一樣要跑回頭車,而他也是全單位收入最高的宅配員。

Apple 創辦人賈伯斯:「你必須非常小心你激勵員工的方式,因為不同的激勵機制會產生不同的結果,而這樣的結果有時候你根本無法預期。」


利用「送貨量」當作分配薪資的指標,確實使得司機為了賺更多薪水而更願意送貨也讓送貨時間縮短,但卻有可能造成顧客滿意度下降,甚至發生宅配司機代簽行為。這種為了達成特定單一目標,而扭曲原本立意良善的出發點的情形,就稱作「古德哈特定律」(Goodhart’s Law)。

古德哈特定律:「當一項指標被設定為要達成的目標時,這項指標就無法成為一個好的指標。」

“When a measure becomes a target,

it ceases to be a good measure.)

也就是說當人們設定一項目標,他們會傾向優化所設定的指標(metric),即使優化指標所造成的結果有可能更糟,他們還是會忽略指標以外其他更重要的部分。而當我們從前面的例子注意到古德哈特定律的效應後,就會發現這樣的效應充斥在我們身活周遭…

1.警政長官為了讓民眾對政府打擊犯罪的信心有感,提出了一個「治安提升專案」計畫。方法是經過年度及月度總結,觀察哪個分局的犯罪率最高,若是連續幾個月都維持吊車尾的成績,該分局局長就必須下台負責。各分局長為了保住自己的官位,要求屬下員警「盡量」受理能破案的案件,並「盡量」不要有案件發生。因此,曾有人因轎車失竊到警局報案,員警說給他三天時間,若能幫他找回失竊車輛,就不需要報案。果然,員警在三天內找回失竊車輛,也讓該分局減少了一件「有登記」的失竊車輛案件。

2.記者為了得到最多的新聞點閱,以聳動的標題吸引讀者觀看,卻降低了新聞品質。

3.主管為了提升客服部門的效率,薪資由原本的固定薪資改為績效制。誰能接的電話最多,薪水越高。結果客服人員為了能更快接到電話,對客戶更不耐煩、沒有等客戶掛電話就直接掛斷,雖然讓客戶等待時間變短,卻使得服務品質下降。

從上述的例子我們可以發現,為了達到所期待的結果,利用單一指標評價卻導致結果出乎意料,也正印證了古德哈特所說:「任何受觀測的指標一旦以控制、操作為目的時,這項指標的正確性就會傾向崩解。」然而,人們為什麼如此重視指標並期待它能夠改進結果?

二、指標的重要性

利用「指標」來評估績效有可能達到我們期待的結果,卻也有可能造成指標正確性的崩解。事實上,指標作為一種評價方式仍然是不可或缺的,例如KPI、OKR這類指標能夠對員工在工作上的改進有一定的幫助。他能讓人更深入去思考如何控制、並且改進我們希望達到的目的。

「測量是為了達到控制的第一步,進而達到改善的最終目的。

如果你不能測量事物,你就無法了解它。

如果你不能了解它,你就不能控制它,

如果你不能控制它,你就不能改善它。」——詹姆士·哈林頓 (James Harrington)

正如這位17世紀的政治理論家所說的,指標能夠測量事物的有效性,以致於人們現今依舊非常重視指標,然而古德哈特定律的結果卻讓指標評價成為一種必要之惡。

三、多重指標>單一指標

人們總是不斷的尋找,有沒有辦法只用一項指標,就可以完全評估所有的事,我們只要利用它,就可以根據指標數值去改進我們的目標。但我們要知道,人們會想盡辦法優化指標數值。我們已經根據古德哈特定律的結論知道,為了達到系統優化所採取的單一指標,是無法徹底解決我們希望改善的目的,並有可能達到我們意想不到的結果。因此,評估系統最好的方式是利用多重指標,以不同面向去分析系統,才能讓古德哈特定律的影響降到最低。

利用多重指標能夠降低 古德哈特定律 效應。

就像先前說的宅配公司為了達成「送貨完成率」,利用獎金提高宅配司機的效率之外,就我所了解,有些宅配公司為了不讓司機趕著送貨,採取GPS速限,公司透過GPS系統可以觀看各宅配車輛的配送車速;也為了行車安全,降低「事故發生率」而採取在一條巷弄不得倒車超過多少公尺,一但違反公司規定,就必須寫報告;或是利用電子簽單機簽收,方便快速查閱收貨人簽名;為了增加「顧客滿意度」,甚至提供送貨到府,即使是公寓五樓,宅配員也得走樓梯親送。而利用這樣的多重指標或許不能完全杜絕司機開快車趕送貨或是代簽情形,但絕對能大大降低這些情形的發生率。

結語

我有幾個喜歡的作者,他們都透露自己曾經以「閱讀量」當作個人的績效,他們會在新的一年開始之際就立定一年要讀一百本、兩百本書。在年末時他們也確實完成當初所設定的目標,但他們發現原本讀過的書大多都已經忘了內容。所以他們開始思考,應該如何改善知識吸收的效率。他們嘗試以自己當下需要解決的問題,去書本裡面找答案。而帶著問題找答案,是吸收知識最快的方式。他們不再以閱讀量為個人評價標準,而是能夠解決當下問題,並且透過自己設計的反省機制,讓自己改變行動,才算真正了解知識。從原本的以「閱讀量」這個單一指標,轉換為「以解決問題來閱讀」的另一個單一指標,反而夠能夠有效率地獲得知識、並解決問題,這就是選擇正確指標所帶來的強大改變。

雖然文章之前提過要利用多重指標才能降低古德哈特定律的影響,但我認為更重要的,是設定能創造價值的指標才是最重要的。也就是說,很多人選擇的指標常常是由內而外的角度來看事物,但更重要的是選擇正確的指標(由外而內的觀看),以另一種角度來評估指標才能達到良好的績效。

比如:
1.醫生原本從設定一個月看診數要求達到300人,改成使診斷正確達到85%,並給予病人適當的治療。
2.電話客服從原本每小時處理10位顧客來電,變成讓第一次來電的顧客,90%都能解決問題。
3.物流人員原本設定85%的貨品都能依照進度從倉庫發貨,變成85%的貨品都能在顧客指定時間送達。

也就是說,一個正確的指標,好過多個錯誤的多重指標。正如OKR與KPI都是非常好的績效管理指標,他們也是由幾項指標建立起來的評價系統,但前提是建立在選擇正確的指標之上,否則是無法完全發揮他們的功能。因此在利用指標追求績效的同時,我們必須嘗試以「創造價值」而不單純只以「追求目標」為目的,最後才是輔以多重指標來評估,我相信才能真正讓古德哈特定律的影響降到最低。(延伸閱讀:三個臭皮匠勝過一個諸葛亮, 群眾智慧 的原理與運用

參考資料:

1.Unintended Consequences and Goodhart’s Law

2.Campbell’s Law & Goodhart’s Law: When you are measuring to fail

3. Wiki , Goodhart’s Law

4. 經理人, 什麼是 OKR?跟 KPI 差在哪?一次讀懂 Google、Linkedin 都在用的 OKR 目標管理法

5.Goodhart’s Law: 當被評量者把度量數值當成目標來追逐時

You may also like

請留言