文章來自：ThoughtWorks，世界經(jīng)理人經(jīng)授權(quán)轉(zhuǎn)載。

長久以來，如何有效衡量軟件研發(fā)效能是所有研發(fā)管理者心心念念的事，但也一直是個(gè)未解的難題。從早期的人均代碼行到人均功能點(diǎn)公式計(jì)算，再到基于故事點(diǎn)的迭代速率或人均吞吐量，業(yè)界一直在探索。

有失偏頗的指標(biāo)

人均代碼行，若作為關(guān)鍵指標(biāo)，與更優(yōu)秀程序員應(yīng)該用更優(yōu)雅和少的代碼這一邏輯相悖，且將軟件編程這一腦力勞動(dòng)等同于砌磚速度，顯然是不合理的。
 

功能點(diǎn)計(jì)算，通過基于需求分析和設(shè)計(jì)后確定要修改的頁面數(shù)、接口數(shù)等多種因素構(gòu)成的復(fù)雜公式計(jì)算，看似客觀，然而忽視了軟件研發(fā)工作的多樣性。渠道側(cè)應(yīng)用的界面更多，功能點(diǎn)數(shù)容易更大，但還有偏后端開發(fā)、基礎(chǔ)平臺(tái)開發(fā)、數(shù)據(jù)和報(bào)表開發(fā)、算法開發(fā)等多種類型的工作，前端開發(fā)也存在采用不同框架帶來的差異性，不可能用幾個(gè)公式客觀衡量團(tuán)隊(duì)的產(chǎn)能；另外，越來越復(fù)雜的計(jì)算公式要依賴準(zhǔn)確的設(shè)計(jì)，且很難讓每個(gè)人都理解，需要人投入專門的時(shí)間來計(jì)算，這種沒有價(jià)值創(chuàng)造的工作本來就是一種浪費(fèi)。

隨著敏捷開發(fā)的發(fā)展，故事點(diǎn)作為一種基于團(tuán)隊(duì)集體評(píng)估復(fù)雜度的工具可用于衡量細(xì)粒度需求的大小。一些管理者于是考慮用人均故事點(diǎn)來衡量產(chǎn)能。然而故事點(diǎn)沒有單位、不同團(tuán)隊(duì)故事點(diǎn)基準(zhǔn)可以不同，以及評(píng)估的主觀性特點(diǎn)，讓人均故事點(diǎn)、迭代速率很難作為令人滿意的效能衡量關(guān)鍵指標(biāo)。

關(guān)鍵的研發(fā)效能指標(biāo)集

經(jīng)過多年的探索總結(jié)，DevOps社區(qū)提出了衡量IT績效的四個(gè)關(guān)鍵指標(biāo)，包括前置時(shí)間（或交付周期）、部署頻率、部署失敗率和線上失敗恢復(fù)時(shí)長，簡稱“4 Key Metrics”。這是一個(gè)很好的方向。不過在實(shí)踐中，我們發(fā)現(xiàn)實(shí)際要關(guān)心的關(guān)鍵指標(biāo)其實(shí)不止這四個(gè)，例如生產(chǎn)缺陷率就是必不可少的關(guān)鍵結(jié)果，需求吞吐量也常常很受關(guān)注。下面是實(shí)踐中常見的研發(fā)過程度量指標(biāo)，其中部分是反映最終結(jié)果的關(guān)鍵效能指標(biāo)。
 

評(píng)價(jià)效能的關(guān)鍵原則

要觀察和評(píng)價(jià)研發(fā)效能，就首先要定義什么是效能？簡單一句話，效能就是團(tuán)隊(duì)能持續(xù)快速交付價(jià)值的能力。目的是交付價(jià)值，其研發(fā)核心能力在于“響應(yīng)力”與“穩(wěn)健性”，同時(shí)，響應(yīng)力這一概念又可以從“流動(dòng)速率”和“資源速率”兩個(gè)維度來觀察。前者是指價(jià)值從明確到交付用戶的周期時(shí)間，而后者是單位人力資源在單位時(shí)間里交付價(jià)值的數(shù)量，對(duì)創(chuàng)新與敏捷的要求使得前者的重要性更勝于后者。
 

因此，要評(píng)價(jià)效能，這里就有幾個(gè)關(guān)鍵原則：

1.任何單一指標(biāo)并不能合理地觀察和評(píng)價(jià)一個(gè)團(tuán)隊(duì)的效能，否則會(huì)產(chǎn)生副作用。例如單一看吞吐量，會(huì)驅(qū)使團(tuán)隊(duì)一味拆需求，或犧牲質(zhì)量；若單一看交付周期時(shí)間，可能驅(qū)使團(tuán)隊(duì)減少需求流入。

2.評(píng)價(jià)效能盡可能看全局結(jié)果，而非階段性表現(xiàn)，例如一次轉(zhuǎn)測通過率這樣的指標(biāo)通常很重要，反映開發(fā)階段內(nèi)建質(zhì)量的效果，然而用于評(píng)價(jià)效能不合適，它反映的不是團(tuán)隊(duì)整體表現(xiàn)。

3.效能評(píng)價(jià)原始數(shù)據(jù)應(yīng)該是來自工具的客觀記錄，不需要人工計(jì)算，不需要為評(píng)價(jià)浪費(fèi)時(shí)間，且對(duì)所有團(tuán)隊(duì)是一視同仁的。

4.考慮到軟件研發(fā)工作種類的多樣性和以腦力勞動(dòng)為主的工作性質(zhì)，研發(fā)效能的觀察更多應(yīng)關(guān)注團(tuán)隊(duì)的改進(jìn)趨勢，而非橫向?qū)Ρ鹊慕^對(duì)數(shù)值。

那怎么才能更合理有效地達(dá)成觀察和評(píng)價(jià)效能的目的呢？最直接的辦法，也是最理想的，就是學(xué)會(huì)觀察分析一組核心指標(biāo)，例如同時(shí)拿出4 Metrics的數(shù)據(jù)趨勢，或者上面圖中的關(guān)鍵效能指標(biāo)數(shù)據(jù)趨勢進(jìn)行分析和觀察。一些成熟的企業(yè)會(huì)將這些關(guān)鍵指標(biāo)做成Dashboard（儀表盤），便于觀察者一目了然分析全局狀況。這就像做數(shù)字化運(yùn)營的數(shù)據(jù)分析一樣，只有通過一組數(shù)據(jù)的對(duì)比分析才能得到相對(duì)有效的洞察。強(qiáng)烈建議每一位效能管理者、過程改進(jìn)者以驅(qū)動(dòng)改進(jìn)為目標(biāo)，學(xué)會(huì)和習(xí)慣以這種方式來評(píng)價(jià)一個(gè)團(tuán)隊(duì)的效能情況。

觀察效能的綜合評(píng)價(jià)指標(biāo)

但這一理想方式對(duì)觀察者要求較高，需要充分理解每一個(gè)指標(biāo)的含義和內(nèi)在邏輯，并且這樣一組核心指標(biāo)對(duì)于反映宏觀的效能改進(jìn)趨勢還是不夠直觀，認(rèn)知負(fù)載有點(diǎn)高。尤其對(duì)于一些管理層和外部人員，看不出整體效能到底是變好還是變差了。想要解決這個(gè)問題，我想到了一些類似的解決方案。
 

國家需要一些指標(biāo)來持續(xù)觀察一個(gè)經(jīng)濟(jì)體的整體經(jīng)濟(jì)狀況，典型的像居民消費(fèi)價(jià)格指數(shù)（CPI）、購買力平價(jià)指數(shù)（PPP），都是采用一籃子指標(biāo)基于某種內(nèi)在邏輯構(gòu)成的復(fù)合指標(biāo)。好處是：

1.雖然不能說明問題根因在哪里，但能更直觀反映全局表現(xiàn)

2.其變化可綜合多種因素的影響，可體現(xiàn)不同因素對(duì)整體評(píng)價(jià)的影響程度

3.降低了為使得單一指標(biāo)好看而采取片面行為的可能性

于是，在實(shí)踐案例中，我們?cè)O(shè)計(jì)了下面這樣的概念公式，綜合了六個(gè)要素來產(chǎn)生一個(gè)綜合評(píng)價(jià)指數(shù)（研發(fā)效能CEI），可以以周或月進(jìn)行統(tǒng)計(jì)：

綜合效能 = （交付吞吐量 部署頻率 發(fā)布成功率） / （需求交付周期 線上穩(wěn)定性 債務(wù)積壓）

交付吞吐量

反映資源速率，通常是指單位時(shí)間交付需求的個(gè)數(shù)，但這是六個(gè)要素中最難以有效計(jì)算的，因?yàn)榕c需求顆粒度有關(guān)。功能點(diǎn)、故事點(diǎn)都需要人為評(píng)估，且存在以上一些問題。于是采用一個(gè)自然產(chǎn)生的近似值：故事開發(fā)時(shí)長，即從開始開發(fā)到開發(fā)完成的時(shí)間，依靠看板中的故事拖動(dòng)產(chǎn)生。盡管這一時(shí)長可能受個(gè)體開發(fā)效率影響，但在統(tǒng)計(jì)學(xué)意義上可以近似代表需求大小。開發(fā)時(shí)長還受到同時(shí)并行工作的故事數(shù)的影響，同樣大小，并行越多，時(shí)長越長。因此交付吞吐量的人均值計(jì)算如下：

交付吞吐量 = 交付故事個(gè)數(shù) * （平均故事開發(fā)時(shí)長 / 平均的人均故事開發(fā)WIP）/ 團(tuán)隊(duì)Size

部署頻率

這個(gè)指標(biāo)就是人均的發(fā)布單元部署次數(shù)，理論上團(tuán)隊(duì)規(guī)模越大能夠交付越多的需求，應(yīng)該更頻繁地交付特性。為了提高頻率，這個(gè)指標(biāo)會(huì)驅(qū)使團(tuán)隊(duì)拆分部署單元?？紤]到部署頻率相對(duì)吞吐量和周期時(shí)間對(duì)整體效能評(píng)價(jià)的重要性相對(duì)較低，因此其影響通過冪函數(shù)降級(jí)。部署頻率 = （部署單元部署次數(shù) / 團(tuán)隊(duì)Size）^（1/e）

發(fā)布成功率

這一指標(biāo)較簡單，即每次上線發(fā)布的成功率，只要發(fā)生回滾或新版本產(chǎn)生重要故障即視為不成功。由于這一指標(biāo)是百分率，比率越高提升困難越大，因此采用以下指數(shù)函數(shù)參與計(jì)算：

發(fā)布成功率 = e ^ 版本發(fā)布成功率

需求交付周期

這是反映流動(dòng)速率的關(guān)鍵指標(biāo)，即從需求確認(rèn)到需求上線的周期時(shí)長，衡量團(tuán)隊(duì)對(duì)價(jià)值的響應(yīng)速度。這里對(duì)需求的統(tǒng)計(jì)尺度不采用故事，而是采用可獨(dú)立上線的特性或用戶需求。需求交付周期 = 平均特性交付周期

線上穩(wěn)定性

對(duì)線上穩(wěn)定性的衡量可以綜合幾個(gè)不同角度的基礎(chǔ)指標(biāo)，人均生產(chǎn)缺陷、停機(jī)時(shí)長和線上失敗恢復(fù)時(shí)長?？紤]到人均生產(chǎn)缺陷、停機(jī)時(shí)長和線上失敗恢復(fù)時(shí)長數(shù)值可能為0，且數(shù)字越小越難提升，以及這幾個(gè)指標(biāo)數(shù)值的波動(dòng)性很大，因此通過以下冪函數(shù)降級(jí)。線上穩(wěn)定性 = （（（生產(chǎn)缺陷個(gè)數(shù)+1）/ 團(tuán)隊(duì)Size （停機(jī)時(shí)長+1）（線上失敗平均恢復(fù)時(shí)長+1））^ （1/e）

債務(wù)積壓

最后一個(gè)因素我認(rèn)為需要加進(jìn)來。這里所謂的“債務(wù)”是指各類團(tuán)隊(duì)?wèi)?yīng)當(dāng)及時(shí)解決然而未解決的問題，包括需求積壓、缺陷積壓、技術(shù)債務(wù)。團(tuán)隊(duì)在快速交付過程中可能欠下很多債務(wù)。如果忽略了技術(shù)債務(wù)、缺陷積壓，一段時(shí)間里的高速率其實(shí)只是掩蓋了問題。而對(duì)于需求積壓，即便團(tuán)隊(duì)自己認(rèn)為效能很高，然而站在業(yè)務(wù)方角度，其效能仍無法滿足需要，其感知到的效率不高。缺陷積壓即未解決的缺陷；需求積壓是業(yè)務(wù)提出但超過一定時(shí)限仍未進(jìn)入交付的需求；技術(shù)債務(wù)目前容易量化的是代碼債務(wù)，例如Sonar掃描的結(jié)果，如果可能也可以包括架構(gòu)債務(wù)的數(shù)量。當(dāng)然，考慮到這幾類積壓的重要性差異，賦予一定權(quán)重。人均的積壓計(jì)算如下：

債務(wù)積壓 = （需求積壓 50% + 缺陷積壓 30% + 技術(shù)債務(wù)量 / 10 * 20%）/ 團(tuán)隊(duì)Size

最后，綜合考慮到分子和分母計(jì)算中均有兩次團(tuán)隊(duì)Size參與計(jì)算，可考慮簡化將其相互抵消，形成如下最終計(jì)算公式：

下面是實(shí)踐中基于實(shí)際度量數(shù)據(jù)形成的綜合評(píng)價(jià)指數(shù)曲線和源數(shù)據(jù)示例。我們能夠直觀的看到綜合多種因素后團(tuán)隊(duì)整體效能的變化。在圖中額外自動(dòng)生成了一條紅色趨勢線（虛線），能夠體現(xiàn)一段時(shí)間周期內(nèi)，效能的總體變化趨勢是變好還是變差以及變化幅度大小。由于團(tuán)隊(duì)工作的多樣性，可能不同類型的團(tuán)隊(duì)計(jì)算出的指數(shù)結(jié)果數(shù)值差異較大，因此該曲線主要用于團(tuán)隊(duì)與自己過往相比，或者在工作性質(zhì)類似的研發(fā)團(tuán)隊(duì)之間做橫向比較。

綜合指標(biāo)應(yīng)用場景和意義

通過統(tǒng)計(jì)和觀察該綜合指標(biāo)，可以有效解決前面單一指標(biāo)、人工統(tǒng)計(jì)的問題，且能反映出不同維度指標(biāo)因素對(duì)綜合效能的影響程度。那么該指標(biāo)趨勢對(duì)誰有用呢？實(shí)踐中有以下幾種應(yīng)用場景：

1.對(duì)于高層管理者或不熟悉效能數(shù)據(jù)分析的人，可以向其直觀展現(xiàn)團(tuán)隊(duì)和組織的效能變化，作為溝通研發(fā)效能的基礎(chǔ)；

2.對(duì)于部門和團(tuán)隊(duì)負(fù)責(zé)人、教練，能夠快速了解團(tuán)隊(duì)的效能總體變化；當(dāng)曲線發(fā)生顯著波動(dòng)時(shí)，再深入展開分析是哪幾個(gè)因素導(dǎo)致了整體結(jié)果波動(dòng)，從而采取改進(jìn)措施；

3.當(dāng)部門或團(tuán)隊(duì)設(shè)定效能提升的目標(biāo)時(shí)，如OKR，可以用綜合指數(shù)作為衡量目標(biāo)達(dá)成的關(guān)鍵結(jié)果，避免團(tuán)隊(duì)片面地關(guān)注單一指標(biāo)提升，而是關(guān)注綜合結(jié)果，在重點(diǎn)提升個(gè)別指標(biāo)的同時(shí)，也要確保其它關(guān)鍵指標(biāo)不下滑。

該指標(biāo)公式也還有很多改進(jìn)空間，例如不同的企業(yè)、部門對(duì)效能的解讀不同，或者對(duì)不同關(guān)鍵指標(biāo)的重視程度不同，可以適當(dāng)調(diào)整公式中的影響程度因子或權(quán)重?；蛘?，在對(duì)發(fā)布成功率、生產(chǎn)缺陷等因素如何作用于最終結(jié)果的算法上，可能有更科學(xué)準(zhǔn)確的公式，也可以改進(jìn)它，歡迎提出建議。