Uncertainty啊，你背了多少黑鍋

【小芳老師碎碎念系列之四】

從管理學教科書裡看到，經營管理者希望對事物有充份的了解之後，才能做出比較好的決策。

l  「知識或情報」 帶來 「確定性 (certainty)」

l  「缺乏知識或情報」 等於 「決策時有不確定性 (uncertainty)」

應用在臨床醫學上的時候，medical decision making這學門告訴我們，面對一位病人，常常診斷和預後都不是馬上就明確、可以一清二楚的。所以引進了量化的指標來幫助我們了解它們，像是敏感度特異度；以指標來幫助我們選擇比較好的臨床處置，像是利用決策樹來計算某種治療方式的預期存活年數。

這些量化的指標，可以幫助我們掌握可能發生的結果，是很好的決策輔助工具。但是它不是算命，也不可能精確。因為，JFK說過…

講到decision analytic modeling模型建構，教科書上告訴我們，模型建構有以下兩種來源的不確定性:

1.         參數不確定性(parameter uncertainty)

n  對於參數真正數值(true numerical value)的不確定；譬如說，到底這個疾病的發生率如何、多少人會願意就醫等。

2.         模式不確定性(model uncertainty)

n  所建構模式是否真正的反映問題體系的不確定性，亦即「模式架構不確定性(model structure uncertainty)」。以我們的子宮頸癌模式為例，是用LSIL – HSIL來架構還是用CIN 1 – CIN2/3來架構好?

n  及分析者在模式分析、資料整理過程所造成的不確定性，「模式過程不確定性(model process uncertainty)」。像是modeler不小心加錯了、函數放錯了等等。

或是，我們可以從分析的過程來想:

l  有些數值在進行成本效性分析時尚未或無法被觀察到，例如未來的疾病發生機率或醫藥價格膨脹的比例等等。

l  有些數值尚未得到共識，例如折現率的選擇。

l  某些參數的估計過程就是有一定的不確定性，譬如採用流行病學方法觀察疾病發生率等。

l  參數估計時雖未有偏差，但存在了選樣變異(sampling variability)。

l  雖對某些族群有比較精確的參數估計值，但對另一些族群的資料就無法得到同樣精確的資料。

不過如果仔細再看，前述模型建構及估算，有些不確定性是可以減少的(像是建模者的失誤)，有些則是證據上先天的限制。學術上我們研究者可以經由一些方法的努力，來減少uncertainty或呈現這個「uncertainty」的大小 – 如用reference case、敏感度分析、CEACs、另人檢查模型等等。這些努力，是讓決策者了解，我們對這件事的knowledge到哪裡，知道目前我們放進去估算的證據，是鐵證如山還是姑且算算。因為該做的決策就是要做，只是決策時知道自己當時能掌握的是多是少，這點有管理上的重要性。如果uncertainty高，就要準備各種方案處理可能有的「驚喜」。想辦法讓意外的事減到最低。或是考慮再等清楚一點，不過這時就要權衡等待的時間機會成本了。

如果在建模型時按照good modeling practice的建議，選擇有生物意義的模型架構、選擇最合適的參數值(例如系統性文獻回顧加統合分析 SR/MA)、以大家公認合適的方法選擇機率性敏感度分析的參數值範圍，再加上合宜的uncertainty呈現(例如CEACs)，有基本訓練的決策者應該可以就其結果大致抓到，這件新科技目前的成本效果是否有足夠把握(certainty)，進而去做價值判斷，決定要不要給付或納入政策。(譬如可以這樣想: 某個新藥的ICER是300,000NTD/QALY，而它的機率性敏感度分析結果，90%以上的機率其ICER是在1,000,000 NTD/QALY之下，那這個藥的成本效益可以算得上是過關了。也就是看的是點估計值多少，而這個點估計值本身的不確定性有多大。)

總之，做分析的人要做好科學的工作，讓決策者可以盡量掌握這件新科技在目前的科學或經濟價值，及其估算的不確定性。決策者則應該理解這些努力，是為其在當下做決策之時，對這項新科技的未來應用，有比較好的猜想與估算，以便做出較好的決策、甚或及時準備其他配套措施。

最後附帶一提，對decision analytic modeling學門來說，是先以models預測health outcomes、再發展成cost-effectiveness計算，最後順便應用到budget impact analysis的。所以BIA在模型建立與不確定性的闡釋上以上的說明也大致上可通。至於BIA的其他討論，以後再找機會跟大家碎碎念…

#uncertainty
#小芳老師碎碎念

決策分析要掌握三項特性

【小芳老師碎碎念之番外篇】

姑不論誰先誰後，目前的HTA裡面所有跟數量有關的分析，就是現在decision analysis的範疇。(原因很簡單，HTA的定義，和decision analysis的定義去查一下就知道。)

而只要是決策分析，最重要的就是要掌握以下這三種特性:
1. Context
2. 其本質是"educated guess"
3. uncertainty

當你了解了以上這三種特性是甚麼，以及他們的重要性，才算真正進入HTA的世界。

#小芳老師碎碎念

Value, value, value...

【小芳老師碎碎念系列之三】

那天，帶我踏入decision analytic modeling and cost-effectiveness analysis領域的老師語重心長的對我說：「小芳，我們這種做決策的，是沒有人能只靠cost-effectiveness做決定的…」。雖然老師跟我說這句話是在講別的事，但也引起來我想跟大家分享這些年從做CEA、漸漸到HTA這領域期間對我們專業的想法。

Value, value, value…

如果沒有經過特殊的停看聽訓練，我們這種平凡人聽到有一個新藥、一種新手術問市了，會覺得「太棒了」，甚至有種「magic bullet」的想像。在我小時候，經濟起飛、到處充滿希望的年代，新的東西一直出來，每樣新科技/醫藥產品都帶給大家無窮的信心，廠商說什麼我們都相信它有神奇的功效。

慢慢的，實證醫學的概念出來，大家開始重視臨床證據。臨床試驗說有效就是好。然後當然要用最新最好的。

有一天政府體系開始發現，科技發展帶來的需求，已經超乎想像，每一樣有效的東西都要採用，是不可能的。這時候health economist以及health policy experts帶進了成本效果的概念，想要幫助決策者買得划算(也就是考量value for money)的問題。

這時候的CEA有很多新概念的引進，譬如說什麼是效果? 健康經濟學者說短期臨床試驗的效果不夠決策者去評斷，尤其是不同疾病領域間資源的競爭。最好是長期的，像是survival。然後有些醫藥介入不是存活的效果，是健康生活品質的提升，所以提倡以quality-adjusted-life-years (QALY)為經濟評估最後的效果指標，來同時將存活期間與生活品質納入效果考量。

講到這裡，如果我們稍微整理一下，過去這幾十年來的新醫藥「價值」觀，大概是：新的－（臨床試驗說）有效果的－推估有QALY增加效果的－效果加經濟價值的，就是好的該買的。

過去20年由於HTA的慢慢進展，我們常常聽到新醫藥科技的考量要注意成本效益cost-effectiveness，要求花錢買這個科技是值得的，也就是value for money。(或許這可以解釋為什麼我們常有個印象是HTA = CEA，甚至會簡化成value = cost-effectiveness。)

國內外有做market access的業界朋友，或是在/曾做過HTA體系的人，也許大家願意討論一下，是否可以在送件申請書的大綱上看出保險或決策體系「價值」的端倪 - 在提出這項產品值得保險納入給付時，申請書上要求什麼證據? 委員代表保險公司希望看到什麼? 是不是反映了他會在乎產品的什麼特性? (難怪人家說準備個送件資料叫「value pack」或「value dossier」)

大家都說HTA最在意的是相對療效(包含了安全性)和成本效果。讀者你怎麼想呢? 有沒有其他的新藥特性也應該納入價值考量? 產業界有很多的聲音，覺得只考量相對療效和成本效果是不夠的，還有很多其他的特性，這部份很容易想像；不過決策者也不一定就不這樣想，畢竟，在做公共政策的決定時，不可能只靠所謂的科學證據(Hazard Ratio + ICER?) – 要不然老師也不會給我這樣語重心長的一句話。但是天馬行空的，這個月的會在意這個、下個月的會在意那個，造成的困擾就是「決策不透明；黑箱作業」，以學術的角度就是說「不能顯示價值體系」。

就好像某種特別的學校招生，我們觀察學校招生的方式、考哪些學科、比重是什麼或是要求檢附什麼資料，可以大致知道這個學校想要招攬怎樣專長的學生(比較具「價值」)。或是現在有些中小學會說明學生的學期成績是怎樣計算，哪些科目、比重如何等等。

於是近年來各地的HTA界開始了value framework的討論。哪些是新藥給付該討論的，哪些又不該 – 把該討論的列出來，其他的不予考慮；找出來之後再去想該以怎樣的比重來決定。一來可以讓各界清楚的知道，在做這項決策的時候已經考慮了哪些，也可以按部就班的討論，會議或決策過程不致流於天馬行空的討論、或是做出草率魯莽的決定。

這一路走來，我從純粹的建構模型，慢慢地學習成本效果與決策的關係、決策與證據的關係、如何建立合適的決策過程、如何系統性的做出決策…很充實、很有趣。謝謝老師的語重心長，但是請別耽心，我沒有停留在CEA決定一切的那個點!

相關議題:
1. 台灣的value framework 應該包含哪些?
2. 所以value-based pricing 是什麼意思?
請待日後分曉。

#平平是value不同地方用意思不一樣
#小芳老師碎碎念

基本功: 什麼是decision analytic models

[如果你對什麼是decision analytic models還不太熟]

之後的碎碎念系列會講到許多專有名詞，在這裡把我之前寫的一些review摘出來給大家參考。請您留意這是我在大概快20年前的review，但是大概還有八九成是現在還在用的。比較新的觀念我會在以後的碎碎念系列加上去。

出處：蒲若芳。成本效性分析於臺灣地區百日咳疫苗接種和慢性病毒性肝炎治療之應用。博士論文。台灣大學流行病學研究所。2002。

http://handle.ncl.edu.tw/11296/ndltd/46840826499416267689

經濟評估應用在醫療衛生體系時，常常是以「統合分析(meta-analysis)」、「決策分析模式(decision-analytic model)」、加上「成本效性分析」的三合一面貌出現[1]。統合分析可以提供決策分析所需之合理參數估計，決策分析模式提供分析計算之架構，而成本有效性分析則負責經濟評估的理論基礎。

統合分析，是「一種以數量方式、有系統地將以往的研究結果彙整起來，以求能對研究問題做總結」之學問[1]。應用在決策分析時，是將模式所需之變數，依照統合分析之精神與原則，務求中立並客觀地將各個文獻中的研究結果，得到一個比較有結論(conclusive)、及精確(precise)的結果。

        決策分析模式，是視研究問題將之量化為各種統計模式，主要目的是評估量化各種結果，包含成本及效性等。它可以是簡單的決策樹、或是複雜的馬可夫鏈模擬模式。

        成本效性分析，則是指經濟評估同時要觀察成本及效性兩大部份，以成本效性比或差異成本效性比為最終指標。

經濟評估的步驟

許多專家都提出了如何進行決策分析（或經濟評估）的步驟[1, 9]，總歸來說，重要的步驟如下：

1.          釐清研究問題的範圍並將其化為一個可以回答的問題。

2.          建立研究模式，如決策樹等。

3.          蒐集資訊以填入模式中所需要的參數值。統合分析或任何其他可能的統計、計算等技巧（例如如何利用Bayes’ theorem 、likelihood ratio、甚至survival function、DEALE等將臨床研究結果，換算成模式中所需的機率）在此會利用得到。研究的觀點在此必須確定：是以社會整體的觀點、還是保險公司、或是病患的觀點，會影響各種成本的計算。那些成本需要納入，那些又不需要？折現率用多少較好?等問題必須先確定。

4.          進行模式之計算。

5.          敏感度分析。

架構模式

1.     決策樹

所謂決策樹，是將決策問題的所有成份及相關行動及結果以圖形表現出來的一種方法。如圖 1為一個研究的決策樹，其方向自左向右，方塊表示決定(decision node)、圓圈表示機率(chance node)。將各種方案列於decision node之後，一旦決定了“走”某方案，其接下來會發生的事情及其結果（utility或benefit）等列於後。再利用fold-back或稱average-out的方法，分別計算其期望值。

圖 1. 決策樹之一例

2.     馬可夫模式

馬可夫模式(Markov models)是一種能夠將疾病的重要因素概括呈現的分析架構，常用於經濟評估；尤其是牽涉到一再迂迴、重複的疾病狀態時特別合適 [37]。

一個馬可夫模式是由一套能代表疾病狀態(states)及進程的「結構」與「參數」所組成的。每一個進入模式的個體，在同一個時間點，只能在一且唯一個狀態中[38]。在一個固定的時間單位(Markov cycle length)，個體在各疾病狀態間照著轉換機率(transitional probabilities)移動。

        疾病狀態(states)可以是「可轉換的(transient)」，亦即任何一個時間點都可能進來的；或是「暫時的(temporary)」－只能在某一個時間點進入；抑或是「吸收的(absorbing)」－一旦進去之後就無法出來了，譬如死亡狀態。

        轉換機率可以是固定的(constant over time)，或是隨時間而變動(time-dependent)；前者又稱為馬可夫鏈(Markov chain)，後者稱為馬可夫過程(Markov process)。

        利用馬可夫模式計算平均餘命或調整品質後存活年數，是先指定各狀態的權數（如除死亡外全指定為1，或指定為生活品質權數），乘以當次狀態分布機率、再相加的過程。Naimark的文章對此過程有一詳細的圖解說明[39]。假設一個只有三健康狀態（健康、生病、與死亡）的馬可夫模式，如果各狀態之生活品質權數分別為－健康1，生病0.6、死亡0，以各種轉換機率（健康至生病為0.2、健康至死亡為0.05、生病至死亡為0.4）進行模擬。開始時（cycle 1）所有人均在健康狀態。第一循環過後，各狀態分布變成健康0.75，生病0.2、死亡0.05，如果一循環為一年，表示此循環時共得0.95人年，若分別乘以生活品質權數，得到0.75x1+0.2x0.6+0.05x0=0.87，表示此循環共得0.87調整品質後存活年數(QALYs)。如此每循環同樣的過程至第六十循環，所有人都在死亡狀態，模擬停止，將所有循環得到人年或調整品質後存活年數相加，即為平均餘命之估計。

馬可夫模式計算平均餘命的方式，就是這樣一年一年累計起來的。只是問題存在於，實際上存活或死亡並非在一循環的開始或結束一瞬間發生的，而以循環之中點為最好的估計。為了能更趨近真實，研究者便採用半循環調整法(half-cycle correction)，模擬開始時加一半循環的值（半年、或半個月），最後再扣回來（當然如果此模擬是至所有人均死亡的狀態，最後扣不扣沒有什麼差別）[40]。

        馬可夫模式有一個很重要的假設(Markovian assumption或稱Markov property)，就是轉換機率只與目前所在之狀態有關，而與之前如何進來的方式沒有關係(no-memory)。如果研究題目不符合這個假設，也可以增加一些狀態的數目，讓每個狀態代表某一種特別的疾病史；不過這需要比較多的參數資訊、且對於計算上也造成額外的負擔。

        一般來說，有兩種方法來進行馬可夫模式模擬，第一種是以一群虛擬世代同時進入模式，稱為「世代模擬(cohort simulation)」，如前面所述Naimark所用的例子，即是一種世代模擬；第二種則是從虛擬世代中隨機選擇一個人進入模式，一次一個人依次進行模式模擬，稱為「蒙地卡羅模擬(Monte Carlo simulation)」。

蒙地卡羅模擬(Monte Carlo simulation)是統計學上常用來解決複雜問題（如「無法直接計算的問題」）的方法之一，其主要概念即是利用隨機變數，產生我們想觀察的事物，如各種分布(distributions)、或模型(models)等，再藉以直接做各種計算。由於其中最重要的過程－「分派隨機變數」，可類比於賭場中的俄羅斯輪盤(roulette)，加上蒙地卡羅向以俄羅斯輪盤出名，於是以其名之。

應用在決策分析上，蒙地卡羅模擬的原理是每次選出一個人來，進入馬可夫模式（如前例的「健康—生病—死亡」馬可夫模式）中，依照隨機變數經過各種疾病過程，將這些經歷記錄下來—例如第一個人經過機率的決定，他的疾病過程為「健康—健康—健康—生病—生病—生病—生病—死亡」，此人自進入模式之後，又活了7年，或是5.4 QALY。再抽另一個人來重新進行一次，如此重複多次之後，將所有人的經歷集合起來，予以分析[37]。這樣進行的方式，使得資料有了變異性，而不再像世代模擬一樣只有唯一的一個平均餘命值。