【小芳老師碎碎念系列之五】
前一篇討論uncertainty，講到在決策分析的世界裡，總是有很多不確定性。在這裡要再強調，這裡所謂的不確定性，是這個分析的本質，是這種分析因為證據上有限、在對未來的預測上有未知變數等困難而一定會有的。不過這種不確定性在經濟分析、在決策分析上，是可以利用敏感度分析去概括描述出來的。即使是這樣的本質，決策分析的這個學門，與其他科學一樣，一路從建立模型、尋找參數、進行分析、敏感度分析的過程，都應該努力追求嚴謹、負責、有邏輯、可驗證的種種態度。
有了這種研究態度，才能值得信賴；有了可信賴的分析數字，也才能真正支持決策的過程。
前一篇末了很快的講過，研究者該做到自己該做的事。只是這段期間我自己又有了一些有趣的經驗：先分享一個，我參與了一個模型建構的專家會議，身在其中討論，各種領域的專家對自己專長的數字斤斤計較，模型建構者也再三用心確認自己的東西，過程非常痛快。會議接近終了時，有位專家問模型建構團隊，「你這個研究是可以被驗證的嗎？大家怎麼知道你的研究是好的？」
你認為呢？如果你知道了決策分析的過程與特性，你怎樣確認這個研究是好的還是不好的？
針對「如何確認決策分析或成本效果分析研究的品質」這個問題，當然這個學門裡有很多的討論，實務上來說就是有很多的指引與檢核表可供使用。我的課堂上光介紹不同用途的指引，就需要一小時。我如果在這裡碎念這種細節，就沒人來修我的課了。。。不是啦，就失焦了。在這裡我想把一些重點精神跟大家提一下。
成本效果分析研究最基本的評核法
要評核成本效果分析，可以用一個非常基本的、Professor
Drummond的檢核表，歷久而不衰，就是經典，我的學生都要讀懂這份檢核表。用久了內化於心，你就是評核這種研究的專家(註1)。 (https://www.nlm.nih.gov/nichsr/edu/healthecon/drummond_list.html)
利用模型進行成本效果分析研究的評核法
而我們如果特別要注重以模型推估進行成本效果分析的研究，也有相關的指引、及good practice。Professor
Drummond的blue book第四版裡，有個「checklist for assessing quality in
decision-analytic models」，很詳盡，學習決策分析模型的人應該要熟讀(註2)。這裡就簡單講一下重點。
-
模型架構(structure)：有沒有說明清楚決策問題？模型架構與這個研究的目標應該定義清楚；架構是否有生物醫學或醫療體系的基礎?等等
-
資料(data): 模型裡面使用的數字是怎麼來的? 用什麼數學函數或方式建構的? 流行病學資料有沒有使用目標族群的數字、不確定性有沒有描述等等。
-
一致性(consistency)：模型跑出來的數字有沒有internal consistency(數字合理性)及external consistency
(有沒有直覺上不合理的地方? 這些直覺不合理之處有沒有找到解釋? 能不能跟其他的研究之結果相呼應)。
模型架構我們通常可以參考以往的文獻、或請臨床專家幫忙。舉一個以C肝口服新藥的相關政策的例子來說，我們碰到過許多模型。有些模型認為肝纖維化F4的病人如果病毒清除，其進展到肝硬化的機率就回復到跟平常健康人一樣。有次討論中，在場的院士專家們就指出這部份的架構是不太合理的，病人因為肝纖維化嚴重到一定程度，一旦病毒清除，雖然可以延緩發展成肝硬化的時間，但不會是跟健康人一樣了。當時還沒有很確切的這部份的臨床或流行病學資料，所以以模型建構者來講，並沒有做錯，但專家們由當時跑出的不太合直覺的分析結果，加上模型專家的剖析可能關鍵點出在哪裡之後，臨床專家可以幫助建構者確認是否已反映出合理的疾病進程。
有經驗的專家，可以藉由讀過的許多研究，對成本效果研究結果的數字會有感覺。像是lifetime cost是否合理? Expected life years gained是否合理? 等來研判研究報告的品質。我曾經看過一份報告的QALY gained是十幾年，姑不論是什麼疾病，一看就是離譜的數字。
我在指導學生做研究的時候，還會特別指出，這類研究因為其目標是支持政策，加上初期能有能力評核的人不多，其實英美有一些資料庫(如https://www.crd.york.ac.uk/CRDWeb/Homepage.asp
)，將合於其收錄條件的文章收起來，並有專人寫各項目的評核並公諸於世。愛惜名聲如我，絕不馬虎亂寫亂做。
這裡有兩篇我以前參與或撰寫的paper受到CRD EED的評核:
1.
Cost-effectiveness
analysis of human papillomavirus DNA testing and Pap smear for cervical cancer
screening in a publicly financed health-care system
Chow IH, Tang CH, You SL, Liao CH, Chu TY,
Chen CJ, Chen CA, Pwu RF
2.
Cost-effectiveness
analysis of interferon-alpha therapy in the treatment of chronic hepatitis B in
Taiwan
Pwu RF, Chan KA
以上介紹的檢核表及指引，是指用來評核別人做的決策分析模型/成本效果分析研究的，當然也可以用來提醒自己做研究時有沒有完備的好工具。不時提醒自己有沒有用對工具回答對問題，參數及結果是否合理，是否做到足夠的敏感度分析，是確保嚴謹研究的第一步。
送件及審查用的檢核表
在HTA的世界裡，還有一類重要的檢核表或指引，是廠商送件用(註3)及相對的HTA機構的研究員所使用的。不管用途在哪裡，其核心原則當然還是要有scientific rigor，所以第一步還是要先確認做到科學部份的優，再來做到送件單位的文件需求。HTA的審查員為了能做好公正第三者的任務，理所當然的是要先能有優秀的決策分析研究及評核能力，看到廠商送件文件才會有能力做判斷與評核，甚而在送件者有錯誤或缺乏相關能力時，能提出可以修正相關分析的建議或自行分析，以提供決策者合適的資訊以作當下的決策。特別提出這點的原因是，很多新藥或新科技，是病人或家庭殷殷期盼的。如果是療效確認不夠好或是還沒足夠證據說好，還可說再等；但如果是經濟模型做的不夠好、分析的不合理(不是證據的不確定性過高)，HTA機構應該要有機制讓這樣的分析能有修正的機會，讓高品質的證據早點提出到決策體系裡。
總之，希望今天這篇碎碎念可以帶給大家以下觀念：決策分析模型及其應用在經濟分析上，雖有其預測未來會帶不確定性的先天特性，不該視其為應該要求非常精確的科學；但這學門發展至今，有其一定的品質保證過程。這種品質保證過程的觀念和做法都算成熟了，概念也不會很難，目前國內也有不少的疾病領域曾做過類似高品質的研究。希望大家不論是未來想學這門學問，或是利用相關數字的決策者，都應該注重要求品質，讓這門學問發揮更大的效用。
#小芳老師碎碎念
#ScientificRigor
#Checklist
#BestModelingPractice
註 1: 每次講到這裡，我都會想到念碩班的時候，當時每個星期的seminar都要念兩篇由同學們報告的流行病學研究paper。老師給我們幾個格式，要我們自行判斷所評析的研究，是屬於描述性流行病學、分析性流行病學等等，然後填表格上的問題。照著表格上所列的問題去想，就是評析論文的重點與步驟，包括這篇研究的目的是什麼? 它用的方法是不是能回答研究問題。這樣一年下來，看paper的功力果然大增，能馬上抓到重點、評析優劣。
註2. 除了這個checklist之外，也建議要讀ISPOR的research
guideline
註3. 日後有機會，我會再碎念一下各國送件指引的發展與考量。在那篇碎念出來之前，推銷一下我與前同事們的努力結晶，這些指引是我們當時花了很多心血、請教過國內外專家後寫出來的。請參考
