[EBM] 當統計不顯著時,我該計算研究的檢力嗎?Misleading post-hoc power

[EBM] 當統計不顯著時,我該計算研究的檢力嗎?Misleading post-hoc power

看文獻、做研究時,碰上不顯著,總想起統計老師的話「不顯著代表不能拒絕虛無假說,不代表兩者相同」。我們又學過,發現兩者差異的能力稱為檢定力 (Power),那是不是計算資料的 Power,如果這「發現差異的能力」大於80%,卻仍然有不顯著的結果,就代表這兩組資料真的很相近呢? 以前是那麼相信的,但越算越覺得奇怪 直到自己多算了幾次,發現 Power 其實和 P-value 是非常掛鉤的。Power 與 P-value 都是受到樣本數、標準差、平均差的影響。當兩組的平均差很近、P-value >0.05時,表示兩組資料的分佈重疊部分很高,用這樣的結果來計算 Power ,當然會獲得一個很低的 Power。 (進一步澄清,這個實驗做完才計算的 Power 稱為 Post-hoc power,是今天要討論的主題。而我們在計算需收樣的樣本數時的 ,則直接稱為 Power,是很重要且有需有的步驟。) Post-hoc power 其實受到 P-value 的影響 我開始看更多文章,發現原來 Post-hoc power的計算,就受到了P-value的影響(畢竟他們都是用同樣的樣本數、標準差、平均差來做計算),當 P-value >0.5,我們計算 Post-hoc power 希望達到 0.8 時,其實要 P-value 小於0.0065才能達到,這可不是自相矛盾嗎! 那我們不計算 Post-hoc power,還可以怎麼做呢? 第一個,我們可以計算 Partially post-hoc power,這是這篇文章提出來的方法。當然這名字很奇怪,怎麼會有個 partially post-hoc 的東西呢?他提到的是,我們用來計算 Power 的平均差,應該要用 Minimal clinically important difference (MCID, 最小臨床有意義差距) 來代替,這樣可以脫離與P-value的掛勾。解釋時就會從「我們有 post-hoc power % 的信心,去發現這兩組有達到顯著差異」,變成「我們有 post-hoc power % 的信心,去發現這兩組有達到 MCID 的顯著差異」。 ...

November 11, 2022 · 1 分鐘 · 166 字 · 陳柏威 Po-Wei Chen
<系統性回顧工作坊>課後收穫1: 診斷、預後、傷害型研究用PICO搜尋嗎

<系統性回顧工作坊>課後收穫1: 診斷、預後、傷害型研究用PICO搜尋嗎

Prof. Edwin Chan 是 Director of Cochrane Singapore,算是亞洲地區 EBM 與 Systematic review 的大師,本身有很豐富的學術經驗。很榮幸也很幸運的,花蓮慈濟醫院在 2018年12月5日,請他來為我們舉辦一日工作坊。看到這樣大師級的人物,即使搭夜車,也從嘉義大林趕回到花蓮上課了(路途遙遠啊!)接下來的幾篇,將舉這次印象深刻的幾個重點來跟大家分享囉。 PICO萬能? 每次提到EBM,大家最常反射想到的就是”PICO”,是我們常用來搜尋文獻的好工具,但PICO真的萬能嗎? 在面對不同類型研究時,其實應該要使用不同的搜尋策略: Therapeutic: PICO Diagnostic: PIGO Harmfulness: PEO Prognostic: PO Therapeutic study 用 PICO 常聽到的PICO,其實是為了治療型的研究設計的,包含有特定的族群 (P)、介入的措施 (I)、比較的措施 (C)、想看的結果 (O)。 先來細看下PICO的內容吧,以這個題目示範:咖啡因可以增加早上想睡的人反應時間嗎? Population: 要針對哪些研究族群來搜尋,在此就是Adults with daytime drowsiness Intervention: 給予什麼介入措施,在此就是Caffeine Comparison: 跟什麼做比較;我們使用 Placebo / Decaffeinate 要注意的,不管在什麼題目都不應該只擺上「無介入」,而是應該使用安慰劑或是其他療法 所以不應該用「沒喝咖啡」,而是應該跟「喝安慰劑」,也就是去咖啡因的飲料來做比較。不然或許是喝東西的動作,或是對於咖啡的預期效應而讓我們清醒。 Outcome: 想要比較什麼結果,在此就是Reaction time 這樣的搜尋,就能找到非常精確的結果。 (搜尋方法如:MeSH、Title search、Filter等,請看下篇文章:<系統性回顧工作坊>課後收穫2:搜尋結果很少,就等於搜尋方式很好嗎) Diagnostic study 用 PIGO 針對診斷型的問題,我們最後的目標是想知道,這個新的工具的敏感度、特異性多少?因此很重要的是需要知道「真陽性」、「真陰性」的比例,也就需要所謂的Gold standard來進行診斷,也就是我們PIGO裡面的G囉! 也來舉個例子:使用超音波診斷小朋友氣胸準嗎? Population: Children (age under 18) Intervention: Sonography Gold standard: Chest X ray Outcome: Pneumothorax, Sensitivity, Specificity Harmfulness study 用 PEO 倫理、倫理、倫理。 ...

December 13, 2018 · 1 分鐘 · 150 字 · 陳柏威 Po-Wei Chen
<系統性回顧工作坊>課後收穫2:搜尋結果很少,就等於搜尋方式很好嗎

<系統性回顧工作坊>課後收穫2:搜尋結果很少,就等於搜尋方式很好嗎

講完設定精準題目 (PICO) 後,來看看搜尋出來的結果吧! 我們知道有時會看到結果有兩千篇的狀況,這時固然讓人覺得崩潰,懷疑自己是不是關鍵字下的不夠好等等。但,你以為結果只有5篇時,就能滿意的拍手嗎!?(趕著做報告時,當然啊xD) 讓我們來看看太多、太少結果時怎麼辦吧! 搜尋方式概覽 先了解一下有哪些搜尋方式,再來談結果太多、太少怎麼處理 Free text: 隨意輸入搜尋字詞,要靠背景知識把所有同義字都打出來 MeSH term: 當有很多同義字時應該使用,是資料庫為每篇文章設定的標籤(背後有一群人辛苦的分類啊)會囊括幾乎所有同義字,節省大量時間 Title search: 限定只搜尋標題有這個詞的,當只有一兩種明確的名字時使用,可以增加特異性 布林邏輯:把多個詞靈活的串在一起,包含AND, OR, NOT三種,組合出無限可能xD Filter:主流資料庫幾乎都有,放在左手邊那一條,讓你設定研究的類型、發表時間、研究對象等 太多結果,怎麼辦? 看到一兩千篇文章出現在面前,馬上舉雙手投降,怎麼看得完、怎麼找得出最適合的那篇呢? 這時我們需要縮減一下搜尋範圍,可以採用的方法是: 用Title search取代MeSH:例如搜尋止痛藥時,不要用MeSH的NSAIDs這個大分類,而是用Title search找你有興趣的特定藥物如indomethacin 增加Filter限制:可以限制只看最高證據等級的Guideline, Systematic review,或是只看最近五年出版的文章等 善用**NOT邏輯**:有時跑出很多同類型的非目標文章,這時可使用NOT來去掉不想要的結果,可以搭配MeSH來大範圍去除特定結果 呼應上一篇的「預後型研究」,因為我們不想要有治療,就可以用NOT去除掉那些治療 太少結果,可以嗎? 如果全部的文章都符合我們的臨床問題,其實也開心不起來呢⋯ 太準確的搜尋結果,表示可能有些文章沒有被我們找到(就是敏感性與特異性互相消長的概念囉),這時反而該來好好想想怎麼放寬標準 使用**MeSH term**:點進其中一篇文章,看看他被下了哪些關鍵字,直接拿來搜尋囉 使用Similar article:找篇最符合的,讓資料庫自己建議你他覺得類似的文章 改成使用Free text:MeSH更新其實需要3個月的時間,因此太新的研究其實不會包含在裡面,可以嘗試使用free text來找出他們 放寬其他一切標準:研究類型不要太嚴格、不用最新、同類藥物都可以,等等等 總結以上 我們有很多搜尋的方法,搭配起來就是要區分增加敏感性的、增加特異性的,希望對大家找到想要的文章有幫助囉! 找更多文章(增加敏感性):MeSH term, similar article,****OR 找更少文章(**增加特異性):Title search, filter,NOT** 同系列文章 <系統性回顧工作坊>課後收穫1: 診斷、預後、傷害型研究用PICO搜尋嗎 <系統性回顧工作坊>課後收穫2:搜尋結果很少,就等於搜尋方式很好嗎

December 12, 2018 · 1 分鐘 · 55 字 · 陳柏威 Po-Wei Chen