نرخ کشف نادرست

میزان کشف اشتباه یک روش برای بررسی میزان خطای نوع اول در آزمون فرض‌های همزمان است، که در آن‌ها سطح معنی‌داری تفاوت آماره‌های مختلف در تعداد زیادی آزمون مشابه همزمان سنجیده می‌شود. میزان کشف اشتباه در واقع یک معیار آزادانه‌تر نسبت به میزان خطای خانوادگی (family-wise error rate) است و نشان‌دهندهٔ نسبت فرض‌های واقعاً صفری که توسط آزمون‌ها رد می‌شوند به تمام فرضهایی که توسط آزمون‌ها رد می‌شوند، است .(منظور از کشف در اینجا فرض صفر رد شده‌است) می‌توان نشان داد که در مجموع کنترل این معیار نسبت به کنترل میزان خطای خانوادگی توان آماری بالاتری به‌دست می‌دهد.

پیشینه

مقدمه

از دهۀ آخر قرن بیستم، محاسبات الکترونیکی به تنها ابزار برای پیش‌برد تبدیل شد. تقریباً تمامی کاربردهای آمار توسط مجموعه ای از پلتفورم‌های کامپیوتری اجرا می‌شدند. ابزارهایی مانند SAS, SPSS, Minitab, Matlab, S، و بعدها R.

این روند از ابتدای قرن بیست و یکم سرعت گرفت و ابزارهای آماری بیشتر و کاراتر برای تحلیل حجم عظیم داده‌ها ابداع شد. این پیشرفت سریع در واقع مانند دو جنبه داشت، از طرفی ابداع روزافزون روش‌های آماری که به دنبال مجموعه داده‌های بزرگتر بودند و از طرفی تلاش برای نگه داشتن بنیان‌های علمی آمار و تصحیح روش‌های نوین.

برای بسیاری از آماردان‌ها، میکروآرایه‌ها برای اولین بار به عنوان نمونه ای از داده‌های بزرگ-مقیاس مطرح شدند. تکنولوژی میکروآرایه که در واقع یک انقلاب در ابزارهای زیست-پزشکی نوین در اواخر قرن بیستم بود، بررسی فعالیت هزاران ژن را در یک آزمایش ممکن می‌ساخت. با این امکان، نیاز به انجام هزاران آزمون فرض همزمان ایجاد شد. آزمون‌هایی که در نهایت بنا است تا تعداد محدودی از ژن‌ها را به عنوان ژن‌های تأثیرگذار (و با میزان بیان معنی‌دار-متفاوت در گروه تحت آزمون) معرفی کنند.

با رایج شدن تکنولوژی‌های پرتوان، محدودیت‌های فنی یا مالی محققین را مجبور می‌کرد که مجموعه‌داده‌های با تعداد کم نمونه (برای مثال تعداد کم افراد تحت آزمایش) و برای هر نمونه تعداد زیادی متغیر (برای مثلاً هزاران سطح بیان ژنی) جمع‌آوری کنند. در این مجموعه‌داده‌ها، با استفاده از روش‌های کلاسیک تعداد بسیار کمی از متغیرهای اندازه‌گیری‌شده سطح معنی داری آماری بالایی نشان می‌دادند. این چالش در بسیاری از جوامع علمی نیاز به روشی جایگزین را برای معیار میزان خطای خانوادگی و آزمون‌های فرض هم‌زمان تصحیح نشده ایجاد کرد. تا پیش از آن از این روش‌ها به منظور تعیین و رتبه‌بندی متغیرهای تأثیرگذار در مقالات استفاده می‌شد، در حالی که نتایج به دست آمده از این روش‌ها با واقعیت فاصله زیادی داشتند. برای حل این مسئله معیارهای مختلفی پیشنهاد شد که از برخی از آن‌ها در مقالات هم استفاده می‌شد. این معیارها نسبت به میزان خطای خانوادگی آزادانه‌تر عمل کردند.

مقالات

میزان کشف اشتباه در سال ۱۹۹۵ توسط بنجامینی و هوشبرگ به عنوان یک روش آزادانه‌تر و مسلماً مناسب‌تر در حل این مسئله معرفی شد. معرفی میزان کشف اشتباه یک اتفاق بسیار مهم در این رشته بود، زیرا برای اولین بار به عنوان جایگزین مناسبی برای میزان خطای خانوادگی به خصوص در علوم طبیعی مانند ژنتیک، بیوشیمی و علوم گیاهی شناخته شد. در سال ۲۰۰۵، مقالهٔ بنجامینی و هوشبرگ به عنوان یکی از ۲۵ پرارجاع‌ترین مقالات در زمینهٔ شناخته‌شد.

پیش از معرفی میزان کشف اشتباه در سال ۱۹۹۵ ایده‌های متنوعی مد نظر آماردانان بود. در سال ۱۹۷۹، هولم رویهٔ هولم را پیشنهاد کرد، یک الگوریتم گام به گام برای کنترل کردن میزان خطای خانوادگی که حداقل به اندازهٔ رویهٔ اصلاح بونفرونی دارای توان آماری بود. این الگوریتم گام به گام پی-مقدارها را مرتب می‌کند و به ترتیب فرض‌های صفر را با شروع از کوچکترین پی-مقدار رد می‌کند.

بنجامینی در سال ۲۰۱۰ گفت میزان کشف خطا و مقاله‌اش با هوشبرگ در سال ۱۹۹۵ از دو مقاله با موضوع آزمون‌های هم‌زمان منشأ گرفته‌است:

• اولین مقاله توسط شودر و اسپیوتول در سال ۱۹۸۲ که تصویر کردن پی-مقدارهای مرتب‌شده و سپس ارزیابی تعداد فرض‌های صفر ($m_{0}$) درست از طرق برازش خط به صورت چشمی، با شروع از بزرگ‌ترین پی-مقدارها را پیشنهاد می‌کرد. این ایده بعدها به یک الگوریتم تعمیم پیدا کرد و به این صورت بود که تخمین $m_{0}$ به کمک روش‌هایی مانند بونفرونی، هولم یا هوشبرگ انجام می‌شد. این ایده بسیار شبیه تفسیر گرافیکی روش بنجامینی-هوشبرگ است.
• مقاله دوم کاری از سوریک در ۱۹۸۹ بود که کلمهٔ کشف را برای اولین بار در زمینهٔ آزمون فرض‌های همزمان به کار برد. سوریک از امید ریاضی تعداد کشف‌های اشتباه ${\displaystyle \left(E[V]/R\right)}$ استفاده کرده بود و ایده اصلی‌اش این بود که «بسیاری از اکتشافات آمار ممکن است غلط باشند». این ایده بنجامینی و هوشبرگ را به سمت یک میزان خطای مشابه هدایت کرد.

رویهٔ بنجامینی-هوشبرگ در مقاله آن‌ها در سال ۱۹۹۵ ثابت شد. در سال ۱۹۸۶، سیمِس همان رویه را تحت عنوان رویهٔ سیمس پیشنهاد کرد. این رویه می‌تواند میزان خطای خانوادگی را در حالت ضعیف، زمانی که آماره‌ها مستقل هستند، کنترل کند. در سال ۱۹۸۸، هومل نشان داد که روی سیمس میزان خطای خانوادگی را در حالت قوی آن کنترل نمی‌کند. بر اساس رویهٔ سیمس، هوشبرگ رویهٔ هوشبرگ را در سال ۱۹۸۸ پیشنهاد کرد که می‌توانست میزان خطای خانوادگی را رد حالت قوی و زمانی که مفروضاتی برای وابستگی آماره‌ها وجود داشت، کنترل کند.

تعاریف

بر اساس تعاریف زیر می‌توان $Q$ را به عنوان نسبت از اکتشافات اشتباه به تمام اکتشافات تعریف کرد:

${\displaystyle Q=V/R=V/(V+S)}$.

حال میزان کشف اشتباه را می‌توان این‌گونه تعریف کرد:

${\displaystyle \mathrm {FDR} =Q_{e}=\mathrm {E} \!\left[Q\right]}$

که در آن $Q$ زمانی که $R=0$ برابر ۰ می‌شود. می‌خواهیم میزان کشف خطا را کمتر از یک حد $q$ نگه داریم.

روش‌های کنترل

تنظیمات برای بسیاری از روش‌ها به گونه است که ما $H_{1}\ldots H_{m}$ فرض صفر تحت آزمون داریم که $P_{1}\ldots P_{m}$ پی-مقدارهای مربوط به هر آزمون است. ما این پی-مقدارها را از کوچک به بزرگ مرتب می‌کنیم و ترتیب جدید را $P_{(1)}\ldots P_{(m)}$ نام‌گذاری می‌کنیم. یک روش که از یک پی-مقدار کوچک به یک مقدار بزرگ می‌رود را روش بالا-گام می‌نامیم. روش پایین-گام هم به همین نحو تعریف می‌شود.

روش بنجامینی-هوشبرگ

روش بنجامینی-هوشبرگ (که یک روش بالا-گام است)، میزان کشف اشتباه را در سطح نگه می‌دارد. این روش این‌گونه عمل می‌کند:

1. برای یک $\alpha$ داده‌شده، k را پیدا کن که$P_{(k)}\leq {\frac {k}{m}}\alpha .$
2. تمام فرض صفرهای$H_{(i)}$ برای $i=1,\ldots ,k$ را رد کن.

به لحاظ هندسی، این روش معادل این است که $P_{(k)}$ را نسبت به K رسم کنیم، یک خط از مبدأ با شیب ${\frac {\alpha }{m}}$ بکشیم و تمام فرض‌های صفر که بالای خط قرار می‌گیرند را رد کنیم.

روش بنجامینی-هوشبرگ زمانی که m آزمون مستقل و همچنین در بسیاری از سناریوهای شامل وابستگی معتبر است. به علاوه نامساوی زیر نیز ارضا می‌شود:

$E(Q)\leq {\frac {m_{0}}{m}}\alpha \leq \alpha$

اگر تخمینی از $m_{0}$ در روش بنجامینی-هوشبرگ قرار داده شود، دیگر نمی‌توان تضمین کرد که میزان کشف اشتباه در سطح مورد نظر کنترل شود. ممکن است تصحیح‌هایی برای تخمین‌گر مورد نیاز باشد و برای این هم رویکردهای مختلفی پیشنهاد شده‌اند.

توجه داشته باشید که میانگین $\alpha$ برای این m آزمون برابر ${\frac {\alpha (m+1)}{2m}}$، میانگین(FDR $\alpha$) یا MFDR، است. به گونه‌ای که $\alpha$ برای m آزمون مستقل (و یا دارای همبستگی مثبت) تنظیم شده‌است. محاسبه MFDR که در اینجا نشان‌داده خواهد شد، تنها برای یک مقدار است و قسمتی از روش بنجامینی و هوشبرگ نیست. (AFDR را در پایین ببینید)

روش بنجامینی-هوشبرگ-یکوتیلی

روش بنجامینی-هوشبرگ-یکوتیکلی میزان کشف اشتباه را تحت فرض همبستگی مثبت کنترل می‌کند. این فرض، آستانه را اصلاح می‌کند و بزرگترین k را این‌گونه میابد که:$P_{(k)}\leq {\frac {k}{m\cdot c(m)}}\alpha$

• اگر آزمون‌ها از هم مستقل یا همبستهٔ مثبت باشند قرار می‌دهیم:
• $c(m)=1$
• در صورت وجود همبستگی منفی $c(m)$ را می‌توان با استفاده از ثابت اویل-ماسکرونی تقریب زد:
• $\sum _{i=1}^{m}{\frac {1}{i}}\approx \ln(m)+\gamma +{\frac {1}{2m}}$

با استفاده از MFDR و فرمول‌های بالا، یک MFDR تصحیح شده، یا AFDR، برای m آزمون مستقل برابر است با ${\frac {\mathrm {MFDR} }{c(m)}}$.

راه دیگر برای حل مسئله وابستگی استفاده از روش‌های بوت استرپ و تصادفی‌سازی است.

تخمین میزان کشف اشتباه

فرض کنید$\pi _{0}$ نسبت تمام فرضهای صفر صحیح به تمام فرض‌ها باشد و بنابراین $\pi _{1}=1-\pi _{0}$ نسبت تمام فرض‌های ناصفر درست خواهد بود. حال ضرب $N\pi _{0}$در میانگین پی-مقدارهای فرضهای رد شده تقسیم بر تعداد فرضهای رد شده تخمینی از میزان کشف اشتباه را بدست می‌دهد.

ویژگی‌ها

تطبیقی و مقیاس‌پذیر

استفاده از روشی که از معیار میزان کشف اشتباه استفاده می‌کند تطبیقی و مقیاس‌پذیر است. به این معنی که کنترل کردن میزان کشف خطا می‌تواند بسیار آزادانه یا سخت‌گیرانه عمل کند، بسته به تعداد فرض‌های تحت آزمون و سطح معنی داری.

معیار میزان کشف تطبیق پیدا می‌کند به گونه‌ای که تعداد کشف‌های اشتباه (V) نسبت به کل کشف‌ها (R) سنجیده‌می‌شود. این مورد برعکس میزان خطای خانوادگی است. برای مثال اگر ۱۰۰ فرض برای ۱۰۰ جهش ژنتیکی نقطه‌ای برای یافتن رابطه با رخ‌نمود مدنظر باشد:* اگر ما ۴ کشف (R) انجام دهیم، داشتن دو کشف غلط (V) بسیار هزینه‌بر است. در حالی که، * اگر ۵۰ اکتشاف انجام دهیم و ۲ تا از آن‌ها غلط باشند هزینهٔ ما چندان زیاد نیست.

معیار میزان کشف اشتباه مقیاس‌پذیر است به گونه‌ای که نسبت کشف‌های اشتباه به کل کشف‌ها (Q)، برای مقادیر مختلف کل کشف‌ها (R)، معقول باقی می‌ماند.

برای مثال:

• اگر ما ۱۰۰ کشف انجام دهیم و ۵ تا از آن‌ها کشف غلط باشند ($q=5\%$) ما هزینهٔ زیادی را پرداخت نخواهیم کرد.
• به‌طور مشابه، اگر ما ۱۰۰۰ کشف را انجام دهیم، و ۵۰ کشف اشتباه رخ دهد، هم‌چنان هزینهٔ ما همان ۵ درصد خطا است.
  

معیار میزان کشف خطا در حالتی که یک تصحیح را روی مجموعه‌ای از فرض‌ها انجام می‌دهد، یا دو تصحیح را زمانی انجام می‌دهد که مجموعه به دو بخش تقسیم شده‌است تفاوتی ندارد، به نحوی که در هر دو حالت نحوه عملکرد تصحیح یکسان است.

وابستگی آماره‌های آزمون

کنترل میزان کشف اشتباه با استفاده از روش بنجامینی-هوشبرگ گام-بالا خطی در سطح q، ویژگی‌های مختلفی مرتبط با ساختار وابستگی بین آماره‌های آزمون m فرض صفر دارد. در هر یک از شرایط زیر برای آماره‌های آزمون داریم:

• مستقل: $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q$
• مستقل و پیوسته: $\mathrm {FDR} ={\frac {m_{0}}{m}}q$
• مثبت وابسته: $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q$
• در حالت کلی: $\mathrm {FDR} \leq {\frac {m_{0}}{m}}q/\left(1+{\frac {1}{2}}+{\frac {1}{3}}+\cdots +{\frac {1}{m}}\right)\approx {\frac {m_{0}}{m}}q/(\log(m)+\gamma +{\frac {1}{2m}})$ که در آن $\gamma$ ثابت اویلر–ماسکرونی است.

نسبت فرض‌های درست

اگر تمام فرض‌های صفر درست باشند ($m_{0}=m$)، کنترل میزان کشف اشتباه در سطح q کنترل روی میزان خطای خانوادگی را تضمین می‌کند (به این استفاده «کنترل ضعیف میزان خطای خانوادگی هم می‌گویند): $\mathrm {FWER} =P\left(V\geq 1\right)=E\left({\frac {V}{R}}\right)=\mathrm {FDR} \leq q$ فقط به خاطر این‌که رد کردن حداقل یکی از فرض‌های صفر درست $\{V\geq 1\}$ دقیقاً معادل $\{V/R=1\}$$\{V=0\}$ دقیقاً معادل $\{V/R=0\}$$V=R=0$, $V/R=0$). اما چنانچه تعدادی کشف درست صورت گیرد ($m_{0}<m$) خواهیم داشت FWER ≥ FDR. در این حالت جا برای بالابردن توان تشخصی وجود خواهد داشت. این همچنین به این معنا است که هر روشی که میزان خطای خانوادگی را کنترل کند، می‌تواند میزان کشف اشتباه را هم کنترل کند.

مفاهیم مرتبط

میزان‌های خطای مرتبط

پیش و پس از میزان کشف اشتباه، انواع و اقسام میزان‌ها معرفی شدند که برخی از آن‌ها در ادامه آمده‌است:

• میزان خطای مقایسه ای (PCER) به این صورت تعریف می‌شود که:$\mathrm {PCER} =E\left[{\frac {V}{m}}\right]$. آزمودن هر فرض در سطح α می‌تواند تضمین کند که $\mathrm {PCER} \leq \alpha$ (این معیار بدون توجه به همزمانی آزمون‌ها تعریف می‌شود)
• میزان خطای خانوادگی (FWER) تعریف می‌شود$\mathrm {FWER} =P(V\geq 1)$. روش‌های بسیار زیادی هستند که این میزان را کنترل می‌کنند.
• میزان خطای خانوادگی تعمیم یافته ($k{\text{-FWER}}$) که توسط لهمان، رومانو و همکاران معرفی شد به این صورت تعریف می‌شود که:$k{\text{-FWER}}=P(V\geq k)\leq q$.
• میزان کشف اشتباه تعمیم‌یافته که تعریف می‌شود:$k{\text{-FDR}}=E\left({\frac {V}{R}}I_{(V>k)}\right)\leq q$.
• $Q'$ نسبت کشف‌های اشتباه بین تمام کشف‌ها است که توسط سوریک در سال ۱۹۸۹ معرفی شد، تعریف می‌شود:$Q'={\frac {E[V]}{R}}$. این معیار ترکیبی از امید ریاضی و واقعیت است ولی مشکل کنترل را زمانی که $m_{0}=m$ دارد.
• $\mathrm {FDR} _{-1}$ توسط بنجامینی و هوشبرگ استفاده شده بود، بعدها توسط افرون(۲۰۰۸) استفاده شد؛ و این‌گونه تعریف می‌شود که: $\mathrm {FDR} _{-1}=Fdr={\frac {E[V]}{E[R]}}$. این میزان خطا نمی‌تواند به‌طور دقیق کنترل شود زیرا زمانی که $m=m_{0}$ برابر یک است.
• $\mathrm {FDR} _{+1}$ ابتدا توس بنجامینی و هوشبرگ استفاده شد و بعدها در سال ۲۰۰۲ توسط استوری مورد استفاده قرار گرفت. این میزان این‌گونه تعریف می‌شود: $\mathrm {FDR} _{+1}=pFDR=E\left[\left.{\frac {V}{R}}\right|R>0\right]$. این میزان خطا نمی‌تواند به‌طور دقیق کنترل شود زیرا زمانی که m = m_0 برابر یک است.
• میزان ردشدن از حد اشتباه که تعریف می‌شود: $\mathrm {P} \left({\frac {V}{R}}>q\right)$
• $W{\text{-FDR}}$ : که به هر فرض i یک‌وزن $w_{i}\geq 0$ نسبت می‌دهد که نشان‌دهنده اهمیت آن فرض است و این‌گونه تعریف می‌شود: $W{\text{-FDR}}=E\left({\frac {\sum w_{i}V_{i}}{\sum w_{i}R_{i}}}\right)$.
• میزان هزینهٔ کشف اشتباه :
• FDCR) که از کنترل فرایند آماری نشئت می‌گیرد، به هر فرض i یک هزینهٔ $\mathrm {c} _{i}$ نسبت می‌گیرد و فرایند زمانی متوقف می‌شود که هزینه تا به این‌جای کار میزان مشخصی باشد. این میزان اینگونه تعریف می‌شود:
• $\mathrm {FDCR} =E\left(c_{0}V_{0}+{\frac {\sum c_{i}V_{i}}{c_{0}R_{0}+\sum c_{i}R_{i}}}\right)$
• میزان خطای به ازای خانواده
• PFER: تعریف می‌شود: $\mathrm {PFER} =E(V)$.
• میزان غیر کشف اشتباه (
• FNR: توسط سارکر و همکاران این‌گونه تعریف شد: $\mathrm {FNR} =E\left({\frac {T}{m-R}}\right)=E\left({\frac {m-m_{0}-(R-V)}{m-R}}\right)$
• $\mathrm {FDR} (z)$ تعریف می‌شود: $\mathrm {FDR} (z)={\frac {p_{0}F_{0}(z)}{F(z)}}$
• $\mathrm {FDR}$ محلی تعریف می‌شود: $\mathrm {FDR} ={\frac {p_{0}f_{0}(z)}{f(z)}}$

میزان پوشش اشتباه

میزان پوشش خطا در واقع تعبیری از بازهٔ اطمینان است. میزان پوشش خطا متوسط میزان پوشش اشتباه را نشان می‌دهد. به عبارت دیگر پوششی که پارامترهای صحیح را نمی‌پوشاند. این میزان یک پوشش همزمان در سطح 1-\alpha را برای تمام پارامترهای تحت نظر مسئله بدست می‌دهد. بازه‌هایی با احتمال پوشش ۱−q می‌توانند میزان پوشش خطا را در سطح q نگه دارند. روش‌های زیادی هم برای کنترل این میزان ایجاد شده‌اند.

رویکردهای بیزی

تا کنون برخی دانشمندان تلاش کرده‌اند به گونه‌ای میزان کشف اشتباه را به روش‌های بیزی مرتبط کنند، از آن برای انتخاب مدل استفاده کنند و بازهٔ اطمینان را به میزان پوشش اشتباه مرتبط کنند.

میزان مثبت اشتباه در تک آزمون‌ها

کولهون در سال ۲۰۱۴ از عبارت میزان کشف اشتباه برای تعریف احتمال اینکه یک نتیجهٔ معنی‌دار یک مثبت اشتباه یا (false positive) باشد، استفاده کرد. این نتیجهٔ حاصل یک تحقیق برای پاسخ به این سؤال بود که «چگونه باید پی-مقدار پیدا شده در یک آزمون بی جهت (unbiased) را تفسیر کرد؟». در کارهای بعدی کولهون، آن مقدار را میزان مثبت اشتباه (false positive rate) به جای میزان کشف اشتباه خواند تا از ایجاد کژتابی با مفاهیم قبلی جلوگیری کند. روش‌هایی برای کنترل این میزان هم ایجاد شده‌است.