مدل‌های خطا در متغیرها

در آمار، مدل‌های خطا در متغیرها یا مدل‌های خطای اندازه‌گیری، مدل‌های رگرسیونی هستند که خطاهای اندازه‌گیری را در متغیرهای مستقل می‌توانند محاسبه کنند. در مقابل، مدل‌های رگرسیون معیار فرض می‌کنند که آن رگرسیورها دقیقاً اندازه‌گیری شده‌اند یا بدون خطا مشاهده شده‌اند. به این ترتیب، این مدل‌ها تنها خطاهای موجود در متغیرهای وابسته یا پاسخ‌ها را در نظر می‌گیرند.

در مواردی که برخی از رگرسیون‌ها با خطا اندازه‌گیری شده‌اند، تخمین بر پایه فرض استاندارد منجر به تخمین‌های متناقض می‌شود، به این معنی که تخمین پارامترها حتی در نمونه‌های بسیار بزرگ به مقادیر واقعی تمایل ندارند. برای رگرسیون خطی ساده، این اثر یک ضریب دست کم برآورد است، که به عنوان سوگیری تضعیف شناخته می‌شود. در مدل‌های غیر خطی، جهت بایاس احتمالاً پیچیده‌تر است.

مثال انگیزشی

یک مدل رگرسیون خطی ساده را در نظر بگیرید:

$y_{t}=\alpha +\beta x_{t}^{*}+\varepsilon _{t}\,,\quad t=1,\ldots ,T,$

جایی که $x_{t}^{*}$ نشان دهنده واپسگرای واقعی اما مشاهده نشده‌است. به جای این مقدار را با یک خطا مشاهده می‌کنیم:

$x_{t}=x_{t}^{*}+\eta _{t}\,$

جایی که خطای اندازه‌گیری $\eta _{t}$ مستقل از مقدار واقعی فرض می‌شود $x_{t}^{*}$ .

اگر $y_{t}$ به سادگی بر روی $x_{t}$ پسرفت کند، سپس برآورد کننده ضریب شیب برابر است با:

${\hat {\beta }}_{x}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})^{2}}}\,,$

که به عنوان حجم نمونه همگرا می‌شود $T$ بدون محدودیت افزایش پیدا می‌کند:

${\hat {\beta }}_{x}\xrightarrow {p} {\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}={\frac {\beta \sigma _{x^{*}}^{2}}{\sigma _{x^{*}}^{2}+\sigma _{\eta }^{2}}}={\frac {\beta }{1+\sigma _{\eta }^{2}/\sigma _{x^{*}}^{2}}}\,.$

این در تضاد با اثر «واقعی» است $\beta$ ، با استفاده از $x_{t}^{*}$ ,:

${\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}^{*}-{\bar {x}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}^{*}-{\bar {x}})^{2}}}\,,$

واریانس‌ها غیر منفی هستند، به طوری که در حد برآورد شده‌است ${\hat {\beta }}_{x}$ کوچکتر از ${\hat {\beta }}$ ، اثری که آماردانان آن را تضعیف یا رقیق شدن رگرسیون می‌نامند. بنابراین برآوردگر حداقل مربعات ساده ${\hat {\beta }}_{x}$ یک برآوردگر ناسازگار برای $\beta$ . با این حال، ${\hat {\beta }}_{x}$ تخمین‌گر ثابت پارامتر مورد نیاز برای بهترین پیش‌بینی‌کننده خطی است $y$ با توجه به مشاهده شده $x_{t}$ : در برخی از برنامه‌ها ممکن است این چیزی باشد که مورد نیاز است، نه برآورد ضریب رگرسیون «واقعی» $\beta$ ، اگرچه فرض می‌شود که واریانس خطاها در تخمین و پیش‌بینی یکسان است. این به‌طور مستقیم از نتیجه ای که بلافاصله در بالا نقل شد و این واقعیت که ضریب رگرسیون مربوط به $y_{t}$ به واقعی مشاهده شده‌است $x_{t}$ s، در یک رگرسیون خطی ساده، توسط فرمول زیر داده می‌شود:

$\beta _{x}={\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}.$

این ضریب است، به جای $\beta$ ، که برای ساختن یک پیش‌بینی کننده مورد نیاز است $y$ بر اساس مشاهده شده $x$ که در معرض نویز است.

می توان استدلال کرد که تقریباً تمام مجموعه داده های موجود حاوی خطاهایی با ماهیت و بزرگی متفاوت هستند، به طوری که سوگیری تضعیف بسیار مکرر است (اگرچه در رگرسیون چند متغیره جهت سوگیری مبهم است ). جری هاسمن این را قانون آهنین اقتصاد سنجی می داند: "میزان تخمین معمولاً کمتر از حد انتظار است."

مشخصات

---

معمولاً مدل‌های خطای اندازه‌گیری با استفاده از رویکرد متغیرهای پنهان توصیف می‌شوند. اگر $y$ متغیر پاسخ است و $x$ مقادیر مشاهده شده از رگرسیون ها، پس فرض می شود که برخی از متغیرهای پنهان وجود دارد $y^{*}$ و $x^{*}$ که از رابطه عملکردی "واقعی" مدل پیروی می کنند $g(\cdot )$ ، و به نوعی که کمیت های مشاهده شده مشاهدات پر سر و صدا آنها باشد:

${\begin{cases}y^{*}=g(x^{*}\!,w\,|\,\theta ),\\y=y^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}}$

جایی که $\theta$ پارامتر مدل است و $w$ آن دسته از رگرسیون هایی هستند که فرض می شود بدون خطا هستند (به عنوان مثال زمانی که رگرسیون خطی حاوی یک برس است، رگرسیونی که با ثابت مطابقت دارد قطعاً "خطای اندازه گیری" ندارد). بسته به مشخصات، این رگرسیون های بدون خطا ممکن است به طور سوا بررسی شوند یا نشوند. در مورد دوم به سادگی فرض می شود که ورودی های متناظر در ماتریس واریانس از $\eta$ 'ها صفر هستند.

متغیرها $y$ ، $x$ ، $w$ همه مشاهده می شوند ، به این معنی که آمارگیر دارای مجموعه ای از داده ها است $n$ واحدهای آماری $\left\{y_{i},x_{i},w_{i}\right\}_{i=1,\dots ,n}$ که فرآیند تولید داده شرح داده شده در بالا را دنبال می کنند. متغیرهای پنهان $x^{*}$ ، $y^{*}$ ، $\varepsilon$ ، و $\eta$ با این حال رعایت نمی شوند.

این مشخصات تمام مدل‌های خطا در متغیرهای موجود را در بر نمی‌گیرد. به عنوان مثال در برخی از آنها عملکرد $g(\cdot )$ ممکن است ناپارامتریک یا نیمه پارامتریک باشد. سایر رویکردها رابطه بین $y^{*}$ و $x^{*}$ به عنوان توزیعی به جای عملکردی، یعنی آنها این را فرض می کنند $y^{*}$ مشروط بر $x^{*}$ از توزیع خاصی (معمولاً پارامتریک) پیروی می کند.