همبستگی کانونی

در آمار، آنالیز همبستگی کانونی (CCA)، که آنالیز متغیرهای کانونی نیز نامیده می‌شود، راهی برای دریافت اطلاعات از ماتریس‌های کوواریانس متقاطع(cross-covariance matrices) است. اگر دو بردار X = (X ₁ , . . .، X _n) و Y = (Y ₁ , . . .، Y _m) داشته باشیم که از متغیرهای تصادفی تشکیل شده‌اند، و بین متغیرها همبستگی وجود دارد، سپس تحلیل همبستگی کانونی، ترکیبات خطی X و Y را پیدا می‌کند که حداکثر همبستگی را با یکدیگر دارند.^[۱] TR Knapp خاطرنشان می‌کند که «تقریباً تمام آزمون‌های پارامتری مهم که معمولاً با آنها مواجه می‌شوند را می‌توان به عنوان موارد ویژه ای از تجزیه و تحلیل همبستگی متعارف در نظر گرفت، که روش کلی برای بررسی روابط بین دو مجموعه از متغیرها است.»^[۲] این روش برای اولین بار توسط هارولد هتلینگ در سال ۱۹۳۶ معرفی شد،^[۳] اگرچه در زمینه زوایای بین تخت (angles between flats)، مفهوم ریاضی توسط جردن در سال ۱۸۷۵ منتشر شد.

تعریف

با توجه به دو بردار ستونی $X=(x_{1},\dots ,x_{n})^{T}$ و $Y=(y_{1},\dots ,y_{m})^{T}$ از متغیرهای تصادفی، می‌توان کوواریانس متقاطع را تعریف کرد $\Sigma _{XY}=\operatorname {cov} (X,Y)$ که یک ماتریس $n\times m$ می‌دهد که $(i,j)$ ورودی کوواریانس است $\operatorname {cov} (x_{i},y_{j})$ . در عمل، ماتریس کوواریانس را بر اساس داده‌های نمونه‌برداری شده $X$ و $Y$ تخمین می‌زنیم (یعنی از یک جفت ماتریس داده).

تحلیل همبستگی کانونی به دنبال بردارهای ( $a\in \mathbb {R} ^{n}$ ) $a$ و ( $b\in \mathbb {R} ^{m}$ ) $b$ است به طوری که متغیرهای تصادفی $a^{T}X$ و $b^{T}Y$ همبستگی $\rho =\operatorname {corr} (a^{T}X,b^{T}Y)$ را به حداکثر برساند. متغیرهای تصادفی (اسکالر) $U=a^{T}X$ و $V=b^{T}Y$ اولین جفت متغیرهای کانونی هستند. سپس به دنبال بردارهایی می‌گردیم که همان همبستگی را با این محدودیت که با اولین جفت متغیرهای کانونی همبستگی ندارند، به حداکثر برسانند. این کار جفت دوم متغیرهای کانونی را به ما می‌دهد. این روش ممکن است تا $\min\{m,n\}$ بار به طول انجامد.

محاسبات

مشتق

فرض کنید $\Sigma _{XY}$ ماتریس کوواریانس متقاطع برای هر جفت (بردار شکل) متغیر تصادفی $X$ و $Y$ باشد. تابع هدف برای به حداکثر رساندن رابطهٔ زیر می‌باشد:

$\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T}\Sigma _{YY}b}}}}.$

اولین قدم تعریف تغییر مبنا است بنابراین داریم:

$c=\Sigma _{XX}^{1/2}a,$

$d=\Sigma _{YY}^{1/2}b.$

با جایگذاری دو رابطه بالا در رابطه اصلی داریم:

$\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.$

حال با توجه به نابرابری کوشی-شوارتز داریم:

$\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\leq \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2},$

$\rho \leq {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}}.$

اگر بردارها $d$ و $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ خطی باشند برابری وجود دارد. علاوه بر این، اگر $c$ بردار ویژه با حداکثر مقدار ویژه برای ماتریس $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$ باشد حداکثر همبستگی به دست می‌آید. جفت‌های بعدی با استفاده از مقادیر ویژه قدرهای کاهشی (decreasing magnitudes) پیدا می‌شوند. متعامد بودن با تقارن ماتریس‌های همبستگی تضمین می‌شود.

راه دیگری برای مشاهده این محاسبات این است که $c$ و $d$ بردارهای منفرد(singular vectors) چپ و راست ماتریس همبستگی X و Y باشند که مربوط به بالاترین مقدار منفرد(singular value) هستند.

حل

حل آن به شکل زیر می‌باشد:

c یک بردار ویژه $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$ می‌باشد
d متناسب است با $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$

متقابلاً داریم:

d یک بردار ویژه $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$ می‌باشد
c متناسب است با $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$

با معکوس کردن تغییر مختصات، داریم:

a یک بردار ویژه $\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}$ می‌باشد
a متناسب است با $\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}$
b یک بردار ویژه $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$ می‌باشد
b متناسب است با $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$

متغیرهای متعارف به صورت زیر تعریف می‌شوند:

$U=c^{T}\Sigma _{XX}^{-1/2}X=a^{T}X$

$V=d^{T}\Sigma _{YY}^{-1/2}Y=b^{T}Y$

کاربردهای عملی

یک استفاده معمولی برای همبستگی متعارف در زمینه تجربی این است که دو مجموعه از متغیرها را در نظر بگیرید و ببینید چه چیزی در بین دو مجموعه مشترک است.^[۴] به عنوان مثال، در تست روان‌شناختی، می‌توان دو تست شخصیت چند بعدی را انجام داد، مانند پرسشنامه شخصیت چند مرحله‌ای مینه‌سوتا (MMPI-2) و NEO. با مشاهده اینکه چگونه عوامل MMPI-2 با عوامل NEO ارتباط دارند، می‌توان بینشی در مورد ابعاد مشترک بین آزمون‌ها و میزان واریانس به دست آورد. برای مثال، ممکن است متوجه شویم که یک بعد برون گرایی یا روان رنجورخویی مقدار قابل توجهی از واریانس مشترک بین این دو آزمون را به خود اختصاص داده‌است.

همچنین می‌توان از تحلیل همبستگی کانونی برای تولید یک معادله مدل استفاده کرد که دو مجموعه از متغیرها را به هم مرتبط می‌کند، برای مثال مجموعه ای از معیارهای عملکرد و مجموعه ای از متغیرهای توضیحی، یا مجموعه ای از خروجی‌ها و مجموعه ای از ورودی‌ها. محدودیت‌های محدودیتی را می‌توان بر روی چنین مدلی اعمال کرد تا اطمینان حاصل شود که الزامات نظری یا شرایط شهودی بدیهی را منعکس می‌کند. این نوع مدل به عنوان مدل حداکثر همبستگی(maximum correlation) شناخته می‌شود.

مثال

فرض کنید $X=x_{1}$ با امید ریاضی صفر، به عنوان مثال، $\operatorname {E} (X)=0$ .

اگر $Y=X$ ، یعنی $X$ و $Y$ کاملاً همبسته هستند، پس، به عنوان مثال، $a=1$ و $b=1$ ، به طوری که اولین (و تنها در این مثال) جفت متغیر کانونی است $U=X$ و $V=Y=X$ .
اگر $Y=-X$ ، یعنی $X$ و $Y$ کاملاً ضد همبسته(anticorrelated) هستند، پس، به عنوان مثال، $a=1$ و $b=-1$ ، به طوری که اولین (و تنها در این مثال) جفت متغیر کانونی برابر $U=X$ و $V=-Y=X$ است.