تجزیه مقدارهای منفرد

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به ناوبری پرش به جستجو
نمایش تصویری تجزیه مقدارهای منفرد دوبعدی، برش ماتریس M. در ابتدا دیسک واحد را با رنگ آبی با دو بردار واحد مشاهده می‌کنید. در ادامه تأثیر M را بر روی دیسک می‌بینم که دیسک را به بیضی تبدیل می‌کند. تجزیه مقدارهای منفرد M به سه تغییردهنده ساده تبدیل می‌شود: در ابتدا ماتریس دوران V و تجانس Σ در امتداد محورهای مختصاتی و در انتها چرخش U. طول σ1 و σ2 محورهای بیضی مقدار منفرد M هستند، یعنی Σ1,1 و Σ2,2.
تجزیه ضرب ماتریس‌ها در تجزیه مقدارهای منفرد

روش تجزیه مقادیر منفرد یا SVD تاریخچه طولانی و البته جالبی دارد. این روش، در علوم اجتماعی و با تست هوش شروع شد. در گذشته، پژوهشگران آزمون‌هایی را برای اندازه‌گیری جنبه‌های مختلف هوش مانند هوش فضایی و هوش کلامی ارائه کردند که همبستگی زیادی با هم داشتند. آن‌ها بر این باور بودند که یک معیار عمومی مشترک برای هوش وجود دارد و آن را برای هوش کلی،  g نامیدند که امروزه بیشتر به عنوان آی کیو (IQ) شناخته می‌شود. بنابراین، پژوهشگران تصمیم گرفتند عوامل مختلف هوش را تجزیه و مهم‌ترین آن‌ها را انتخاب کنند. در ساده‌ترین حالت، تجزیه مقادیر منفرد به نوعی همین تجزیه و انتخاب مهم‌ترین عوامل یک ماتریس را انجام می‌دهد.

تجزیه مقادیر منفرد (Singular Value Decomposition) یا SVD با نام‌های مختلفی شناخته می‌شود. این روش، ابتدا به عنوان «تجزیه عامل» (Factor Analysis) نامیده می‌شد. تحلیل مؤلفه‌های اصلی (Principal Component) یا PC و تجزیه توابع متعامد تجربی (Empirical Orthogonal Function) یا EOF نیز از دیگر اصطلاحات نزدیک به این روش است. همه این‌ نام‌ها از نظر مفهوم ریاضی معادل هستند، هرچند در فرایند محاسبه آن‌ها تفاوت‌های زیادی وجود دارد

امروزه، تجزیه مقادیر منفرد در بسیاری از شاخه‌های علوم و نجوم کاربرد دارد. این روش، در یادگیری ماشین و آمار توصیفی و مدل‌سازی آماری نیز بسیار مورد استفاده قرار می‌گیرد.

به عنوان یک تجزیه و فاکتورگیری ماتریسی، تجزیهٔ مقدارهای منفرد یا تجزیهٔ مقدارهای تکین (Singular value decomposition) قدمی اساسی در بسیاری از محاسبات علمی و مهندسی به‌حساب می‌آید.

در حل بسیاری از مسائل، مشکلاتی وجود دارد که نیازمند روش‌هایی برای حل آن‌ها می‌باشیم. تجزیه‌ی مقدار تکین یکی از این روش‌ ها می‌باشد که :

1- در فضای پر داده و دارای خطا‌هایی نظیر خطای گردکردن قابل استفاده می‌باشد؛

2-در حل معادلات و ماتریس ها نزدیک به تکینگی و در حالت تکینه قابل استفاده است؛

3-می‌تواند مشکل حل را به‌طور دقیق باز کند؛

4-گاهی می‌تواند علاوه بر شرح مشکل مساله آن را نیز حل کند؛

و در نهایت جواب عددی مناسبی از فضای حل را می‌تواند ارائه کند. اما باید توجه داشت که این روش به یقین جواب اصلی معادلات را نمی‌دهد.

به عبارتی دیگر، در جبر خطی، تجزیه مقدار تکین فاکتورگیری از یک ماتریس موهومی یا حقیقی می‌باشد که تجزیه مقادیر ویزه یک ماتریس نرمال را به هر ماتریس با M سطر و N ستون به وسیله توسعه تجزیه قطبی تعمیم می‌دهد. به طور خاص، این روش تجزیه ماتریس را به فرم تبدیل می‌کند که در آن U یک ماتریس واحد با M سطر و ستون است،یک ماتریس مستطیلی با درایه‌های غیر منفی بر روی قطر اصلی و ماتریس V یک ماتریس واحد با N سطر و ستون می‌باشد.

تجزیه مقادیر تکین یکتا نیست.همیشه ممکن است که ترکیب‌هایی را انتخاب کرد که مقادیر تکین به‌صورت کاهنده مرتب شده‌باشند.در چنین حالتی به‌صورت خاص از ماتریس M حاصل می‌گردد.

گاهی نیز از اصطلاح تجزیه فشرده مقادیر تکین نیز یاد می‌شود که در آن ماتریس مقادیر ویژه یک ماتریس مربعی قطری می‌باشد که مرتبه ماتریس است و فقط شامل مقادیر ویژه غیر صفر می‌باشد.در این حالت، ماتریس U یک ماتریس و ماتریس V یک ماتریس هستند به‌صورتی که .

امروزه، تجزیه مقادیر منفرد در بسیاری از شاخه‌های علوم و نجوم کاربرد دارد. این روش، در یادگیری ماشین و آمار توصیفی و مدل‌سازی آماری نیز بسیار مورد استفاده قرار می‌گیرد.

کاربردهای ریاضی SVD شامل محاسبه شبه معکوس ، تقریب ماتریس و تعیین رتبه ، دامنه و فضای تهی یک ماتریس است. SVD همچنین در کلیه زمینه های علمی و مهندسی بسیار مفید است مانند پردازش سیگنال ، حداقل مربعات مناسب داده ها و کنترل فرآیند.

البته که محاسبه‌ی SVD برای یک ماتریسْ دارای پیچیدگیِ زمانی خوبی نیست ولی به هر حال این روش یکی از روش‌های شناخته شده در کاهشِ ویژگی‌ها در داده‌کاوی می‌باشد و کاربردهای دیگرِ آن نیز در ادامه مورد بحث قرار خواهد گرفت. در زبان‌های برنامه‌نویسی مانند Python و R می‌توانید کتابخانه‌های مختلفی را پیدا کنید که این عملیات را به سادگی برای شما انجام می‌دهند.

تاریخچه[ویرایش]

تجزیه مقادیر مفرد در ابتدا توسط هندسه های دیفرانسیل توسعه یافته بود ، که مایل بودند با تبدیل های متعامد مستقل،از دو فضایی که بر روی آن عمل می کنند ، مشخص کنند که آیا یک شکل دوقلو واقعی می تواند برابر شکل دیگری باشد یا خیر. Eugenio Beltrami و Camille Jordan به طور مستقل ، در سالهای 1873 و 1874 به طور مستقل کشف کردند که مقادیر منفرد دو شکل ، که به عنوان ماتریس نشان داده می شود ، یک مجموعه کامل را از ثوابت برای اشکال دو قلو را تحت تعویض های متعامد تشکیل می دهد. همچنین جیمز جوزف سیلوستر در سال 1889 به طور مستقل از بلترامی و اردن به تجزیه مقادیر منفرد برای ماتریس های مربع رسید. سیلوستر مقادیر مفرد را ضربهای متعارف ماتریس A نامید. چهارمین ریاضیدان برای کشف تجزیه ارزش مفرد به طور مستقل ، Autonne در سال 1915 است که از طریق تجزیه قطبی به آن دست یافت. به نظر می رسد اولین اثبات تجزیه ارزش مفرد برای ماتریس های مستطیل و پیچیده توسط کارل اكارت و گیل جی جوان در سال 1936 است که آن را به عنوان تعمیم تغییر محور اصلی ماتریس های هرمیتی می دیدند.

در سال 1907 ، ارهارد اشمیت یک آنالوگ از مقادیر مفرد را برای اپراتورهای انتگرال (تحت برخی فرضیات فنی ضعیف) تعریف کرد. به نظر می رسد وی از کار موازی روی مقادیر مفرد ماتریسهای محدود آگاه نبود. این نظریه پیشتر توسط ilemile Picard در سال 1910 ساخته شد ، که اولین کسی است که اعداد را با مقادیر مفرد sigma می نامد.

روشهای عملی نیز برای محاسبه SVD به Kogbetliantz در سال 1954 ، 1955 و Hestenes در 1958 باز می گردد. روش هایی که شبیه به روش eigenvalue Jacobi عمل می کرد. با این حال ، این روش ها با روشی که Gene Golub و ویلیام كاهان كه در سال 1965 منتشر کردند ، جایگزین شدند.درنهایت در سال 1970 ، Golub و Christian Reinsch نوعی از الگوریتم Golub / Kahan را منتشر کردند که امروزه هنوز هم مورد استفاده قرار می گیرد.

تعبیر شهودی تجزیه مقدار منفرد[ویرایش]

دوران، پیمایش مختصات[ویرایش]

در مورد خاص، زمانی که M یک ماتریس مربع حقیقی است ، ماتریس و را می توان ماتریس های یکه حقیقی نیز انتخاب کرد. در این حالت ، "یکه بودن" همان "متعامد" است. سپس با تفسیر هر یک از ماتریس های A به عنوان تبدیل خطی محور فضای ، ماتریس های و دوران فضا را نشان می دهند ، در حالی که نمایانگر مقیاس هر مختصات xi توسط عامل σi است. بنابراین تجزیه مقدار منفرد هرگونه تغییر خطی برگشت پذیر را به ترکیبی از سه دگرگونی هندسی تجزیه می کند: چرخش یا بازتاب () ، و به دنبال آن یک مقیاس مختصات () و به دنبال آن چرخش یا بازتاب دیگر ().

به طور خاص ، اگر M یک دترمینان مثبت داشته باشد ، می توان و را طوری انتخاب کرد که هر دو بازتاب و یا دوران باشند. اگر دترمینان منفی باشد ، دقیقاً یکی از آنها باید بازتاب کننده فضا باشد. اگر دترمینان صفر باشد ، می توان هر کدام را به طور مستقل انتخاب کرد.

اگر ماتریس M حقیقی باشد اما مربعی ننباشد ، یعنی با ، می توان آن را به عنوان یک تبدیل خطی از به تفسیر کرد. سپس و می توانند به ترتیب چرخش و انتخاب شوند. و ، علاوه بر مقیاس کردن مختصات ، همچنین بردار را با صفرها گسترش می دهد ، یا دنباله مختصات را حذف می کند ، تا نهایت فضای را به تبدیل کند.

مقادیر ویژه به عنوان شبه محور بیضوی[ویرایش]

همانطور که در شکل نشان داده شده است ، مقادیر تکین می توانند به عنوان اندازه نیم محور یک بیضی در 2D تعبیر شوند. این مفهوم را می توان به فضای بعدی اقلیدسی تعمیم داد ، با مقادیر تکین هر ماتریس مربع به عنوان اندازه نیم محور یک بیضی n بعدی مشاهده می شود. به طور مشابه ، مقادیر تکین هر ماتریس را می توان به عنوان اندازه نیم محور یک بیضی n بعدی در فضای m بعدی مشاهده کرد، به عنوان مثال به عنوان بیضی در یک صفحه (کج) 2D در یک فضای 3D . مقادیر مفرد اندازه نیم محور را تعیین می کنند ، در حالی که بردارهای تکین جهت را تعیین می کنند.

مفهوم هندسی[ویرایش]

از آنجا که U و V یکه هستند ، می دانیم که ستونهای U از U1 ، ... ، Um یک پایه متعامد و ستونهای V از V1 ، ... ، Vn یک پایه متعامد از (با توجه به ضرب استاندارد اسکالر در این فضاها).

تبدیل خطی:

توضیحی به خصوص ساده با توجه به اساس تعامد دارد: ما داریم

که در آن سیگما مقدار قطری ماتریس است و برای مقادیر کمتر از کمینه مقدار سطر وستون .

از این رو مفهوم هندسی قضیه تجزیه مقدار تکین به شرح زیر خلاصه می شود:

برای هر نگاشت خطی می توان پایه های متعامد متعارف و را پیدا کرد به گونه ای که T به i امین بردار پایه از را به یک ضرب غیر منفی از بردار پایه I از تبدیل کند ، و باقی بردار ‌های پایه را صفر کند. با توجه به این اساس ، نگاشت T از این رو توسط یک ماتریس قطری با ورودی های قطری حقیقی غیر منفی نشان داده می‌شود.

برای درک بهتر تجزیه مقدار تکین و فاکتورگیری آن،حداقل در هنگام استفاده از فضای برداری، یک کره با شعاع یک را در نظر بگیرید.نگاشت خطی T این کره را بر روی فضای بیضوی تصویر می‌کند.مقادیر تکین غیر صفر به سادگی طول محورهای نیمه بیضه این فضای بیضوی هستند. به خصوص وقتی که n = m باشد ، و تمام مقادیر مفرد مشخص و غیر صفر باشند ،تجزیه مقدار تکین نگاشت خطی T به راحتی می تواند به عنوان سه حرکت متوالی مورد تجزیه و تحلیل قرار گیرد: بیضی (s)T و به طور خاص محورهای آن را در نظر بگیرید. سپس جهت‌های منتقل شده توسط T را بر روی این محورها در نظر بگیرید. این جهت‌ها به طور متقابل متعامد هستند. عمل کرد یک ماتریس این جهت‌ها را به فضای انتقال می‌دهد.حرکت دوم، یک دگرگونی قطری در راستای محور مختصات وارد می‌سازد و با استفاده از طول نیمه محور‌های(s)T به عنوان ضریب کشیدگی، در هر راستا کشیده یا کوچک می‌شود. ترکیب ماتریس قطری در سپس کره واحد را در فضای بیضوی به(S)Tمی‌برد.به جهت تعریف اخرین حرکت که حرکت ماتریس U است، فضایی را به فضای بیضوی اضافه کنید که آن را بر روی (S)Tمی‌برد.به راحتی‌ می‌توان بررسی کرد که، با مطابقت دارد.

ماتریس‌های متعامد U و V[ویرایش]

از آنجا که و یکه هستند ، ستونهای هریک از آنها مجموعه ای از بردارهای متعامد را تشکیل می دهند ، که می توانند به عنوان بردارهای پایه در نظر گرفته شوند. ماتریس M بردار پایه Vi را به بردار واحد کشیده نگاشت می‌کند. به‌صورت خلاصه و متعامد هستند و حاصل آن‌ها ماتریس واحد خواهد بود.

مقادیر منفرده کاسته[ویرایش]

در عمل تجزیه کامل مقادیر تکین، که نیازمند تجزیه کامل فضای تهی نیز هست. مورد نیاز نیست. در عوض گاهی بهتر است که از حالت کاهش یافته‌ی آن استفاده گردد.

تجزیه مقدار تکین سبک[ویرایش]

فقط بردارهای ستون n از مربوط به بردارهای ردیف محاسبه می شوند. بردارهای ستون باقیمانده U محاسبه نمی شوند. اگر سریعتر از تجزیه‌ی کامل مقادیر تکین محاسبه می‌گردد. ماتریس به این ترتیب یک ماتریس و یک ماتریس قطری و در نهایت یک ماتریس خواهد بود.

مرحله اول در محاسبه SVD سبک معمولاً تجزیه QR از M است ، که می تواند محاسبه ای به‌طور قابل توجهی سریعتر انجام دهداگر باشد.

تجزیه مقدار تکین فشرده[ویرایش]

فقط بردارهای ستون r از بردارهای ردیف و r از مربوط به مقادیر مفرد غیر صفر محاسبه می شوند. بردارهای باقیمانده و محاسبه نمی شوند. اگر سریعتر و مقرون به صرفه تر باشد از SVD سبک خواهد بود. ماتریس به این ترتیب یک ماتریس و یک ماتریس قطری و در نهایت یک ماتریس خواهد بود.

تجزیه مقدار تکین کوتاه شده[ویرایش]

فقط بردارهای ستون t از بردارهای ردیف و t از مربوط به مقادیر مفرد غیر صفر محاسبه می شوند. بردارهای باقیمانده و محاسبه نمی شوند. اگر سریعتر و مقرون به صرفه تر باشد از SVD فشرده خواهد بود. ماتریس به این ترتیب یک ماتریس و یک ماتریس قطری و در نهایت یک ماتریس خواهد بود.

مقادیری که در سیگما وجود دارد در واقع همان مقادیرِ منحصر به فردی (Singular) است که می‌تواند در عملیاتِ کاهشِ ویژگی به ما کمک کند. ممکن است برای کسانی که با داده‌کاوی و عملیاتِ کاهشِ ویژگی کار نکرده باشند کمی مبهم به نظر برسد ولی در ادامه، آرام آرام این مباحث در ذهن جای خود را پیدا می‌کنند.در ادامه نیز کاهش داده به صورت کلی توضیح داده شده است.

محاسبه‌ی مقادیر منفرد[ویرایش]

تجزیه مقدار تکین را می توان به صورت زیر مشاهد کرد:

  • بردار‌های تکین چپ ماتریس M مجموعه‌ای از بردار‌های تکین هستند.
  • بردار‌های نکین راست ماتریسM مجموعه‌‎ای از بردار‌های تکین هستند.
  • مقادیر ویژه غیر منفی ماتریس M جذر ریشه مقادیر تکین هر دو ماتریس و هستند.

رویکرد عددی[ویرایش]

یک ماتریس M معمولاً با به‌صورت دو مرحله ای محاسبه می شود. در مرحله اول ، ماتریس به یک ماتریس دو قطری کاهش می یابد.مرحله دوم SVD محاسبه ماتریس دو قطری است. این مرحله فقط با یک روش تکراری (مانند الگوریتم های ومقادیر ویژه ) قابل انجام است. با این حال ، در عمل محاسبه SVD تا دقت خاصی مانند دستگاه اپسیلون کافی است.اگر این دقت ثابت در نظر گرفته شود، n مرتبه تکرار نیاز دارد که هر کدام فلوتینگ پوینت از مرتبه n دارند.

اولین قدم را می توان با استفاده از بازتاب های Householder با هزینه 4mn2 - 4n3 / 3 فلاپ انجام داد ، با این فرض که فقط مقادیر تکین مورد نیاز هستند و نه بردارهای تکین. اگر m بسیار بزرگتر از n باشد ،کاهش ماتریس M به به یک ماتریس سه قطری توسط روش QR و پس از آن تبدیل به یک ماتریس دو قطری با استفاده از روش Householder یک مزیت با هزینه کم محاسباتی خواهد بود.

مرحله دوم را می توان با یک نوع از الگوریتم QR برای محاسبه مقادیر ویژه انجام داد که برای اولین بار توسط Golub & Kahan (1965) بیان شده است.سابروتینLAPACK با نام DGESVD این روش تکرار را با کمی اصلاح برای مقدار کم مقادیر تکین پوشش می‌دهد.

همین الگوریتم در کتابخانه علمی GNU (GSL) پیاده سازی شده است. GSL همچنین یک روش جایگزین ارائه می دهد که از یک طرفه سازی جاکوبی یک طرفه در مرحله 2 استفاده می کند (GSL Team 2007).این روش ماتریس SVD دو قطری را با حل توالی از مساله‌های 2 × 2 SVD ، شبیه به نحوه حل الگوریتم eigenvalue Jacobi ، از روش های 2 × 2 مقادیر ویژه را محاسبه می کند. روش دیگر برای مرحله 2 از ایده الگوریتم های ویژه تقسیم و تسخیر استفاده می کند (Trefethen & Bau III 1997 ، سخنرانی 31).

یک روش جایگزین وجود دارد که صریحاً از تجزیه مقادیر ویژه استفاده نمی کند. معمولاً مساله‌های مقدار تکین یک ماتریس M به یک مسئله مقادیر متقارن معادل مانند یا یا

تبدیل می‌شوند.

رویکردهایی که از تجزیه مقادیر ویژه استفاده می کنند بر اساس الگوریتم QR هستند که به خوبی توسعه یافته اند تا پایدار و سریع باشند. توجه داشته باشید که مقادیر منحصر به فرد حقیق راست و بردار چپ برای ایجاد دگرگونی هایتشابه لازم ندارند. می توان به طور متناوب بین تجزیه QR و تجزیه LQ برای یافتن ماتریس قطری حقیقی هرمتی تکرار ایجاد کند. تجزیه QR به M ⇒ Q R می دهد و تجزیه LQ از R به *R ⇒ L P می دهد. بنابراین ، در هر تکرار ، *M ⇒ Q L P را داریم ، M ⇐ L را متعامد و تکرار می‌کند. سرانجام ، این تکرار بین تجزیه QR و تجزیه LQ باعث تولید ماتریس های واحد چپ و راست می شود. این روش به آسانی قابل تسریع نیست ، چرا که این الگوریتم ممکن است دچار تغییر در طیف و شکل گردد.دلیل این امر این است که روش تغییر بدون استفاده از تبدیل شباهت به راحتی تعریف نمی شود. با این حال ، این رویکرد تکراری برای اجرا بسیار ساده است ، بنابراین وقتی سرعت اهمیتی ندارد ، انتخاب خوبی است.

نتیجه تحلیلی تجزیه مقدار تکین 2 × 2[ویرایش]

مقادیر متکین یک ماتریس 2 × 2 را می توان به صورت تحلیلی یافت. بگذارید ماتریس M به صورت زیر باشد:

که در آن که اعداد مختلط هستند، و I ماتریس واحد و در نهایت مقادیر نمایانگر ماتریس پاولی می‌باشند. که نهایتا دو مقدار ویژه‌ی آن به‌صورت زیر محاسبه می‌گردد:

محاسبه SVD به کمک نرم افزار متلب[ویرایش]

به کمک نرم‌افزار متلب می‌توان SVD یک ماتریس را محاسبه کرد.

دستور (svd(A مقادیر ویژه ماتریس A را بدست می دهد و با استفاده از دستور [u s v] = svd[A] ماتریس‌های متعامد و ماتریس مقادیر ویژه،به شما نمایش داده می‌شود.

مثال‌ها[ویرایش]

ماتریس زیر را در نظر می‌گیریم:

تجزیهٔ مقدارهای منفرد این ماتریس برای UΣV به صورت زیر است:

توجه داشته باشید که Σ خارج از خط مورب صفر (خاکستری ایتالیک) است و یک عنصر مورب صفر (قرمز پررنگ) است. علاوه بر این، به دلیل اینکه ماتریس‌های U و V∗ یکتا هستند، ضرب آن‌ها توسط ترانهاده مزدوج آن‌ها ضرب می‌شود، همان‌طور که در زیر نشان‌داده شده‌است. در این حالت، به دلیل اینکه U و V∗ حقیقی هستند، هر کدام یک ماتریس متعامد هستند.

در حالت خاص در صورتی که به صورت زیر انتخاب شود این تقسیم دیگر منحصر به فرد نیست.

همچنین یک تقسیم معتبر ارزش ویژه است.

کاربرد‌های تجزیه مقادیر منفرد[ویرایش]

Pseudo-Inverse[ویرایش]

تجزیه مقدار تکین می تواند برای محاسبه شبكه معكوس ماتریس مورد استفاده قرار گیرد. در واقع ، شبه معکوس ماتریس M با تجزیه مقدار تکین به صورت زیر است:

شبه معکوس مقدار است، که با جایگزین کردن هر مقدار قطری غیر صفر توسط تابع آن و انتقال ماتریس حاصل ایجاد می شود. pseudoinverse یکی از راه حل‌های مساله حداقل مربعات خطی است.

حل معادلات خطی همگن[ویرایش]

یکی از کاربرد های این روش حل دستگاه معادلات است که در سه حالت می‌تواند بررسی گردد. ماتریس A با ابعاد M*N را درنظر بگیرید.حالت های زیر ممکن است رخ دهد:

1- M= N؛ که تعداد معادلات و مجهولات برابر و روابط خطی هستند.

2- M<N؛ تعداد معادلات از مجهولات کمتر است وSVD قابلیت حل آن را دارد.

3- M>N؛ در این صورت با دسته معادلات خطی حداقل مربعات سروکار داریم، با روش SVD قابلیت پیدا کردن جواب ممکن است.

مجموعه ای از معادلات خطی همگن را می توان به عنوان Ax = 0 برای یک ماتریس A و بردار x نوشت.یک حالت معمول این است که A مشخص بوده و x غیر صفر تعیین می گردد که معادله را ارضا می کند.چنین x متعلق به فضای تهی A است و گاهی اوقات یک بردار تهی A (بردار راست) A نامیده می شود. بردار x را می توان به عنوان یک بردارراست تکین که مطابق با مقدار تکین A که صفر است ، توصیف کرد.این مشاهده به این معناست که اگر A یک ماتریس مربعی باشد و هیچ مقدار تکین اضمحلالی نداشته باشد ،در نتیجه معادلات هیچ X غیر صفری به عنوان جواب ندارند.همچنین به این معنی است که اگر چندین مقدار تکین اضمحلالی وجود داشته باشد ، هر ترکیب خطی از بردارهای تکین راست مربوطه ییک جواب برای این دسته از معادلات خواهند بود.

کمینه حداقل مربعات[ویرایش]

مساله حداقل مربعات به تعیین مقدار بردار X که نرم دوم بردار Ax را با قید کمینه می‌کند اشاره دارد.به نظر می رسد که جواب یک بردار راست تکین A می‌باشد که به کوچکترین مقدار تکین مربوط می شود.

مجموع مربعات مقادیر منفرد باید برابر با واریانس کلی در  Aباشد. بنابراین، اندازه هر یک از این مقادیر بیان می‌کند که چه مقدار از واریانس کلی برای هر بردار منفرد محاسبه می‌شود.

محدوده ، فضای تهی و مرتبه[ویرایش]

کاربرد دیگر SVD این است که یک نمایش صریح از دامنه و فضای تهی ماتریس M را فراهم می کند.بردارهای تکین راست متناظر با مقادیر کوچک M نمایانگر فضای تهی M و بردارهای تکین چپ متناظر با مقادیر تکین غیر صفر M هستند که محدوده M را شکل می‌دهند. به عنوان مثال ، در مثال بالا فضای تهی توسط دو ستون آخر V پوشانده شده و دامنه توسط سه ستون اول U پوشانده می شود.

در نتیجه ، درجه M برابر است با مقادیر تکین غیر صفر که برابر با تعداد عناصر قطری غیر صفر در Σ است. در جبر خطی عددی از مقادیر تکین می توان برای تعیین رتبه مؤثر یک ماتریس استفاده کرد، چرا که خطا گرد کردن ممکن است به مقادیر کوچک اما غیر صفر در مرتبه ماتریس منجر شوند.

تقریب ماتریس درجه پایین[ویرایش]

در برخی از کاربرد‌های عملی نیاز به حل مساله تقریب یک ماتریس مانند به ماتریس برای مثال ماتریس کسر شده، داریم که مرتبه‌ی آن r است.در حالتی که تقریب ما کاهش نرم فوربینوسی اختلاف دو ماتریس با این قید باشد که مرتبه ماتریس دوم r باشد، جواب از روش SVD حاصل می‌گردد:

پردازش سیگنال[ویرایش]

روش تجزیه مقدار تکین و شبه معکوس با موفقیت برای پردازش سیگنال ، پردازش تصویر و داده های بزرگ (به عنوان مثال ، در پردازش سیگنال ژنومی) استفاده شده اند.

کاهش داده[ویرایش]

کاهش داده یا داده‌کاوی (به انگلیسی: Data Mining)، به مفهوم استخراج اطلاعات نهان یا الگوها و روابط مشخص در حجم زیادی از داده‌ها در یک یا چند بانک اطلاعاتی بزرگ گفته می‌شود. بسیاری از مردم داده کاوی را مترادف واژه‌های رایج کشف دانش در پایگاه‌داده‌ها (به انگلیسی: knowledge discovery in databases) (اختصاری KDD) می‌دانند. داده‌کاوی، پایگاه‌ها و مجموعه حجیم داده‌ها را در پی کشف و استخراج، مورد تحلیل قرار می‌دهد. این‌گونه مطالعات و کاوش‌ها را به واقع می‌توان همان امتداد و استمرار دانش کهن و همه جا گیر آمار دانست. تفاوت عمده در مقیاس، وسعت و گوناگونی زمینه‌ها و کاربردها، و نیز ابعاد و اندازه‌های داده‌های امروزین است که شیوه‌های ماشینی مربوط به یادگیری، مدل‌سازی، و آموزش را طلب می‌نماید.

یکی چالش‌های متداول در یادگیری ماشین، وجود چند صد متغیر است، در حالی که بسیاری از الگوریتم‌های یادگیری ماشین، اگر با تعدادی بیش از یک مقدار مشخص متغیر کار کنند، با شکست مواجه می‌شوند. این موضوع، استفاده از تجزیه مقادیر تکین را برای کاهش متغیر در یادگیری ماشین ضروری می‌کند.

اگر تعداد و انواع مناسبی از ویژگی‌ها برای حل یک مساله خاص به الگوریتم‌های یادگیری ماشین داده شود، این الگوریتم‌ها به خوبی کار می‌کنند. اما، در صورتی که تعداد ویژگی‌ها (متغیرها) بسیار زیاد باشد، اغلب الگوریتم‌های یادگیری ماشین در حل مسئله دچار مشکل می‌شوند، زیرا با مسئله «داده‌های ابعاد بالا» (High Dimensional Data) مواجه خواهیم بود. در اینجا است که بحث «کاهش ابعاد» (Dimensionality Reduction) مطرح می‌شود.ویژگی (Feature) یا بُعد (Dimension) در واقع پایه‌ی بسیاری از عملیاتِ داده‌کاوی و یادگیری‌ماشین است.

از طرفی بیان کردیم که که چگونه یک SVD با کاهش تعداد مقادیر تکین می‌تواند یک ماتریس را بسیار دقیق تقریب بزند. از این ویژگی می‌توان برای فشرده‌سازی داده‌ها با فرم‌های کوتاه شده UU، SS و VV به جای AA و برای کاهش متغیر از جایگزینی AA با UU استفاده کرد. البته در پایان، بر اساس معادله (۴) باید با ضرب SS و VV نتایج را به دستگاه مختصات اصلی تبدیل کرد.

کاربرد SVD در علم سیالات[ویرایش]

از جمله کاربرد‌های این روش در علم مکانیک سیالات را می‌توان به موارد زیر اشاره کرد.

1- تحلیل داده‌های آزمایشگاهی و کاهش داده

2- کاهش میزان اغتشاشات تصویر برداری سیال

3- یافتن مدال‌های انرژی جریان آشفته

4- فیلتر اغتشاشات موج صوتی ناشی از حرکت سیال تراکم پذیر

5- استخراج انرژی و انستروفی سیال از داده‌ی خروجی تصویر برداری PIV و DPIV

جستارهای وابسته[ویرایش]

منابع[ویرایش]

  • Strang G (1998). "Introduction to Linear Algebra". Section 6.7. 3rd ed. , Wellesley-Cambridge Press. ISBN 0-9614088-5-5.
  • Friedberg, S. H. , Insel, A. J. , Spence, L. E. (2003). "Linear Algebra", 4th ed. , Prentice Hall. ISBN 0-13-008451-4

پیوند به بیرون[ویرایش]