یادگیری عمیق در تصویربرداری فوتوآکوستیک
یادگیری عمیق در تصویربرداری فوتوآکوستیک، روش تصویربرداری ترکیبی تصویربرداری فوتوآکوستیک (PA) را با زمینه به سرعت در حال تکامل یادگیری عمیق ترکیب میکند. تصویربرداری فوتوآکوستیک بر اساس اثر فوتوآکوستیک است که در آن جذب نوری باعث افزایش دما میشود که باعث افزایش فشار بعدی از طریق انبساط ترمو الاستیک میشود. این افزایش فشار در بافت منتشر میشود و از طریق مبدلهای اولتراسونیک حس میشود. با توجه به تناسب بین جذب نوری، افزایش دما و افزایش فشار، سیگنال موج فشار اولتراسوند می تواند برای تعیین کمیت رسوب اولیه انرژی نوری در بافت استفاده شود.
تصویربرداری فوتوآکوستیک کاربردهای یادگیری عمیق در هر دو توموگرافی کامپیوتری فوتوآکوستیک (PACT) و میکروسکوپ فوتوآکوستیک (PAM) دارد. PACT از تحریک نوری میدان وسیع و مجموعه ای از مبدل های اولتراسوند بدون تمرکز استفاده می کند.مشابه سایر روشهای توموگرافی کامپیوتری، نمونه در زوایای دید چندگانه تصویربرداری میشود، که سپس برای انجام یک الگوریتم بازسازی معکوس بر اساس هندسه تشخیص (معمولاً از طریق پسپرژه جهانی، تاخیر و مجموع اصلاحشده، یا معکوس زمانی) برای استخراج اولیه توزیع فشار در بافت استفاده میشود. از سوی دیگر، PAM از تشخیص اولتراسوند متمرکز همراه با تحریک نوری با تمرکز ضعیف (PAM با وضوح صوتی یا AR-PAM) یا تحریک نوری با فوکوس دقیق (PAM با وضوح نوری یا OR-PAM) استفاده میکند. PAM معمولاً تصاویر را نقطه به نقطه میگیرد. از طریق یک الگوی اسکن شطرنجی مکانیکی. در هر نقطه اسکن شده، زمان پرواز صوتی وضوح محوری را ارائه می دهد در حالی که فوکوس آکوستیک وضوح جانبی را ایجاد می کند.
کاربردهای یادگیری عمیق در PACT[ویرایش]
اولین کاربرد یادگیری عمیق در PACT توسط Reiter و همکاران بود. که در آن یک شبکه عصبی عمیق برای یادگیری پاسخ های تکانه فضایی و مکان یابی منابع نقطه ای فوتوآکوستیک آموزش داده شد. میانگین خطاهای موقعیت محوری و جانبی در 2412 تصویر آزمایشی انتخاب شده به طور تصادفی به ترتیب 0.28 میلی متر و 0.37 میلی متر بود. پس از اجرای اولیه، کاربردهای یادگیری عمیق در PACT عمدتاً به حذف مصنوعات از بازتابهای صوتی، نمونهبرداری پراکنده، دید محدود و پهنای باند محدود منشعب شدهاند. همچنین اخیراً برخی کارها در PACT برای استفاده از یادگیری عمیق برای محلیسازی جبهه موج انجام شده است. شبکههایی مبتنی بر ادغام اطلاعات از دو بازسازی مختلف برای بهبود بازسازی با استفاده از شبکههای مبتنی بر همجوشی یادگیری عمیق وجود دارد.
استفاده از یادگیری عمیق برای مکان یابی منابع نقطه ای فوتوآکوستیک[ویرایش]
تکنیکهای سنتی شکلدهی پرتوآکوستیک، انتشار موج فوتوآکوستیک را با استفاده از هندسه آرایه آشکارساز و زمان پرواز برای محاسبه تفاوتها در زمان رسیدن سیگنال PA مدلسازی کردند. با این حال، این تکنیک نتوانست سیگنالهای صوتی طنیندار ناشی از انعکاس صوتی را در نظر بگیرد، که منجر به ایجاد مصنوعات بازتاب صوتی میشود که اطلاعات مکان منبع نقطه فوتوآکوستیک واقعی را خراب میکند. در Reiter و همکاران، یک شبکه عصبی کانولوشن (شبیه به یک معماری سبک VGG 16 ساده) استفاده شد که دادههای فوتوآکوستیک از قبل پرتو شکل گرفته را به عنوان ورودی دریافت کرد و یک نتیجه طبقهبندی را که محل منبع نقطهای دوبعدی را مشخص میکرد، صادر کرد.
یادگیری عمیق برای محلی سازی جبهه موج PA[ویرایش]
جانستونباو و همکارانش توانستند منبع جبهههای موج فوتوآکوستیک را با یک شبکه عصبی عمیق بومیسازی کنند. شبکه مورد استفاده یک شبکه عصبی کانولوشنال به سبک رمزگذار-رمزگشا بود. شبکه رمزگذار-رمزگشا از ماژولهای پیچیدگی باقیمانده، نمونهبرداری بالا و میدان دید بالا ساخته شده است. یک لایه پیچیدگی Nyquist و لایه تبدیل فضایی به عددی قابل تمایز نیز در معماری استفاده شد. جبهههای موج PA شبیهسازیشده به عنوان ورودی برای آموزش مدل خدمت میکنند. برای ایجاد جبهههای موج، شبیهسازی رو به جلو انتشار نور با جعبه ابزار NIRFast و تقریب انتشار نور انجام شد، در حالی که شبیهسازی رو به جلو انتشار صدا با جعبه ابزار K-Wave انجام شد. جبهه موج های شبیه سازی شده در معرض محیط های پراکندگی مختلف و نویز گاوسی قرار گرفتند. خروجی شبکه یک نقشه حرارتی بدون مصنوع از موقعیت محوری و جانبی اهداف بود. میانگین نرخ خطای این شبکه در هنگام بومی سازی هدف زیر 40 میلی متر کمتر از 30 میکرون بود و برای اهداف بین 40 میلی متر و 60 میلی متر میانگین خطای 1.06 میلی متر داشت. با یک تغییر جزئی در شبکه، این مدل توانست محلی سازی چند هدف را در خود جای دهد. یک آزمایش اعتبار سنجی انجام شد که در آن سرب مدادی در یک محلول درون چربی در عمق 32 میلی متر غوطه ور شد. شبکه توانست موقعیت سرب را زمانی که محلول دارای ضریب پراکندگی کاهش یافته 0، 5، 10 و 115- سانتی متر بود، محلی کند. نتایج این شبکه بهبودهایی را نسبت به الگوریتمهای استاندارد شکلدهی پرتو تاخیر و جمع یا فرکانس نشان میدهد و جانستونباگ پیشنهاد میکند که این فناوری میتواند برای شکلدهی جبهه موج نوری، تشخیص سلول ملانوم در گردش و جراحیهای عروقی بلادرنگ استفاده شود.
حذف مصنوعات بازتاب صوتی (در حضور چندین منبع و نویز کانال)[ویرایش]
با تکیه بر کار رایتر و همکاران. آلمن و همکاران از یک معماری کامل VGG-16 برای مکان یابی منابع نقطه ای و حذف مصنوعات بازتابی در داده های خام کانال فوتوآکوستیک (در حضور چندین منبع و نویز کانال) استفاده کرد.این استفاده از یادگیری عمیق بر روی داده های شبیه سازی شده تولید شده در کتابخانه موج k MATLAB آموزش دیده و سپس نتایج خود را بر روی داده های تجربی مجدداً تأیید کرد.
بازسازی PACT وضعیت بدی داشت[ویرایش]
در PACT، بازسازی توموگرافی انجام می شود، که در آن برآمدگی ها از چندین زوایای جامد با هم ترکیب می شوند تا یک تصویر را تشکیل دهند. هنگامی که روشهای بازسازی مانند پسپردهکشی فیلتر شده یا معکوسسازی زمان، به دلیل نمونهبرداری تحت نیاز نمونهگیری Nyquist Shannon یا با پهنای باند یا دید محدود، مشکلات معکوس ایجاد میکنند، بازسازی حاصل حاوی مصنوعات تصویر است. بهطور سنتی، این مصنوعات با روشهای تکراری آهسته مانند تنوع کلی حذف میشوند. به حداقل رساندن، اما ظهور رویکردهای یادگیری عمیق راه جدیدی را باز کرده است که از دانش پیشینی آموزش شبکه برای حذف مصنوعات استفاده می کند. در روشهای یادگیری عمیق که به دنبال حذف این نمونهبرداریهای پراکنده، پهنای باند محدود، و مصنوعات با دید محدود هستند، گردش کار معمولی شامل ابتدا انجام تکنیک بازسازی نامناسب برای تبدیل دادههای شکلگرفته از قبل به یک نمایش دو بعدی از توزیع فشار اولیه است که شامل مصنوعات سپس، یک شبکه عصبی پیچشی (CNN) برای حذف مصنوعات آموزش داده میشود تا نمایشی بدون آرتیفکت از توزیع فشار اولیه واقعیت عینی تولید کند.
استفاده از یادگیری عمیق برای حذف مصنوعات نمونه برداری پراکنده[ویرایش]
هنگامی که چگالی زوایای دید توموگرافی یکنواخت کمتر از آنچه توسط قضیه نمونهبرداری نایکیست-شانون تجویز میشود باشد، گفته میشود که سیستم تصویربرداری در حال انجام نمونهبرداری پراکنده است. نمونه برداری پراکنده معمولاً به عنوان راهی برای پایین نگه داشتن هزینه های تولید و بهبود سرعت گرفتن تصویر اتفاق می افتد. معماری شبکه معمولی مورد استفاده برای حذف این نمونهبرداریهای پراکنده، U-net و کاملاً متراکم (FD) U-net هستند. هر دوی این معماری ها شامل فاز فشرده سازی و رفع فشار هستند. مرحله فشرده سازی یاد می گیرد که تصویر را به یک نمایش نهفته فشرده کند که فاقد مصنوعات تصویربرداری و سایر جزئیات است. سپس فاز رفع فشار با اطلاعات ارسال شده توسط اتصالات باقیمانده ترکیب می شود تا جزئیات تصویر پشتی را بدون افزودن جزئیات مرتبط با مصنوعات اضافه کند. FD U-net معماری اصلی U-net را با گنجاندن بلوک های متراکم تغییر می دهد که به لایه ها اجازه می دهد از اطلاعات آموخته شده توسط لایه های قبلی در بلوک متراکم استفاده کنند. تکنیک دیگری با استفاده از یک معماری ساده مبتنی بر CNN برای حذف مصنوعات و بهبود بازسازی تصویر موج k پیشنهاد شد.
حذف مصنوعات با دید محدود با یادگیری عمیق[ویرایش]
هنگامی که یک ناحیه از زوایای جامد جزئی گرفته نمیشود، معمولاً به دلیل محدودیتهای هندسی، میگویند دریافت تصویر دارای دید محدودی است. همانطور که توسط آزمایش های داوودی و همکاران نشان داده شده است، خرابی های دید محدود را می توان مستقیماً به عنوان اطلاعات گمشده در حوزه فرکانس تصویر بازسازی شده مشاهده کرد. نمای محدود، مشابه نمونهگیری پراکنده، الگوریتم بازسازی اولیه را نامناسب میسازد. قبل از یادگیری عمیق، مشکل دید محدود با سخت افزار پیچیده مانند منحرف کننده های صوتی و آرایه های مبدل حلقه شکل کامل و همچنین راه حل هایی مانند سنجش فشرده، ضریب وزنی و پس پروجکشن فیلتر شده تکراری بررسی می شد. نتیجه این بازسازی بد، مصنوعات تصویربرداری است که می توانند توسط CNN ها حذف شوند. الگوریتم های یادگیری عمیق مورد استفاده برای حذف مصنوعات نمای محدود شامل U net و FD U net، [36] و همچنین شبکههای زایای دشمنگونه (GANs) و نسخه های حجمی U net هستند. یکی از اجرای GAN از یادداشت با استفاده از U net به عنوان یک ژنراتور و VGG به عنوان یک تمایز، با متریک Wasserstein و جریمه گرادیان برای تثبیت آموزش (WGAN GP) بهبود یافت.
درون یابی هوشمندانه پیکسل و یادگیری عمیق برای بازسازی سریع تر سیگنال های دید محدود[ویرایش]
گوان و همکاران قادر به اعمال یک شبکه FD U برای حذف مصنوعات از تصاویر شبیه سازی شده با نمای محدود بازسازی شده PA بود. تصاویر PA بازسازی شده با فرآیند معکوس زمانی و داده های PA جمع آوری شده با 16، 32 یا 64 حسگر به عنوان ورودی به شبکه و تصاویر حقیقت زمین به عنوان خروجی مورد نظر خدمت می کردند. این شبکه توانست مصنوعات ایجاد شده در فرآیند برگشت زمان را از فانتوم های مصنوعی، مغز موش، فوندوس و عروق ریه حذف کند. این فرآیند مشابه کار انجام شده برای پاکسازی مصنوعات از تصاویر پراکنده و محدود انجام شده توسط داوودی و همکاران بود. برای بهبود سرعت بازسازی و اجازه دادن به شبکه FD U برای استفاده از اطلاعات بیشتر از حسگر، Guan et al. پیشنهاد استفاده از درون یابی مبتنی بر پیکسل به عنوان ورودی به شبکه به جای یک تصویر بازسازی شده است. استفاده از درون یابی عاقلانه پیکسلی، نیاز به تولید یک تصویر اولیه را که ممکن است جزئیات کوچک را حذف کند یا با پوشاندن آنها با مصنوعات غیرقابل بازیابی کند، برطرف می کند. برای ایجاد درون یابی مبتنی بر پیکسل، زمان پرواز برای هر پیکسل با استفاده از معادله انتشار موج محاسبه شد. سپس، یک شبکه بازسازی از اندازه گیری فشار محاسبه شده از زمان پرواز پیکسل ها ایجاد شد. با استفاده از شبکه بازسازی به عنوان ورودی، شبکه FD U توانست تصاویر بازسازی شده بدون مصنوع ایجاد کند. این روش درونیابی مبتنی بر پیکسل سریعتر بود و نسبت سیگنال به نویز (PSNR) و شاخص تشابه ساختاری (SSIM) بهتری نسبت به تصاویر بدون مصنوع ایجاد میکرد که زمانی که تصاویر معکوس زمانی به عنوان ورودی به شبکه FD U استفاده میشدند. این روش درونیابی مبتنی بر پیکسل به طور قابلتوجهی سریعتر بود و PSNR و SSIM قابل مقایسه با تصاویر بازسازیشده از رویکرد تکراری فشرده محاسباتی داشت. روش pixel wise ارائه شده در این مطالعه فقط برای آزمایشهای سیلیکونی با محیط همگن ثابت شد، اما Guan معتقد است که روش pixel wise میتواند برای رندر PAT زمان واقعی استفاده شود.
حذف مصنوع با پهنای باند محدود با شبکه های عصبی عمیق[ویرایش]
مشکل پهنای باند محدود در نتیجه پهنای باند فرکانس تشخیص محدود آرایه مبدل اولتراسوند رخ می دهد. این آرایه مبدل مانند یک فیلتر باند گذر در حوزه فرکانس عمل می کند و فرکانس های بالا و پایین را در سیگنال فوتوآکوستیک تضعیف می کند. این پهنای باند محدود می تواند باعث ایجاد آرتیفکت و محدود کردن وضوح محوری سیستم تصویربرداری شود. معماری شبکه عصبی عمیق اولیه که برای حذف مصنوعات با پهنای باند محدود استفاده می شود، WGAN-GP و U-Net اصلاح شده است. روش معمولی برای حذف مصنوعات و حذف نویز بازسازی های پهنای باند محدود قبل از یادگیری عمیق، فیلتر وینر بود که به گسترش طیف فرکانس سیگنال PA کمک می کند. مزیت اصلی روش یادگیری عمیق نسبت به فیلتر وینر این است که فیلتر وینر به نسبت سیگنال به نویز اولیه (SNR) بالایی نیاز دارد، که همیشه ممکن نیست، در حالی که مدل یادگیری عمیق چنین محدودیتی ندارد.
تلفیقی از اطلاعات برای بهبود تصاویر فوتوآکوستیک با شبکه های عصبی عمیق[ویرایش]
اطلاعات تکمیلی با استفاده از معماریهای مبتنی بر فیوژن برای بهبود بازسازی تصویر فوتوآکوستیک استفاده میشود. از آنجایی که بازسازی های مختلف ویژگی های متفاوتی را در خروجی ارتقا می دهند و از این رو کیفیت و ویژگی های تصویر در صورت استفاده از تکنیک بازسازی متفاوت متفاوت است. یک معماری مبتنی بر فیوژن جدید برای ترکیب خروجی دو بازسازی مختلف و ارائه کیفیت تصویر بهتر در مقایسه با هر یک از آن بازسازیها پیشنهاد شد. این شامل به اشتراک گذاری وزن، و ادغام ویژگی ها برای دستیابی به بهبود مطلوب در کیفیت تصویر خروجی است.
یادگیری عمیق برای بهبود عمق نفوذ تصاویر PA[ویرایش]
لیزرهای پرانرژی به نور اجازه میدهند تا به عمق بافت برسد و ساختارهای عمیق را در تصاویر PA قابل مشاهده باشند. لیزرهای پرانرژی عمق نفوذ بیشتری نسبت به لیزرهای کم انرژی ایجاد می کنند. حدود 8 میلی متر عمق نفوذ بیشتر برای لیزرهایی با طول موج بین 690 تا 900 نانومتر. موسسه استاندارد ملی آمریکا حداکثر نوردهی مجاز (MPE) را برای بافت های مختلف بیولوژیکی تعیین کرده است. لیزرهایی با مشخصات بالاتر از MPE می توانند باعث آسیب مکانیکی یا حرارتی به بافتی شوند که تصویربرداری می کنند. منور و همکاران توانست با اعمال معماری U-net بر روی تصاویر ایجاد شده توسط لیزر کم انرژی، نفوذ لیزرهای کم انرژی را که استاندارد MPE را برآورده می کنند، افزایش دهد. این شبکه با تصاویری از مغز گوسفند ex vivo ایجاد شده توسط لیزر کم انرژی 20 میلی ژول به عنوان ورودی شبکه و تصاویری از همان مغز گوسفند که توسط لیزر با انرژی بالا 100 میلی ژول، 20 میلی ژول بالای MPE ایجاد شده است، آموزش داده شد. به عنوان خروجی مورد نظر یک تابع تلفات حساس ادراکی برای آموزش شبکه برای افزایش نسبت سیگنال به نویز کم در تصاویر PA ایجاد شده توسط لیزر کم انرژی استفاده شد. شبکه آموزش دیده توانست نسبت پیک به پس زمینه را 4.19 دسی بل و عمق نفوذ را تا 5.88 درصد برای عکس های ایجاد شده توسط لیزر کم انرژی یک مغز گوسفند در داخل بدن افزایش دهد. Manwar ادعا می کند که این فناوری می تواند در تصویربرداری مغز نوزادان مفید باشد، جایی که تصویربرداری از طریق transfontanelle امکان جستجو برای هر گونه آسیب یا آسیب وجود دارد.
کاربردهای یادگیری عمیق در PAM[ویرایش]
تفاوت میکروسکوپ فوتو آکوستیک با سایر اشکال توموگرافی فوتو آکوستیک در این است که از تشخیص اولتراسوند متمرکز برای بدست آوردن تصاویر پیکسل به پیکسل استفاده می کند. تصاویر PAM بهعنوان دادههای حجمی با زمان تفکیکشده بهدست میآیند که معمولاً از طریق تبدیل هیلبرت و طرحریزی حداکثر دامنه (MAP) به یک طرح دو بعدی نگاشت میشوند. اولین کاربرد یادگیری عمیق در PAM، به شکل یک الگوریتم تصحیح حرکت بود. این روش برای تصحیح مصنوعات PAM که هنگام حرکت یک مدل in vivo در حین اسکن اتفاق میافتد، ارائه شده است. این حرکت باعث ایجاد ناپیوستگی عروق می شود.
یادگیری عمیق برای حذف مصنوعات حرکتی در PAM[ویرایش]
دو نوع مصنوع حرکتی اولیه که توسط یادگیری عمیق در PAM مورد توجه قرار می گیرد، جابجایی در جهت عمودی و کج است. چن و همکاران از یک شبکه عصبی کانولوشنال سه لایه ساده که هر لایه با یک ماتریس وزن و یک بردار بایاس نشان داده شده بود، به منظور حذف مصنوعات حرکتی PAM استفاده کرد. دو تا از لایه های کانولوشن حاوی توابع فعال سازی RELU هستند، در حالی که آخرین لایه هیچ عملکرد فعال سازی ندارد. با استفاده از این معماری، اندازههای هسته 3×3، 4×4، و 5×5 مورد آزمایش قرار گرفتند که بزرگترین اندازه هسته 5×5 بهترین نتایج را به همراه داشت. پس از آموزش، عملکرد مدل تصحیح حرکت مورد آزمایش قرار گرفت و به خوبی بر روی داده های شبیه سازی و in vivo انجام شد.
دامنه فرکانس به کمک یادگیری عمیق PAM[ویرایش]
ورودی نویزدار، خروجی بدون نویز از طریق U Net و تصاویر دامنه فرکانس زمینی متوسط PA از دو جنین Parhyale hawaiensis بدون برچسب. فلش های زرد نشان دهنده غشای سلولی است. میله های مقیاس برابر با 100 میکرومتر هستند.دامنه فرکانس PAM یک روش تصویربرداری مقرون به صرفه قدرتمند را تشکیل می دهد که پرتوهای لیزر مدوله شده با شدت ساطع شده توسط منابع موج پیوسته برای تحریک سیگنال های PA تک فرکانس را یکپارچه می کند. با این وجود، این رویکرد تصویربرداری به طور کلی نسبت سیگنال به نویز (SNR) کوچکتری را ارائه میدهد که میتواند تا دو مرتبه قدر کمتر از سیستمهای حوزه زمان معمولی باشد. برای غلبه بر محدودیت ذاتی SNR دامنه فرکانس PAM، یک شبکه عصبی U Net برای تقویت تصاویر تولید شده بدون نیاز به میانگینگیری بیش از حد یا اعمال توان نوری بالا بر روی نمونه استفاده شده است. در این زمینه، دسترسی به PAM بهبود می یابد زیرا هزینه سیستم به طور چشمگیری کاهش می یابد و در عین حال استانداردهای کیفیت تصویر به اندازه کافی بالا برای مشاهدات بیولوژیکی را حفظ می کند.
همچنین ببینید[ویرایش]
- تصویربرداری فتواکستیک
- میکروسکوپ فوتو آکوستیک
- اثر فوتو آکوستیک
منابع[ویرایش]
- Wang, Lihong V. (2009-08-29). "Multiscale photoacoustic microscopy and computed tomography". Nature Photonics. 3 (9): 503–509. Bibcode:2009NaPho...3..503W. doi:10.1038/nphoton.2009.157. ISSN 1749-4885. PMC 2802217. PMID 20161535
- Beard, Paul (2011-08-06). "Biomedical photoacoustic imaging". Interface Focus. 1 (4): 602–631. doi:10.1098/rsfs.2011.0028. ISSN 2042-8898. PMC 3262268. PMID 22866233
- Xu, Minghua; Wang, Lihong V. (2005-01-19). "Universal back-projection algorithm for photoacoustic computed tomography". Physical Review E. 71 (1): 016706. Bibcode:2005PhRvE..71a6706X
- Kalva, Sandeep Kumar; Pramanik, Manojit (August 2016). "Experimental validation of tangential resolution improvement in photoacoustic tomography using modified delay-and-sum reconstruction algorithm". Journal of Biomedical Optics.
- Bossy, Emmanuel; Daoudi, Khalid; Boccara, Albert-Claude; Tanter, Mickael; Aubry, Jean-François; Montaldo, Gabriel; Fink, Mathias (2006-10-30). "Time reversal of photoacoustic waves
- Treeby, Bradley E; Zhang, Edward Z; Cox, B T (2010-09-24). "Photoacoustic tomography in absorbing acoustic media using time reversal". Inverse Problems.
- Wang, Lihong V.; Yao, Junjie (2016-07-28). "A Practical Guide to Photoacoustic Tomography in the Life Sciences"
- Reiter, Austin; Bell, Muyinatu A Lediju (2017-03-03). Oraevsky, Alexander A; Wang, Lihong V (eds.). "A machine learning approach to identifying point source locations in photoacoustic data". Photons Plus Ultrasound: Imaging and Sensing 2017. 10064. International Society for Optics and Photonics: 100643J. Bibcode:2017SPIE10064E..3JR
لینک های خارجی[ویرایش]
- تصویربرداری فتواکستیک
- میکروسکوپ فوتو آکوستیک
- اثر فوتو آکوستیک