خلاصه آنچه در این خبرنامه به آن می پردازیم:

• مزایای داشتن یک CNN چند مقیاسی مبتنی بر ساختار FPN چیست؟

• ساختار Multi-Scale CNN

• ساختار چند مقیاسی CNN پیشنهادی چه مزیت هایی دارد؟

مدت زمان مطالعه: 7 دقیقه

مزایای داشتن یک CNN چند مقیاسی مبتنی بر ساختار FPN چیست؟

• برخلاف featured image pyramids که از چندین تصویر ورودی با مقیاس های متفاوت استفاده می کند، معماری  پیشنهاد شده با یک تصویر ورودی کار می کند و هزینه های محاسباتی را کاهش می دهد.

• برخلاف مدل های قبلی که از چندین مدل CNN در حال اجرا به صورت موازی استفاده می کردند، این ساختار چند مقیاسی پیشنهادی از یک CNN برای استخراج ویژگی‌های با اندازه‌های مختلف و ادغام آنها برای طبقه‌بندی کلی استفاده می‌کند.

ساختار Multi-Scale CNN                       

ساختار چند مقیاسی را می توان با هرلایه از معماری CNN به عنوان ستون اصلی استفاده کرد.  مانند: VGG, ResNet, DenseNet

 VGG16 به عنوان شبکه اصلی پیشنهادی، بهترین عملکرد را در ترکیب با ساختار FPN دارد.  ساختار FPN-VGG16 از سه جزء اصلی تشکیل شده است:

1. Encoder
2. feature fusion using FPN
3. classifier

بخش Encoder مسئول ایجاد سلسله مراتب ویژگی های هرمی است و می تواند از طیف گستردهای از شبکه های یادگیری عمیق معروف مانند:VGGNets ، ResNets، DenseNets ، EfficientNets انتخاب شود.

بخش  feature fusion section بر اساس ساختار FPN است.  این بخش ورودی را از خروجی encoder می گیرد و آنها را برای بهبود نمایش معنایی مدل با هم ترکیب می کند.

ساختار چند مقیاسی CNN پیشنهادی چه مزیت هایی دارد؟

پاتولوژی های شبکیه که در یک مقیاس قابل تشخیص نیستند ممکن است در مقیاس های بالاتر/پایین تر شناسایی شوند. شکل زیر یک drusen case را نشان می دهد که در آن آخرین convolutional block  قادر به تفکیک ناحیه مورد نظر نیست. دلیل این شکست را می توان با اندازه کوچک drusen موجود در تصویر OCT توجیه کرد.  با این حال، این مدل به درستی رسوب در شبکیه چشم مرتبط با  drusen  را هنگام استفاده از مقیاس ظریف‌تر شناسایی می‌کند.

• نقشه های حرارتی برای اولین drusen case با استفاده از خروجی convolutional block پنجم (تصویر چپ) و چهارم (تصویر راست) برای مدل FPN-VGG16.

رویکرد چند جانبه نگاه دقیق‌تری به فرآیند تصمیم‌گیری مدل در اختیار پزشکان  قرار می‌دهد. بلوک چهارم یک نقشه حرارتی 14×14 چهار برابر وضوح بیشتر نسبت به بلوک پنجم دارد. در حالی که بلوک پنجم مدل VGG16 در ساختار FPN یک نقشه حرارتی 7×7 با استفاده از روش Grad-CAM ارائه می‌کند.

نقشه های حرارتی برای دومین drusen case با استفاده از خروجی convolutional block پنجم (تصویر چپ) و چهارم (تصویر راست) برای مدل FPN-VGG16.