معرفی معماری ResNet

بسم الله الرحمن الرحیم
هفته گذشته کارگاه چند روزه ای داشتیم و موارد مختلفی پوشش داده شد. من سعی میکنم بعضی از مطالبی که در کارگاه بیان شد رو اینجا هم عنوان کنم و یکسری توضیحات که اونجا وقت نشد بیشتر توضیح داده بشن اینجا عنوان کنم.(البته سر فرصت)
در این پست میخوایم بطور مختصر در مورد معماری ResNet صحبت کنیم و ببینیم ایده اصلی چه چیزی بوده و داستان residual block از چه چیزی نشات گرفته.

معرفی کوتاه معماری ResNet :

معماری ResNet ، در سال ۲۰۱۵ معرفی شد و تونست رقابتهای زیادی رو برنده بشه. این معماری با عمق ۱۵۲ لایه ، عمیق ترین معماری تا اون سال شناخته میشه و بعد از اون هم کماکان یکی از عمیق ترین هاست. البته نسخه های مختلفی ازاون معماری وجود داره که بسته به نیاز مورد استفاده قرار میگیرن.

دقت کنید بحث دو بخشیه . در بخش اول ما یک توضیح میدیم مشکل اصلی چیه و در ادامه بحث باز میشه. در بخش دوم هم یک سری نکات و توضیحات مطرح میشه تا یکسری نکات مبهم مشخص تر بشه. اگر هم نکته ای مبهم باقی موند در کامنت بپرسید تا توضیح داده بشه.

اصل داستان در باره چیه؟

اصل داستان بر میگرده به مساله degradation یا کاهش. کاهش چی؟ کاهش دقت آموزش (training accuracy degradation). دوباره یعنی چی ؟ تا قبل از معرفی ResNet ما از خیلی سالهای پیش (دهه نود میلادی بعنوان مثال) فهمیده بودیم که با افزایش عمق (و عرض) شبکه میشه به کارایی بهتری دست پیدا کرد. این موارد بطور خاص طی سالهای قبل با معماری هایی مثل AlexNet, VGGNet, GoogleNet هم بطور مکرر تایید شد. اما یک مشکل بزرگ وجود داشت. همه این معماری ها هرچند عنوان میکردند که عمق بیشتر بهتره اما در عمل از یک حد خاصی نمیتونستن بیشتر پیش برن. مشکل اون زمان عموما vanishing gradient بود. با گذشت زمان و معرفی الگوریتم های مقداردهی بهتر و همینطور معرفی الگوریتم BatchNormalization این بحث به حاشیه رفت. حالا میشد از نظر تئوری معماری های بسیار بسیار عمیقتری رو بدون نگرانی از مواجهه با vanishing gradient توسعه داد و ترین کرد. بنابر این فرض منطقی این بود حالا که این مشکل بغرنج از سر راه برداشته شده باید بشه معماری های عمیقتری رو ترین کرد و به دقت های بهتری رسید. اما!

زمانی که شروع به افزایش تعداد لایه ها در معماری میکنیم میبینیم که دقت بهتر که نشده بدتر میشه و با افزایش تعداد لایه ها این قضیه بغرنج تر میشه. این بخاطر اورفیت کردن نیست. پس چی میتونه باشه؟ آیا این یکی از مهمترین دلایلش سیگنال ضعیف بک پراپگیشن به ورودی نیست؟ (خیلی خلاصه نه!)

قبل از جواب دادن به این سوال بزارید یک بحثی رو پیش بکشیم. برگردیم سر موضوع اصلی. بحث ما دیگردیشن هست و این نشون میده که همه سیستم ها رو به یک شکل و به اسانی نمیشه ترین (بهینه) کرد.

درمقاله اینطور شروع به معرفی مشکل شده ، بزارید اینطور به قضیه نگاه کنیم:

اگه ما یک مدل کم عمق رو در نظر بگیریم میدونیم که میتونیم یک معادل عمیق تر از اون رو با اضافه کردن یکسری لایه جدید بدست بیاریم. از نظر ساختاری یک راه حل برای مدل عمیق تر وجود داره که به همون عملکرد معمار ی کم عمق(تر) برسه. یعنی چی ؟  یعنی تمام اون لایه های اضافه شده نگاشت همانی رو انجام بدن (Identity mapping) و بقیه لایه های قدیمی هم از معماری کم عمق(تر) به این معماری منتقل شده باشن(وزنهاشون رو بیاریم اینور ). یعنی معماری عمیق ما میشه همون معماری کم عمق(تر) + لایه های همانی در ادامه اش. وجود یک همچین راه حلی نشون میده که یک مدل عمیقتر باید بتونه همون کاری که معماری کم عمق تر میکنه انجام بده ولی در عمل میبینیم این اتفاق نمی افته و solver های فعلی ما نمیتونن این راه حل رو پیدا کنن. باز یعنی وقتی ما این فرض رو انجام میدیم یعنی یک سالور هم باید بتونه با توجه به خطای شبکه تشخیص بده این لایه های اضافی جدید تابع سودمندی که باعث کاهش خطای شبکه بشه ایجاد نمیکنن پس بهتره از خروجی تابع قبلی که مقدار مناسبی داشته استفاده بشه (تابع جدید بشه همانی).

همه اینها یعنی چی ؟ یعنی مشکل معماری های عمیقتر اینه که بصورت دیفالت نمیشه یکسری لایه Identity mapping رو پیاده سازی کنن (فرابگیرن). ایده این مقاله پس چیه؟ ایده این مقاله اینه که ما کاری کنیم که این اتفاق در معماری رخ بده.

حالا در مقاله چی میگن ؟ میگن ما این مشکل رو میاییم با معرفی یک چارچوب یادگیری رزیجوآل عمیق  (deep residual learning framework) حل میکنیم . میاییم بجای اینکه امیدوار باشیم چندتا لایه پشت سر هم به یک نگاشت زیرین دلخواه برسن، ما بطور صریح کاری میکنیم که این لایه ها یک نگاشت رزیجوآل رو انجام بدن. اگه نگاشت دلخواه رو H(x)  در نظر بگیریم ما اجازه میدیم که چندتا لایه پشت سر هم یک نگاشت F(x) = H(x) - x  رو انجام بده.  بعد نگاشت اصلی رو (یعنی همینی که تازه دیدیم) میاییم تغییر کوچیکی توش میدیم و بصورت F(x) + x  مینویسیمش. هرچند هر دو فرم باید بتونن هر تابعی رو تقریب بزنن اما سادگی یادگیری این دوتا میتونه کاملا با هم فرق کنه یعنی یکی ساده باشه یکی نباشه. فرض ما اینه که برای بهینه ساز انجام نگاشت ریزجول به این شکل خیلی ساده تر از رابطه اصلی باشه. بعد هم عنوان میشه که در نهایت اگه یک نگاشت همانی ، نگاشت بهینه مورد نظر باشه، نزدیک کردن مقدار رزیجوآل به صفر خیلی ساده تر از بدست اوردن نگاشت همانی توسط چند لایه کانولوشن پشت سر هم با توابع غیرخطی هست.  و این شکل رو هم نشون میدن !

حالا همه اینها یعنی چی؟

قبل از اینکه شروع کنیم و ادامه بدیم بزارید معنی Residual رو بدونیم . این معنیش میشه باقی مونده یا خطای بین دوتا data point یا متغییر. الزاما این خطا به معنای اینکه واقعا خطایی رخ داده باشه نیست یک ملاکی هست برای اینکه ببینیم چقدر تغییر بین این دوتا دیتاپوینت یا متغییر یا دو حالت وجود داره.

اینجا ما دنبال بدست اوردن تابع همانی هستیم . درسته؟ یعنی هرچی ورودی باشه در خروجی هم قرار بگیره .

حالا شکل زیر رو در نظر بگیرید. شکل زیر ورودی ، دو لایه پشت سر هم و یک خروجی رو نشون میده

اون t1 و t2 هم یعنی مرحله ۱ و مرحله بعدش (t اصطلاحا اشاره به زمان داره . و معمولا وقتی بخواییم برای نشون دادن ترتیب استفاده کنیم از این فرمت هم استفاده میکنیم. حالت قبل و حالت بعد)

حالا برای اینکه ما identity داشته باشیم باید h(x)_t2  مساوی h(x)_t1  باشه یعنی خطای اونها صفر باشه باز یعنی

h(x)_t1  رو اگر همون x  خودمون بگیریم  میشه  h(x)_t2 - xمیشه نوشت

حالا اینو یک معادله در نظر بگیریم میشه f(x) = h(x) - x

به این میگن رزیجوال یعنی h(x)  باید خودش دقیقا x رو بدست بیاره تا خطا صفر بشه و چون این کار سختیه (اگه اسون بود همون اول در اموزش انجام میشد) ما اینو به فرم زیر نوشتیم

که در اینجا گفتیم تابع h(x)  بطور صریح بیاد و یک رابطه ریجول رو یاد بگیره . با اینکار سالور خیلی راحت میتونه  f(x)  رو برابر صفر قرار بده تا h(x) = x  بشه یعنی همون چیزی که ما میخوایم . یعنی تابع همانی

و این  f(x)+x  هم در شبکه عصبی براحتی پیاده سازی میشه با یک اسکیپ کانکشن و جمع کردن اون با خروجی (همین چیزی که داریم). این داستان ریجوال هست .

خب حالا همه این حرفها در مورد زمانی بود که ما نیاز به تابع همانی داریم برای وقتی که افزایش لایه چیزی به قدرت بازنمایی شبکه اضافه نمیکنه . خب برای لایه هایی که تاثیر مثبت دارن چی ؟ برای اون لایه ها میشه گفت ما داریم با اسکیپ کانکشن ها و ارائه خروجی از لایه های قبلی به بعدی داریم  information pool بهتری ارائه میکنیم و در نتیجه فیچرهای بهتری بدست میاریم از طرفی حالا وقتی ما این مطلب رو در قالب کل ببینیم و طی چند مرحله انجام بدیم چه اتفاقی می افته؟ قدم به قدم خطا کاهش پیدا میکنه. یا میشه اینطور گفت قدم به قدم بهبود داریم یا باز دوباره اینطور میشه گفت قدم به قدم داریم چیزی رو یاد میگیریم(تا نهایتا به تابع بهینه موردنظر برسیم در هر سطح ) به همین دلیل بهش گفتن رزیجوآل لرنینگ که میشه بهش بنوعی گفت یادگیری افزایشی (در ارائه هم فکر کنم یکی از بچه ها منظورشون این مطلب بود که فرصت نشد بعد از اتمام بخش اول دراین مورد صحبت بشه و این قضیه باز بشه (البته ما در ادامه و همینطور بخش مربوط به Maximum information utilization به این مطلب تحت مثالهایی برای ایجاد information pool های بهتر اشاره کردیم اما نیاز به توضیح بیشتر بود که اینجا داریم همین کارو میکنیم) اگه به چیز دیگه ای اشاره داشتن که در کامنت عنوان بشه خیلی خوبه) دقت کنید که در زمانی که ما نیاز به تابع همانی نداریم قرار نیست f(x)=0 بشه. اینجا f(x) خیلی ساده یک تبدیل غیرخطی از ورودی خواهد بود همون چیزی که همیشه داشتیم. و علاوه بر اون چیزی که همیشه داشتیم الان در هر سطح ما یک ورودی از مرحله قبل هم داریم که باعث میشه لایه بعدی هم به داده اصلی و هم دید بلاک قبلی از این داده برسه و اینطور بتونه سطح بالاتری از ویژگی ها رو بدست بده. باز عرض میکنم دقت کنید که بحث ما این بوده که سالور نمیتونسته برای لایه های جدیدی که چیزی به شبکه اضافه نمیکنن تابع ایدنتتی رو ارائه کنه یا تقریب بزنه . و کاری که ما کردیم این بوده که کاری کردیم بطور صریح هر وقت سالور نیاز به این کار داشت براحتی این کار قابل انجام باشه  (با صفر کردن f(x) یا نزدیک کردن اون به صفر تا تابع همانی یا تقریب خوبی از اون رو بدست بده) و در زمانهایی که نیازی نیست اون f(x) کماکان توابع غیرخطی مورد نیاز رو مثل معمول تقریب میزنه.

پس بطور خلاصه قرار نیست همه جا همیشه ایدنتی داشته باشیم. ما اینطور فرموله کردیم که هر زمان نیاز به تابع ایدنتتی بود سالور بتونه با قرار دادن f(x) برابر صفر یا مقداری نزدیک به اون تابع همانی رو بدست بده یا تا حد خوبی تقریب بزنه. در لایه هایی که ایدنتی مورد نیاز نیست ما خیلی معمولی همون روال سابق طی میشه با این نکته که برخلاف معماری های ساده ما الان در هر سطح اطلاعات بیشتری داریم و این باعث بهبود کارایی میشه چون هر سطح اطلاعات بیشتری داره و میتونه ازش استفاده کنه و همونطور که بالاتر اشاره کردیم در هر سطح علاوه بر دیدی که از لایه قبلی بدست میاد خود داده هم فراهم میشه تا لایه جدید بهتر بتونه ویژگی های بهتری رو توسعه بده. (نکته دوم (بخش دوم شهود ما که مبتنی بر همین توضیحاتی که اینجا دادیم  رو حتما در پایین بخونید)

بخش کامنت رو برای اطلاعات بیشتر مطالعه کنید

چند نکته :

نکته اول : شهودهای دیگه:

تا اینجا صحبتهایی که کردیم و اطلاعاتی که ارائه دادیم همه اش مبتنی بر مقاله اصلی رزنت بوده. از بحث نیاز به توابع همانی گرفته تا بحث مشکل سالورها و اینکه چطور مشکل رو برطرف کنیم در مقاله اصلی وارد شد.
از طرفی یکسری صحبت در داخل کارگاه توسط یکی از عزیزان مطرح شد که من چندان موافق نبودم به چند دلیل که در ادامه البته توضیحاتی در این رابطه دادم. و مضافا اینکه در مقاله اصلی مطرح نشده چنین بحثایی. بنظرم میاد این بحثا نشات گرفته از مقاله ای بنام  Deep Networks with Stochastic Depth باشه. یعنی اونجا بحثایی در این حوزه مطرح شد. حالا میخواییم با هم یک نگاهی به بحثی که این مقاله مطرح کرده بندازیم و بعد در انتها با ترکیب این دو مبحث به یک نتیجه گیری برسیم ببینیم کدوم اینتویشن شاید دید بهتری بما بده و برای ما سودمند تر باشه یا مهمتر از اون اصلا ایا اینتویشنی که ما پیدا کردیم صحیح بوده یا ناقص هست؟

قبلش من یک خلاصه ای از مقاله Stochastic depth ارائه کنم. این مقاله بعد از رزنت ارائه شد در سال ۲۰۱۶ و ایده اش بطور خلاصه این بود که دارپ اوت رو روی عمق (لایه ها) اعمال کنه.(بجای اینکه روی نورونها اعمال بشه)  یعنی در زمان ترینینگ یکسری لایه ها رندوم در نظر گرفته نشن(نادیده گرفته بشن) تا اینطور بطور ضمنی یک انسمبلی از چند شبکه تشکیل بشه بنوعی و از طرفی یکسری ویژگی از لایه هایی پایینی به لایه های بالایی ارائه بشه و اون لایه ها خودشون تشکیل یکسری رپرزنتیشن های جدید رو بدن . در اینجا هم از اسکیپ کانکشن ها برای ارائه خروجی یکسری لایه پایینی بطور مستقیم به لایه های بالایی استفاده میشد (بطور صریح ایدنتتی رو لحاظ کردن اینجا)  واین باعث شد دقتش نسبت به حالت رزنت معمولی بهتر بشه. در این مقاله بود که عنوان کردن هدف مولفان رزنت از ایجاد resblock ها یا همون بلوکهای رزنت این بوده که ویژگی ها از لایه های پایینی به لایه های بالایی برن و لایه های بالایی خودشون یک انتزاع جدید رو یاد بگیرن و اینکه f(x) به سمت صفر میل کنه تا باعث بشه ایدنتتی رخ بده برای این کار صرفا هست نه چیز دیگه! این صحبتایی که اینا کردن یکسری نکات قابل بحث داره.(اولا بعضی موارد مطرحی با مقاله اصلی همخونی نداره بعضی موارد هم عنوان شده که در مقاله اصلی اشاره ای بهش نشده (برداشت خودشون هست) حالا سعی میکنیم باز کنیم اینارو) این بحث در مقاله خودشون رو میشه اینطور بهش نگاه کرد و گفت بله در مقاله شما اینطوره اما در مقاله اصلی رزنت حداقل من با توجه به صحبتها و دلایل ارائه شده در مقاله اصلی و بحثایی که در ادامه میکنم متقاعد به همچین بحثی نشدم. اولین بحث اینجا اینه که stochastic depth که ایده فوق الذکر رو مطرح کرده قائدتا با تغییراتی که بطور صریح در معماری لحاظ کرد باید خیلی بهتر بتونه از معماری های ساده با عمق خیلی کمتر کار بکنه (ایده این بوده نکات مثبت معماری با عمق کم با نکات مثبت معماری با عمق زیاد بدست داده بشه) در حالی که باز ما میبینیم معماری های مثل Wide residual netو  SimpleNet یا SimpNetv2 با فاصله زیادی هم معماری رزنت و هم معماری stochastic depth رو پشت سر گذاشتن. ما یک بحثی رو مطرح کردیم گفتیم که اون اسکیپ کانکشن ها در لایه هایی که کانتربیوشن مثبت به شبکه دارن حکم information pool های بهتر رو ایفا میکنن یعنی همون انتقال ویژگی از لایه پایینی به بالایی تا لایه بالایی هم یک ترنسفورمیشن از لایه قبل خودش و هم داده اصلی رو با هم داشته باشه و اینطور بتونه ویژگی های بهتری رو  بدست بده.(البته باز اینجا اگه جمع نشن بهترن یعنی بصورت کانکت ارائه بشن ویژگی ها خیلی بهترن اما به هر صورت به این شکلش هم تاثیر مثبت داره) تا اینجا تقریبا بحث استوکستیک دپس و ما در اینجا یکیه هر دو اعتقاد داریم که اسکیپ کانکشنها اطلاعات بهتری ارائه میکنن در هر سطح و این خوبه. بحث ما از جایی شروع میشه که عنوان میشه یک لایه چیزی یاد نمیگیره بعد تبدیل به ایدنتتی میشه تا اسکیپ کانکشن داده از مرحله قبل رو ببره به لایه بعد تا اون خودش یک رپرزنتیشن جدید و مفید رو ارائه بده. (علاوه بر بحث ونیشینگ گریدینت که گفتن اینها بخاطر اون ارائه شده در حالی که در مقاله اصلی رزنت (صفحه ۵ ام فکرکنم) صریحا قید شده که این مشکل دیگردیشن ربطی به ونشینیگ گریدینت نداره و چون از بچ نرمالییشن استفاده شده ما چک کردیم و همه چیز رو براه هست) اولا اینجا هیچ چیزی وجود نداره که اینو انفورس کنه. خب اگر شبکه دید یک لایه تابعی ارائه کرده که خوب نیست بعد بیاد اون لایه رو ندید بگیره و در لایه بعد یک تابع رو تقریب بزنه که بهتر کار کنه. آیا راحت تر نبود که در همون سطح اون تابع رو در همین لایه پایینی تقریب بزنه؟ ایا امکانش نبود؟ یا سخت بود؟ چون با توجه به دقت بهبود یافته در WRN که یک معماری رزنتی هست با عمق کمتر و عرض بیشتر و همینطور معماری های بسیار ساده simplenet و SimpNetv2شبکه قادر بوده در تعداد لایه های کم خیلی عالی کار بکنه بحدی که هم رزنت معمولی و هم نسخه مبتنی بر استوکستیک دپس رو پشت سر بزارن.(بحث در این مورد در پایین رو ببینید) این یک نکته. حالا نکته دوم اگر فرض بگیریم که این بحث ادعایی صحیح باشه دوباره اینکه یک سری لایه ایدنتتی شده باشن تا ورودی به لایه بعدی بره اثر موثرش باید قائدتا مثل معماری stochastic depth باشه که چندتا لایه کلا کنار گذاشته میشن و خروجی از لایه های پایینی به لایه های بالایی ارائه میشن و اونها ویژگی های جدید یا مناسبی رو توسعه میدن. اما در عمل میبینیم اینطور نیست و در stochastic depth هم بصورت صریح این کار صورت میگیره. پس میشه نتیجه گرفت اتفاقی که در رزنت معمولی می افته کمی متفاوت تر از اون چیزی هست که در استوکستیک دپس داره رخ میده.  باز یعنی در رزنت با در نظر گرفتن فرض تازه ما بطور موثر یکسری لایه نداریم (میتونه در هر جایی از شبکه باشه) و لایه های بعدی یک بحثی رو فرا میگیرن از لایه های زیرین و این فیچرها از مرحله قبل به لایه های بالایی ارائه شده و اونها بازنمودها یا رپرزنتیشنهای بهتری رو نسبت به حالت معمولی توسعه میدن که نهایتا دقت رو بهبود میده نسبت به معماری های کم عمق تر. ولی در عمل میبینیم نسبت به همونها اتفاقا شکست میخوره. در استوکستیک دپس اما این مساله بصورت رندوم رخ میده و چیزی که باعث بهبود میشه بنوعی اون اثر انسمبل هست که باعث بهبود کار میشه (و اینجا هم البته باعث فراگیری ویژگی های تکراری خواهیم بود یعنی یکسری لایه کار تکراری انجام میدن.) به این خاطر من شخصا این بحثی که صحبتش رفت رو به اینصورت کاملا صحیح نمیبینم و ترجیح میدم با توجه به اینتویشنی که در مقاله اصلی ارائه شده پیش برم.(ممکنه برداشت من ناقص بوده باشه ولی با بحثایی که دیدیم هنوز بنظرم بحثی که در بالا کردم صحیح تر میاد تا این بحث جدید) در بحث فیچر ریوز هم ما در ادامه معماری دنز نت رو داشتیم که اونجا عنوان میکنه ما بطور خاص از بحثی که در رزنت مطرح شد پرهیز میکنیم چون این کار (جمع) باعث خراب کردن ویژگی ها میشه. پس اگر ایده اصلی چیزی غیر از بحثی که در مقاله اصلی رزنت ارائه کردن بود قائدتا کانکت و ارائه به لایه بعد گزینه بهتر و معقول تری بنظر میاد تا اینکه ما بخواییم به شبکه بار اضافی تحمیل کنیم که اول یک تابع همانی یاد بگیره تا بعد ویژگی از لایه قبل به لایه بعد منقل بشه و اینطور لایه بعد علاوه بر داده پردازش شده به داده خام مرحله قبلش هم دسترسی پیدا کنه (البته اینجا باز یک نکته هست وقتی لایه زیرین ایدنتتی بشه دیگه خبری از ترنسفورمیشن روی داده قبلی نیست صرفا داده از مرحله قبل ارائه میشه و باز بحث بالا رو داریم) و بحث ادعا شده در استوکستیک دپس صدق کنه. مضافا اینکه در مقاله اصلی بنیان بحث روی بحث فیچر ریوز بنا نشده و بحثش چگونگی ارائه راه حلی برای بدست اوردن راحت تر تابع همانی توسط سالور بوده و با مثالی که در ابتدای مقاله زده اشاره کرده که شهود اونها در چه راستایی بوده. درنهایتا ارائه ای که خود kaiming he بعد از انتشار مقاله ارائه داد این مطلب بهش اشاره شده بود که میشه از اینجا اون ارائه رو دید. در ادامه هم توضیحات Andrew Ng در رابطه با این بحث هم میتونه خیلی خوب باشه و برای ما روشن کنه که واقعا چه اتفاقی داره میوفته.

نکته دوم – بخش دوم شهود ما:

یکسری بحثا مطرح میشه که به بخشی بالا هم اشاره کردیم(بعضی دیگه رو در ادامه انتهای بحث من انشاءالله مینویسم) مبنی بر یادگیری افزایشی یا بطور کلی به بهبود رسیدن در این بلاکها هست. یک بحثی در مقاله اصلی مطرح شده که میشه با توجه به اون به ایده ای در راستای بهبود احتمالی که حاصل میشه دست پیدا کرد. (علاوه بر بحث بالایی که بدون توجه به شهود اول ما بود مبنی بر بهبود کارایی اینجا میخواییم با توجه به شهود اولی که مطرح کردیم ببینیم چطور میشه بهبود احتمالی رو هم اثبات کرد و فهمید شهود اول ما صحیح هست) حالا اون چی هست؟ در مقاله تو صفحه سوم یک بخشی هست تحت این عنوان که اگر یک تابع بهینه ای به نگاشت ایدنتتی نزدیک تر باشه تا نگاشت صفر برای اپتمایزر خیلی راحت باید باشه تا با انجام یکسری تغییرات به اون تابع دست پیدا کنه. این همون بخش مهم هست بنظر من که میتونم ازش یکسری شهود تازه بدست بیاریم. یعنی چی؟ بزارید بازش کنم. اینجا داره اینو میگه اگه ما یک تابع ایدنتتی داشته باشیم اپتمایزر با اعمال تغییرات در اون باید راحت تر بتونه یک تابع دلخواه شبکه رو تقریب بزنه تا اینکه بخواد از صفر یک تابع دلخواه شبکه رو یاد بگیره . (فکر کنید یک سیاهه ای از قبل باشه و شما شروع به کار رو اون کنید و یک شکل تازه بدست بیارید تا اینکه بخوایید از صفر یک شکل رو خودتون طراحی کنید یک همچین چیزی رو در نظر بگیرید ).  حالا چه اتفاقی می افته؟ ما گفتیم تا یک لایه ای همه چیز خوب هست و توابع مناسب تقریب زده میشن. از یک لایه ای به بعد گفتیم که شبکه میره و تمام لایه های بعدی که کمکی به شبکه نمیکنن رو همانی میکنه که خروجی اخرین لایه بره انتهای شبکه. تا اینجا درست. حالا اگر این فرض رو در نظر بگیریم سالور میتونه همین توابع همانی که شبکه رفته بدست اورده رو شروع میکنه کمی تغییر دادن (اگر بتونه) و اینطور تابعی که قبلا همانی صرف بوده یا نزدیک به اون میتونه تبدیل به یک نگاشت جدید و مفید برای شبکه بشه. و اگر این مسیر ادامه پیدا کنه ما میتونیم بگیم بصورت افزایشی هر بخش داره یک چیز جدید یاد میگیره (اگر بتونه وگرنه همون همانی باقی میمونه) .وقتی نتایج تو مقاله رو میخونیم و همینطور لایه ها رو ویژوالایز میکنیم میبینیم که کانتربیوشن خیلی از این لایه ها خیلی کمه و میشه این رو به این قضیه ربطش داد. و این شهود جدید ما با شهود قبلی ما هم منافاتی نداره و در اصل تکمیل کننده اونه . یعنی ابتدا شبکه توابع همانی رو تقریب میزنه و در اینجا باعث میشه یک شبکه  عمیقتر از یک شبکه کم عمق تر خطای بیشتری ایجاد نکنه. حالا اگر شانس بیاریم و سالور تغییراتی در بعضی از این توابع همانی یا نزدیک به همانی جدید ایجاد کنه که یک تابع بهینه دلخواه ازش در بیاد باعث میشه بهبود هم داشته باشیم. با توجه به این بحثی که الان شد میشه دلیل عدم بهبود که در بخش قبل صحبت کردیم رو فهمید و اینکه شهود اولیه ما صحیح بوده .

نکته بعدی:

این تغییر فرمولی که دادیم بخاطر رخ دادن مشکل دیگردیشن هست (شکل ۱ سمت چپ) . همونطوری که در بحث مقدمه مطرح کردیم اگه لایه های اضافه شده نگاشت همانی انجام بدن  یک مدل عمیق تر باید مثل یک مدل کم عمق تر کار کنه و خطای بیشتری نداشته باشه . مشکل دیگردیشن دلالت بر این داره که سالورهای فعلی ما در تقریب نگاشت همانی توسط چند لایه غیرخطی پشت سر هم مشکل دارن (حداقل برای عمق های خیلی زیاد. چون برای لایه هایی مثل ۱۸ یا حتی شاید ۳۴ لایه هنوز همه چیز خوب کار میکنه تقریبا خصوصا تا ۱۸ لایه چون ۱۸ لایه ساده از معادل رزنتیش بهتر عمل میکنه. با این تغییر فرمول نگاشت همانی بهینه اس و سالورها باید بتونن خیلی ساده وزنهای چند لایه غیرخطی رو ببرن به سمت صفر تا به نگاشت همانی نزدیک بشن.

 در بلاکهای رزنت ما دو فرم داریم که بصورت زیر هست :

تفاوت اونها در استفاده از bottleneck  هست که در بلاک سمت راستی استفاده شده برای کاهش سربار پردازشی و در بلاک سمت چپی استفاده نشده . در معماری های خیلی عمیق برای کاهش سربار پردازشی از این شیوه استفاده میشه .

برای اینکه نسبت به این معماری و بحثهای انجام شده اطلاعات بیشتری بدست بیارید پیشنهاد میکنم مقاله Identity Mappings in Deep Residual Networks رو مطالعه کنید که توسط همین نویسندگان چند ماه بعد ارائه شد و سناریوهای مختلف مرور شد و پیرامون چگونگی بهبود توضیحات خوبی داده شده . بعد از اون مقاله خوندن Stochastic depth و همینطور Wide residual network هم توصیه میشه.

با خوندن مطالب بالا حالا باید بتونید براحتی مقاله ResNet رو بخونید و انشاءالله بطور کامل متوجه بشید که داستان از چه قرار بوده.

البته من این رو عنوان کنم که من صحبتهای متفاوت از بحثایی که بالا شد رو هم دیدم یعنی افراد مختلف اینویشن های مختلفی داشتن و هرکسی به نحوی توضیح خودش رو ارائه کرده من انشاءالله این بحثا رو سعی میکنم باز کنم اینجا (یعنی نظرات دیگران رو بنویسم و توضیح بدم از نظر اینها داستان چی هست و اگر نکته ای از دید من مخفی مونده یا من بحثی رو کامل بیان نکرده باشم اینجا مشخص و تکمیل بشه و در انتها هم ببینیم این بحث ها ایا متضاد هم هستن یا مکمل هم و ایا تایید یکی نفی دیگری هست یا نه.

در این بین اگر نکته ای هست که نیاز به توضیح یا تصحیح داره لطفا بفرمایید.