بهشت دیتاستها برای یادگیری ماشین و یادگیری عمیق!

سلام.
در حالت کلی بله اندازه داده کم با تعداد کلاس بالا بخوبی همون تعداد کلاس و دیتای بیشتر نیست. قطعا همینطوره. اما برداشت و نتیجه گیری آخری که کردین اشتباهه
ماهیت همه شبکه های فیدفوروارد (یا روشهای مختلف ) با هم یکی نیست برای همین هم خصائص و ویژگی های خاصی رو بروز میدن.
چندتا مساله اس که در شیوه های سنتی باعث میشه بصورت بهینه از داده ارائه شده استفاده نشه.
یکیش بحث رپرزنتیشن هست که شما چطوری دارید داده رو ارائه میکنید و چطور از اون اطلاعات مورد نیاز بدست میاد یا بر اساس اون اطلاعات تصمیمی گرفته میشه.مرزی مشخص میشه و…
مورد دیگه بحث اورفیتینگ هست چیزی که بطور خاص قبل از ظهور شیوه های دیپ لرنینگ خیلی باعث مشکل میشد. و بطور خاص باعث میشد از ظرفیتی که در اختیار هست نشه بصورت بهینه استفاده کرد.
این دوتا مساله از مهمترین و تاثیرگذارترین مسائل تو این حوزه هستن
فقط بحث رپرزنتیشن به تنهایی تاثیر بسیار زیادی تو نحوه حل مسائل داشته و داره. و بخاطر همین مساله ما در روشهای دیپ وقتی که با میلیون ها پارامتر مواجه هستیم نیاز به میلیون ها نمونه آموزشی نداریم .
روشهای دیپ لرنینگ مبتنی بر distributed representation هستن و همین قدرت بسیار زیادی رو نسبت به روشهای دیگه ارائه میکنه.
مثلا شما فرض کنید ما ۴ شی مختلف داریم (مثل مستطیل افقی و عمودی و بیضی افقی و عمودی ) و میخوایم با ۴ وزن اونها رو تو حافظه ذخیره کنیم (یا بهتر represent کنیم).
در حالت عادی میتونیم به شکل زیر اونها رو ذخیره کنیم
مثلا
مستطیل افقی| مستطیل عمودی|بیضی افقی |بیضی عمودی
A = 1 0 0 0
B = 0 1 0 0
C = 0 0 1 0
D = 0 0 0 1
(پس A ,B بیضی هستن و C , D هم مستطیل ).
در این حالت تمام فضایی که در اختیار داشتیم رو استفاده کردیم و حالا اگه شی جدیدی رو هم بخواییم لحاظ کنیم چیزی نمونده و مجبوریم حتما یکی از اشیا قبلی رو پاک کنیم تا حافظه برای شی جدید وجود داشته باشه.یا اینکه یک فضای جدید اختصاص بدیم برای شی جدید.
حالا اگه بخواییم همینو بصورت distributed representation ذخیره کنیم میشه بصورت زیر مثلا اینکارو کرد :
مستطیل| بیضی| افقی| عمودی
A = 1 0 1 0
B = 0 1 1 0
C = 1 0 0 1
D = 0 1 0 1
خب حالا با این شیوه ما داریم هر شی رو بر اساس ترکیبی از خصائص توزیع شده کد میکنیم و با این کار اگر شی جدیدی وارد بشه باز میتونیم براحتی اون رو represent کنیم.
مثلا ما میتونیم یک دایره رو بصورت
Circle = 1 1 1 0
کد کنیم . یعنی بیضی ای که هم بصورت افقی و هم عمودی هست.
بعبارت دیگه یعنی در حالت اول ما نمیتونیم داده جدیدی رو با توجه به تعداد بعدی که داریم represent کنیم و باید بعد جدیدی اضافه کنیم . اما در حالت دوم ما میتونیم از ترکیب پارامترهایی که داریم اشیاء جدیدی مثل دایره رو هم رپرزنت کنیم .
همه اینها بطور خلاصه یعنی یک مفهوم توسط چند نورون مشخص کرد و یک نورون هم بیش از یک مفهوم رو میتونه ارائه کنه.

مثال من شاید زیاد قشنگ نباشه و اگه distributed representation رو خوب متوجه نشدید با این مثال فکر میکنم این لینک دیگه کاملا مشکل رو برطرف کنه : http://www.indiana.edu/~gasser/Q530/Notes/representation.html بنظر من خیلی قشنگ این رو با مثال توضیح داده.

برای همین شما در عمل میبینید که میشه با تعداد دیتای بسیار کمتر نسبت به تعداد پارامترهاتون به دقت بسیار مناسبی برسید. (البته روشهای مختلفی هست که میشه در زمان کوچیک بودن دیتاست از اونها برای جبران این قضیه استفاده کرد در روشهای یادگیری عمیق که البته مورد بحث ما اینجا نیست.)