ابزارها

بسم الله الرحمن الرحیم

من اینجا لیست ابزارها و چارچوبهایی (فریم ورک) هایی که برای کار تو حوزه دیپ لرنینگ ازش استفاده میشه رو قرار دادم و میدم .سعی اولیه من اینه که ابزارهای مهم و معروف اینجا قید بشه بعدا به مرور زمان شاید ابزارهای پرکاربرد دیگه هم اینجا بزارم.

• نسخه مبتنی بر لینوکس کفی  
• نسخه مبتنی بر ویندوز کفی (کامل) : این نسخه، همون آخرین ورژن کفی هست که من مثالها رو به نسخه ویندوزی تبدیل کردم و علاوه بر اون مثال جدیدی رو هم قرار دادم . برخلاف ورژن رسمی تمامی مثالها براحتی قابل استفاده هستند. این نسخه از پایتون ۳٫۶ هم پشتیبانی میکنه (برخلاف نسخه رسمی که فقط از ۳٫۵ پشتیبانی میکنه!)
• نسخه مبتنی بر ویندوز کفی (رسمی)  : این نسخه، مثل بالایی هست با این تفاوت که مثالها مربوط به لینوکس هستن و برای اجرای مثالها مجبورید گامهای اضافی بردارید. اگه تازه کار هستید از نسخه کامل (بالایی) استفاده کنید.
• ورژن کامپایل شده Caffe در لینوکس (آپدیت هفتگی)
• ورژن کامپایل شده Caffe در ویندوز– بدون نیاز به نصب (انتهای پست-برای کسایی که میخوان یه تست سریع داشته باشن.)
• Caffe Ubuntu Branch-OpenCL version
• DIGITS-WINDOWS
• MatConvNet (انگار به متلب ۲۰۱۶ هم اضافه شده)
• Torch  Pytorch
• Theano
• CNTK
• Deeplearning4j 
• Cuda-Convnet
• TensorFlow
• کتابخانه های سطح بالا (Keras ,TFLearn,TFSlim)

نکته مهم برای کارت های گرافیک AMD :

کارت های گرافیک AMD سابقا در زمینه یادگیری عمیق پشتیبانی بسیار ضعیفی داشتند بصورتی که عملا در فریم ورکهای مطرح تنها کارتهای گرافیک ساخت شرکت NVidia پشتیبانی میشد و مورد استفاده قرار میگیرفت. این مساله البته مدتی هست که تا حدودی تغییر کرده و شرکت AMD شروع به ارایه پشتیبانی در این زمینه کرده. البته این پشتیبانی گسترده نیست و فعلا فقط از لینوکس پشتیبانی میشه. شما میتونید نسخه های مبتنی بر  ROCm (RadeonOpenCompute) فریم ورکهایی مثل Tensorflow و Pytorch رو از اینجا دانلود و نصب کنید.  دقت کنید نسخه ها همیشه بروز نیستند و چندین ماه ممکنه طول بکشه تا نسخه ای بروز رسانی بشه. این پورتها برای کسانی هست که کارت گرافیک AMD دارند و قصد دارند از یادگیری عمیق استفاده کنند و متحمل خرید کارت گرافیک جدید نشن./ از خرید کارتهای گرافیک AMD برای استفاده در یادگیری عمیق تا زمانی که پشتیبانی مناسب وجود نداره بشدت پرهیز کنید.

لیست سخت افزارهایی که پشتیبانی میشن رو میتونید از اینجا مشاهده کنید

نکته مهم : 
چیزی که من پیشنهاد میکنم شما یاد بگیرید اول TensorFlow هست و بعد Torch و بعد Deeplearning4J. برای آشنایی caffe رو یادبگیرید. یادگیری و کارکردن باهاش خیلی ساده اس. خیلی قدرتمنده خصوصا تو شبکه های کانولوشن. اما بزرگترین مشکلش نداشتن مستندات درست و حسابیه. البته من تاجایی که تونستم و میتونم مستندات caffe‌رو تهیه کردم و میکنم و اگر سوالی دارید  میتونید از بخش پرسش و پاسخ سایت بپرسید. بر اساس آخرین اطلاعات اعلام شده توسط تیم توسعه دهنده کفی آخرین ورژن کفی ۱٫۱ خواهد بود (در حال حاضر در ورژن ۱٫۰ هستیم ) و توسعه های بعدی با Caffe2 ادامه پیدا خواهد کرد.Caffe2 مستندات بهتری از کفی بنظر میرسه داشته باشه (حداقل تلاش میکنن که اینطور به نظر بیاد) اما در حال حاضر در قیاس با تنسورفلو و تورچ و سایر فریم ورکهای معتبر هیچ صحبتی برای گفتن نداره . شاید در آینده زمانی که مستندات اون در حد و اندازه های سایر فریم ورکها برقرار شد استفاده ازاون منطقی باشه. اما در حال حاضر شخصا پیشنهاد نمیکنم .

اما از طرف دیگه  tensorflow توسط گوگل پشتیبانی میشه و بشدت داره رشد میکنه و منابع و مستندات بسیار خوبی براش تهیه شده و داره میشه ،جامعه کاربری بسیار بزرگی داره. هم در حوزه تحقیقاتی و هم صنعتی میشه براحتی ازش استفاده کرد و سیستم عاملهای متنوعی مثل لینوکس و ویندوز رو هم پشتیبانی کامل میکنه  و قابل نصب و اجراست ، پروسه نصب فوق العاده ساده ای هم داره (تنها با یک دستور میتونید عمل نصب رو انجام بدید ). اگر دوست دارید چیزی رو یاد بگیرید که هم برای تحقیقات و هم استفاده صنعتی و کار قابل استفاده باشه انتخاب مناسبیه.

Torch هم به همین شکل مستندات بسیار خوبی داره (و قبل از tensorflow بهترین گزینه ای بود که من میتونستم پیشنهاد کنم(البته از لحاظ جامعیت و راحتی کدنویسی هنوز تورچ بهتره ولی چون فقط در لینوکس اجرا میشه من اونو بعد از تنسورفلو پیشنهاد میکنم  تورچ هنوز وارد حوزه صنعتی نشده ولی برای تحقیقات بسیار خوبه. اینترفیس پایتون تحت عنوان pytorch هم چندماهی هست که منتشر شده و پیشرفتش فوق العاده بوده . مستنداتش رو هم داره کامل میکنه و در حال حاضر هم بسیار کامل و خوب پیش رفته . pytorch در لینوکس و مک و ویندوز بطور رسمی پشتیبانی میشه و براحتی میتونید اون رو نصب کنید.برای نصب کافیه اینجا رو ببینید. ( در ویندوز بصورت غیررسمی پیشتیبانی میکنه میتونید برای نصب اون در ویندوز از طریق دستور conda install -c peterjc123 pytorch  در پایتون ۳٫۵ یا ۳٫۶ استفاده کنید. )برای استارت کار میتونید اینجا کلیک کنید و برخلاف تنسورفلو ما تحریم نیستیم (فعلا!) . من سعی میکنم سر فرصت توضیحات تکمیلی رو در پستی جداگانه بدم.

خلاصه:

پس بصورت خلاصه اگر میخوایید چیزی رو یادبگیرید که همه جا بتونید ازش استفاده کنید و جامعه کاربری و مستندات خیلی خوب و بزرگی داشته باشه و پشتیبانی از سیستم عامل های مختلف(ویندوز ،لینوکس ،مک ،اندرویدو…)  رو داشته باشد و برای اهداف و مقاصد تحقیقاتی و صنعتی مناسب باشه تنسورفلو رو انتخاب کنید و یاد بگیرید
اگر فقط با پایتون قراره کار کنید و کار هم تحقیقاتی هست تورچ میتونه انتخاب خیلی خوبی باشه چرا که سینتکسش خیلی روان و ساده تر هست نسبت به تنسورفلو و بنظر من پیچیدگی کمتری داره. مستندات بسیار خوبی داره و خیلی خوب داره پیشرفت میکنه. تو حوزه تحقیقات دیپ لرنینگ هم خیلی از محققان در مقالات و کارهاشون از تورچ (و الان پای تورچ ) استفاده کردن و میکنن. پشتیبانی پای تورچ در ویندوز بصورت غیر رسمی هست ولی مشکلی نباید داشته باشید.(Pytorch رپرهای قدرتمندی در C++ هم ارایه کرده و در سی++ هم میتونید از اون استفاده کنید و دیگه محدود به پایتون نیست)

Deeplearning4J هم خوب داره رشد میکنه و برای سناریوهای جاوا و سیستم های توزیع شده میتونه خیلی خوب باشه.MxNet هم گزینه بسیار خوبی میتونه باشه چون رپرهای زیاید رو پشتیبانی میکنه.
من انشاالله سرفرصت سعی میکنم نکات مثبت این ها رو بگم . مطالب زیر در مورد caffe هم باقی میمونه برای ارجاعات آینده.

خلاصه :
استارت کارتون در دیپ لرنینگ رو یا با تنسورفلو بزنید یا تورچ
(اگر به رپر مربوط به زبان خاصی نیاز داشتید میتونید نگاهی به MxNet بندازید و اگر با جاوا خواستید کار بکنید (تنسورفلو هم پشتیبانی میکنه اما ) میتونید از DeepLearning4J استفاده کنید.

نصب کفی در لینوکس : 

برای نصب Caffe در لینوکس از این راهنما استفاده کنید. اگر از ورژن ۱۵ یا ۱۶ ابونتو استفاده میکنید از این آموزش استفاده کنید (و اگه نیاز به نصب و کار با رپر متلب در لینوکس دارید این راهنما رو ببنید بخش اخرش )

نحوه کامپایل و نصب Caffe در ویندوز  

نکات :

توضیحات این پاراگراف مربوط به سال ۹۴ هست و برای ارجاعات اینده حذفش نمیکنم. من در حال حاضر با کفی و تنسورفلو و کراس کار میکنم .اطلاعات فریم ورکها که در پایین داده شده رو البته من بروز میکنم. لیست کارتهای گرافیک و ورژن compute capability اونها هم به عنوان رفرنس قرار داره و بروزش میکنم هر بار) :

از بین اینها من خودم از Caffe استفاده کردم . بطور خیلی محدود هم از Theano . سرعت Caffe خیلی خوبه . قابلیتهای بسیار عالی ای داره و یه مخزن داره که بهش میگن Model Zoo و مدلهای معروف تو مقالات بصورت pre trained شده اماده دانلود و استفاده هستن.(یکی از ویژگی هایی که باعث استفاده زیاد از Caffe میشه دقیقا همین هست.). دانشگاه هایی مثل استنفورد برکلی و …. از این استفاده میکنن. بصورت رسمی Caffe‌ رو اوبونتو ۱۴٫۰۴ پیشتیبانی میشه.(مشکلی با ورژن های جدید نداره البته و پشتیبانی میشه) ولی بصورت جسته گریخته از یکی دو سال پیش ورژنهایی که روی ویندوز هم کامپایل بشن وجود داشتن ولی خب چون بصورت رسمی پشتیبانی نمیشد و معمولا هم توسط افراد معمولی این نسخه ها ارائه میشد هرکدوم یه مشکلی داشتن (حداقل مشکل بروز نبودن نسخه ویندوز نسبت به ورژن رسمی بود و اموزش ها و اسکریپت های مختلفی که فقط برای لینوکس وجود داشت و برای ویندوز پورت نمیشد معمولا خلاصه دردسر داشت.) نسخه ای هم که من گذاشتم پشتیبانی مایکروسافت هست.(من خودم شخصا از دو ورژن تحت ویندوز استفاده کردم قبلا. الان هم رو لینوکس هستم و تحقیقات و کارام رو لینوکس انجام میشه با caffe. ولی سر فرصت اینو تست میکنم و نظر خودم رو میگم).
نسخه OpenCL هم برای کارتهای غیر انویدیا اومده . یعنی کسایی که کارت گرافیک AMD(ATI) یا Intel و یا غیره دارن میتونن از این استفاده کنن.

اگه کارتتون تو لیست بالا نبود اینجا رو چک کنید :

DIGITS هم یه front-end برای caffe هست که کار رو خیلی راحت میکنه . هنوز رسما ورژن مبتنی بر ویندوزش نیومده اما من ورژنی که خودم برای ویندوز پورت کردم رو قرار دادم و تا وقتی که نسخه رسمیش بیاد میتونید از این استفاده کنید. DIGITs رو یه رابط گرافیکی کاربری برای کار با caffe در نظر بگیرید که بشما اجازه میده خیلی راحت دیتاست خودتون رو مشخص کنید و تنظیمات مختلف رو بصورت گرافیکی انجام بدید و نهایتا موقع training نرخ خطا و میزان دقت و… رو بصورت بلادرنگ تو نمودار بهتون نشون میده که خیلی عالیه . بعدش هم میتونید نمونه های دیگه رو تست کنید. مدلهای مبتنی بر caffe با این سازگار هستن.
اگر مشکلی پیش اومد میتونید از اینجا برای رفع اشکال استفاده کنید.

بعدی Torch هست. که سرعت خوبی داره و برخلاف Caffe مستندات خیلی خوبی هم داره . توسط فیس بوک و گوگل استفاده میشه و ویژگی های جدیدی که تو مقالات ارائه میشن معمولا قبل از همه پیاده میکنه . اطلاعات کامل در مورد تورچ و نحوه اجرا و خلاصه همه چیزش بصورت کامل اینجا هست. اگر هم سوالی بود میتونید از بخش پرسش و پاسخ ما یا پشتیبانی رسمیش اینجا بپرسید. تورچ در ویندوز پشتیبانی نمیشه . برنامه ای هم برای پشتیبانی ازش در ویندوز در حال حاضر ندارن . پس فقط محدود به لینوکس هست. در حال حاضر!. علاوه بر همه اینا رپر پایتونش رو هم چند ماهی میشه عرضه کرده و بسرعت داره پشتیبانیش از پایتون رو قوی تر میکنه. مستنداتش رو هم به همین شکل بخوبی داره تهیه میکنه. برای آموزش و اطلاعات بیشتر میتونید به pytorch.org مراجعه کنید.

MatConvNet‌ هم یه تولباکس برای متلب هست که اخیرا خوب داره کار میشه روش اما به اندازه دوتای قبلی (و ثیانو که زیر توضیح میدم) معروف نیست (شاید من زیاد به چشمم نخورده) ولی به هر حال منبع خوبی میتونه باشه برای کسایی که متلب کار هستن. این هم مثل Caffe دارای یه بخش هست که مدلهای از قبل train شده در اون وجود دارن (اینا از Caffe گرفته شده!). بنظر میاد داکیومنت بدی هم نداشته باشه هرچند من شخصا استفاده نکردم .آموزش نصبش رو آقای ملک زاده عزیز اینجا زحمت کشیدن و گذاشتن. هم در لینوکس و هم در ویندوز قابل استفاده اس.

Theano هم که مبتنی بر پایون هست و تعداد خیلی زیادی از فریم ورکهای حوزه دیپ لرنینگ از این مشتق شدن یا دارن استفاده میکنن. ثیانو در اصل یه کتابخونه پایتون هست که عملیات های ماتریسی  رو بخوبی انجام میده . (کلا پایتون بشدت تو حوزه data science استفاده میشه و اگه کسی میخواد تو این زمینه ها کار کنه خیلی خوبه که این زبان رو یادبگیره. تمام فریم ورکهایی رو هم که نام بردم همه اشون wrapper برای پایتون دارن و کلا کارها با پایتون خیلی خیلی راحتر هست). استفاده از ثیانو نسبت به گذشته خیلی کم شده.

CNTK توسط مایکروسافت چندماه پیش ارائه شده . هنوز یوزر بیس کافی نداره و بهتره برای کارهای جدی ازش استفاده نکنید که یوقت توش بمونید و کسی نباشه که کمکتون کنه . اگه وقت دارید و به موضوع تسلط خیلی خوبی دارید میتونید برید طرفش . ولی پیشنهاد من اینه اول با یکی از ابزارهای معروف که یوزر بیس خوبی هم دارن شروع کنید که اگر به مشکلی برخوردید زود برطرف کنید. بعد که تسلط و تجربه پیدا کردید حالا برید سراغ ابزارها و چارچوبهای دیگه برید.

DeepLearning4J هم مبتنی بر جاوا هست و یکی از فریم ورکهای خیلی خوب تو این زمینه است که مستندات خیلی خوبی داره هرچند شخصا تستش نکردم اما در نظر دارم حتما طرفش برم.این چارچوب بعنوان مثال در ناسا ازش استفاده میشه و سرعتش حداقل ۲ برابر از ثیانو بیشتره و برای کاربردهای توزیع شده و… ایده آل و فوق العاده اس. هم در ویندوز و هم در لینوکس براحتی میتونید از این چارچوب استفاده کنید.

Cuda-Convnet هم توسط الکس کریژوسکی نوشته شده (برنده رقابت ImageNet2012 , همون کسی که باعث و بانی شدت گرفتن دیپ لرنینگ شد!).

TensorFlow : یکی از بهترین های این حوزه است که بشدت داره پیشرفت میکنه و محبوب میشه. Tensorflow برای سناریو های توزیع شده چه مبتنی بر سی پی یو و چه جی پی یو بسیار عالی عمل میکنه و توسط گوگل پشتیبانی میشه.هم در لینوکس و هم در ویندوز (از ورژن ۰٫۱۲ به بعد ) پشتیبانی میشه . از ویندوز های ۷ و۱۰ و سرور۲۰۱۶ پشتیبانی میشه.

کتابخانه های سطح بالا (Keras ,TFLearn,TFSlim, Blocks ,…):
این کتابخونه ها که تعدادشون هم کم نیست به خودی خود عملیات های مربوط به آموزش و … رو انجام نمیدن . اینها در اصل یه frontend یا یه لایه بالایی هستن که از امکانات کتابخونه ها/فریم ورکهایی مثل تنسورفلو و ثیانو پشتیبانی میکنن و کار برنامه نویسی و کار کردن رو خیلی راحت تر میکنن.
Keras یه کتابخونه سطح بالاس که از ثیانو و تنسورفلو استفاده میکنه یعنی اگه شما با کراس کار کنید میتونید رو هرکدوم از این بک اندها سویچ کنید که از این لحاظ قابلیت خیلی خوبه. کراس مقبولیت خوبی بین کاربرا داره و مستندات بسیار خوبی هم داره.
TFLearn و TFSlim هم بطور اختصاصی به تنسورفلو اختصاص دارن . TFSlim که درون خود تنسورفلو هست ولی TFLearn جداگانه باید نصب بشه و مستندات بسیار خوبی داره .
Blocks هم یکی دیگه از فرانت اندهای مبتنی بر ثیانو هست.

من انشاالله سعی میکنم بعدا توضیحات مبسوطی در مورد اینها بدم و یه مقایسه ای هم بین اینها انجام بدم ولی فعلا بعلت ذیق وقت به همینقدر بسنده میکنم اگر سوالی هست بفرمایید اگه بلد بودم جواب میدم.