GPU رایگان برای محققان یادگیری عمیق – آشنایی با سرویس ابری Google Colab

بسم الله الرحمن الرحیم

مدتها بود قصد داشتم در مورد سخت افزار و امکانات مورد نیاز محققان یادگیری عمیق مطلب جدیدی بنویسم که متاسفانه فرصت نمیشد. تعطیلات عید یک فرصت کوتاهی رو ایجاد کرد تا بتونم بعضی از مقالات و پروژه های عقب افتاده رو کمی پیش ببرم که انشاءالله طی روزها و هفته های آینده سعی میکنم اون مطالب رو در سایت قرار بدم. یکی از اون مطالب آموزش استفاده از سرویس ابری رایگان Google Colab بود که امروز با هم به یک اشنایی اولیه و شیوه کار با اون میرسیم. از بین عزیزان ایرانی مهندس ملک زاده عزیزمون قبلا لطف کرده بودن و در وبلاگشون توضیحات خوبی رو در مورد Google Colab ارائه کرده بودن (اینجا رو ببینید). در آموزش زیر من سعی کردم بصورت گام بگام تقریبا همه موارد اولیه رو پوشش بدم و عزیزان براحتی بتونن از این سیستم تا زمانی که رایگان هست بهره کافی رو ببرند. در فرصت های آینده این آموزش انشاءالله به روز میشه.

آشنایی با سیستم ابری Google Colab :

یکی از مهمترین دغدغه های محققان حوزه یادگیری عمیق فراهم آوری سخت افزار و بستر مورد نیاز جهت آموزش مدلهای عمیق است. در دو مقاله قبلی ما به بررسی کارتهای گرافیک مناسب پرداختیم و سعی کردیم تا دید مناسبی نسبت به گزینه های در دسترس و میزان اثربخشی آنها برای محققان گرامی ارائه دهیم. شوربختانه به دلیل ناآرامی در بازار ارز و همینطور شروع موج جدیدی در درزمینه Bitcoin mining شاهد افزایش چند برابری قیمت کارتهای گرافیک در سراسر کشور بودیم و طیف زیادی از محققان و دانشجویان را در زمینه تهیه یک سیستم مناسب با مشکل مواجه کرده است. ما سعی میکنیم به این مطلب طی چند مقاله بعدی بپردازیم و راهکارهای گوناگونی در این زمینه ارائه دهیم . در اولین بخش ازاین سری مقالات ما به سرویس جدید و رایگان گوگل بنام Google Colab خواهیم پرداخت که یک سرویس ابری رایگان برای محققان حوزه یادگیری عمیق و یادگیری ماشین است.

با استفاده از این سرویس شما میتوانید بصورت رایگان نسبت به آموزش مدلهای عمیق خود اقدام کنید و از مزایای سخت افزار قدرتمند و بستر آماده گوگل براحتی برای تحقیقات خود بهره ببرید.

توضیحات در مورد Google Colab :

Google Colab سرویس ابری ارائه شده از طرف گوگل است که بشما اجازه برنامه نویسی با زبان پایتون را داده و امکان نصب و کار با پکیج های مختلف زبان پایتون و فریم ورکهای مطرح یادگیری عمیق همانند Tensorflow, Keras, Pytorch, etc را فراهم می آورد. Google Colab امکانی را فراهم آورده است که از طریق آن چند توسعه دهنده میتوانند بر روی یک سورس کد به اشتراک گذاشته شده به فعالیت بپردازند و به همین جهت محیطی غنی برای توسعه و تحقیقات توسط افراد مختلف یک تیم است.

نکته قابل توجه در رابطه با این سرویس، جدای از فراهم آوری بستری آماده به کار برای استفاده از فریم ورکهای یادگیری عمیق، ارائه GPU رایگان به کاربران است که اثربخشی این سرویس را عملا چندین برابر کرده است. در این سرویس به هر کاربر یک Nvidia Tesla T4 (سابقا یک Tesla K80 GPU ارائه میشد) ارائه میشود. که کاربر میتواند از آن برای توسعه و اجرای برنامه های کاربردی و یا تحقیقاتی در حوزه یادگیری عمیق بهره برداری نماید.

شیوه استفاده :

در این بخش به چگونگی استفاده از این سرویس میپردازیم و خواهیم دید چگونه میتوان از این سرویس ابری فوق االعاده بهره برد :

برای شروع اگر حساب کاربری در گوگل ندارید یک حساب کاربری ایجاد کنید. برای اینکار میتوانید از اینجا شروع کنید. در گام بعد کافیست به آدرس https://colab.research.google.com مراجعه کنید.

با مراجعه به لینک بالا با صفحه خوش آمد گویی به شکل زیر مواجه میشوید:

در این صفحه اطلاعات کلی به منظور آشنایی اولیه شما با محیط Google Colab ، بشما ارائه میشود. چیزی که شما با آن مواجه خواهید بود و از طریق آن میتوانید از خدمات این سرویس استفاده کنید یک Jupyter notebook است.

Jupyter Notebook چیست؟

مقدمه

Jupyter Notebook یک محیط محاسباتی تعاملی[۱] است که کاربران را قادر میسازد تا اسنادی مبتنی بر نوت بوک، را تولید نمایند که شامل کد زنده، ویجت های تعاملی ، نمودارها، متون توضیحی ، معادلات، تصاویر و ویدئو میباشند.

این اسناد ، رکوردی کامل و خودکفا[۲] از یک محاسبه را فراهم آورده و قابلیت تبدیل به فرمت های گوناگون و همچنین به اشتراک گذاری از طریق email, DropBox، سیستم های کنترل نسخه (همانند git/GitHub ) و یا nbviewer.jupyter.org را دارند.

اجزاء

یک نوت بوک جوپیتر(Jupyter Notebook) از سه مولفه تشکیل میشود:

• برنامه تحت وب نوت بوک: یک برنامه مبتنی بر وب تعاملی است که برای نوشتن و اجرای کد بصورت تعاملی و تولید اسناد مبتنی بر نوت بوک مورد استفاده قرار میگیرد.
• کرنل ها: فرایندهای مجزایی که از طریق برنامه تحت وب نوت بوک اجرا شده و کدهای کاربران را تحت یک زبان برنامه نویسی مشخص شده اجرا کرده و خروجی آنرا به برنامه تحت وب نوت بوک بازمیگرداند. کرنل همچنین مدیریت مواردی همانند محاسبات مورد نیاز ویجت های تعاملی، auto completion، و دیباگ و… را برعهده دارد.

• اسناد نوت بوک: اسناد خودکفایی که شامل بازنمایشی از تمامی محتویان قابل مشاهده در یک برنامه تحت وب نوت بوک  شامل ورودی و خروجی مرتبط با محاسبات، متون توضیحی ، معادلات، تصاویر، و … است. هر سند نوت بوک کرنلی مخصوص به خود دارد.

برنامه تحت وب نوت بوک

برنامه تحت وب نوت بوک کاربران را قادر میسازد تا :

• بتوانند در مرورگر خود با امکاناتی نظیر syntax highlighting ، حاشیه گذاری خودکار و code completion به برنامه نویسی بپردازند .
• بتوانند کد خود را در داخل مرورگر اجرا کرده و نتایج محاسبات را به همراه کدی که آنها را تولید کرده مشاهده کنند.
• بتوانند نتایج محاسبات خود را با بازنمایی های غنی ، همانند HTML,LaTeX,PNG,SVG,PDF,etc مشاهده کنند.
• بتوانند با استفاده از زبان Markdown متون توضیحی ایجاد کنند.
• در متون توضیحی خود بتوانند با استفاده از سینتکس  LaTeX  معادلات ریاضی را نوشته  که در مرورگر توسط MathJax بصورت طبیعی نمایش داده میشوند.

Kernels

از طریق معماری ارسال پیام و کرنل Jupyter ، نوت بوک به کد این اجازه را میدهد تا در گستره ای از زبانهای برنامه نویسی مختلف اجرا گردد. برای هر سند نوت بوک که کاربری آنرا باز میکند، یک برنامه تحت وب کرنلی را که آن کد را برای آن نوت بوک اجرا میکنید، اجرا مینماید. هر کرنل قادر به اجرای کد در یک زبان برنامه نویسی بوده و برای زبانهای برنامه نویسی زیر کرنل های متناظر در دسترس هستند:

• Python(https://github.com/ipython/ipython)
• Julia (https://github.com/JuliaLang/IJulia.jl)
• R (https://github.com/IRkernel/IRkernel)
• Ruby (https://github.com/minrk/iruby)
• Haskell (https://github.com/gibiansky/IHaskell)
• Scala (https://github.com/Bridgewater/scala-notebook)
• node.js (https://gist.github.com/Carreau/4279371)
• Go (https://github.com/takluyver/igo)

کرنل پیشفرض کدهای زبان پایتون را اجرا میکند. نوت بوک شیوه ای ساده برای کاربران فراهم میکند تا هرکدام از این کرنلها را بتوانند در یک نوت بوک داده شده انتخاب کنند.

هرکدام از این کرنلها از طریق برنامه تحت وب نوت بوک و مرورگر وب که از JSON بر روی پروتکل های پیام رسانی ZeroMQ/WebSockets بهره میبرند ارتباط برقرار میکنند که در اینجا مورد بررسی قرار گرفته است. بیشتر کاربران نیازی به دانستن این جزییات ندارند، اما دانستن این مبحث در درک اینکه “کرنل کد را اجرا میکند” کمک میکند.

اسناد نوت بوک

اسناد نوتبوک حاوی ورودی ها و خروجی های یک جلسه تعاملی و همچنین متون توضیحی که به همراه کد وجود دارد اما قرار نیست اجرا شود میباشند. خروجی غنی تولید شده توسط کد در حال اجرا، شامل HTML، تصاویر، ویدئو، نمودارها و.. در داخل نوت بوک تعبیه میشوند که این امر سبب ایجاد یک رکورد خودکفای (خود دار self contained) کامل از محاسبات میشود.

زمانی که شما یک برنامه تحت وب نوت بوک را بر روی کامپیوتر خود اجرا میکنید، اسناد نوت بوک صرفا فایلهایی بر روی فایل سیستم محلی شما با پسوند .ipynb هستند. این مساله بشما اجازه میدهد تا از جریان کاری مشابه برای ساماندهی نوت بوکهای خود در پوشه های مختلف بهره ببرید و آنها را با دیگران به اشتراک بگذارید.

نوت بوکها شامل دنباله ای خطی از چند سلول هستند. این سلول ها به ۴ نوع مختلف تقسیم میشوند :

سلول کد : ورودیو خروجی کد زنده که توسط یک کرنل اجرا میشود

سلول Markdown : متون توضیحی و تفصیلی به همراه معادلات لاتکس تعبیه شده احتمالی

سلولهای سرتیتر: ۶ سطح از ساماندهی و فرمت دهی سلسله مراتبی

سلولهای خام : متون بدون فرمت را شامل میشود ، بدون هیچ تغییری زمانی که نوت بوکها به فرمتهای دیگیری با استفاده از nbconvert تبدیل میشوند.

اسناد نوت بوک بطور داخلی بصورت  `JSON <https://en.wikipedia.org/wiki/JSON>`__ data  هستند که با  binary values `base64 <http://en.wikipedia.org/wiki/Base64>`__  انکود شده اند. این کار باعث میشود که بتوان آنها را توسط هر زبان برنامه نویسی ای خواند یا مورد تغییر قرار داد. از آنجایی که JSON یک فرمت متنی است، اسناد نوت بوک با سیستم های کنترل نسخه سازگار هستند.

نوت بوکها را میتوان با استفاده از برنامه کاربردی nbconvert جوپیتر به فرمتهای ایستا شامل HTML، reStructeredText ، LaTeX، PDF و اسلاید شو (reveal.js)  تبدیل نمود.

علاوه بر آن، هر سند نوت بوک در دسترس از طریق یک لینک عمومی در گیت هاب و یا غیره را میتوان از طریق nbviewer به اشتراک گذاشت. این سرویس سند نوت بوک را از طریق URL بارگذاری کرده و آن را در قالب یک صفحه ایستای وب (static web page) نمایش میدهد. صفحه وب نتیجه شده را سپس میتوان بدون نیاز به نصب نوت بوک جوپیتر با سایرین به اشتراک گذاشت.

آشنایی با بخشهای مختلف :

در صفحه باز شده ، مشاهده میکنید که در سمت چپ تصویر چندین منو وجود دارد. در زیر منو نیز ، نوار ابزاری با چند عملیات محدود قرار داده شده است. از میان گزینه های مختلف، گزینه File, Runtime و Tools بیشتر حائز اهمیت هستند بنابر این ما به توضیح این منو ها میپردازیم.

برای شروع بر روی منو File کلیک میکنیم. با انجام این کار با تصویر زیر مواجه میشویم:

گزینه اول Locate in Drive : این گزینه زمانی فعال میشود که شما در حال کار بر روی یک سند notebook ذخیره شده در درایو خود باشید. با کلیک بر روی این گزینه شما به Google Drive خود منتقل شده و سند مورد نظر انتخاب میشود. این گزینه در زمانی که شما در حال کار بروی چند سند هستید و یا قصد به اشتراک گذاری، تهیه بک آپ و… دارید بسیار مفید خواهد بود.

New Python 2 Notebook/New Python 3 Notebook :

این گزینه ها بشما اجازه میدهند تا از نسخه پایتون ۲ و یا ۳ در سند نوت بوک خود استفاده کنید. بعد از انتخاب هر نسخه، امکان تغییر نسخه پایتون در آن سند از طریق زیر منو Runtime ممکن است.

Open Drive notebook… : با انتخاب این گزینه میتوانید به محتویات Google Drive خود دسترسی پیدا کرده و اسناد نوت بوک مورد نظر خود را بارگذاری کنید.

Open recent… :  این گزینه لیستی از آخرین اسناد نوت بوک که اخیرا مورد استفاده قرار داده اید را بشما نمایش داده و میتوانید برای بارگذاری آنها از این گزینه نیز استفاده کنید.

Upload a notebook… : از طریق این گزینه میتوانید یک سند Notebook را از سیستم خود بر روی Google Drive خود آپلود کرده و در Google Colab بارگذاری نمایید. دقت نمایید بعد از Upload شدن سند، سند بصورت خودکار بارگذاری میشود و تغییراتی که در سند قبلی داده اید از بین خواهد رفت. پس قبل از استفاده از این گزینه اطمینان حاصل کنید سند فعالی وجود نداشته یا تغییرات مورد نظر خود را ذخیره کرده باشید.

Rename: از این گزینه برای تغییر نام سند notebook استفاده میشود.

Move to trash : برای حذف یک سند از این گزینه استفاده میشود.

Save a copy to Drive… : از این گزینه برای ذخیره یک رونوشت از سند فعال فعلی در Google Drive شما استفاده میشود. با کلیک بر روی این گزینه، سند جدید هم بلادرنگ در صفحه جدیدی اجرا میگردد.

Save: از این گزینه برای ذخیره سازی تغییرات استفاده میشود

Save and pin revision : از این گزینه برای ذخیره تغییرات و همینطور ثبت یک نسخه بازبینی (revision) استفاده میشود.

Revision history: با کلیک بر روی این گزینه یک نوار سیاه رنگ در انتهای تصویر نمایش داده میشود بصورت زیر :

برای مشاهده لیست revision ها کافیست بر روی نوار کلیک کرده و آنرا به سمت بالا بکشید. با انجام اینکار با تصویری مشابه زیر مواجه خواهید شد که میتوانید متعاقبا نسبت به بازگردانی یا download یک نسخه بازبینی اقدام کنید:

Download Ipynb/py : از این گزینه ها میتوانید برای دانلود سند نوت بوک جاری در قالب Jupyter notebook و یا فایل python معادل استفاده نمایید. زمانی که گزینه Download .py را انتخاب میکنید. تمامی متون توضیحی،… بصورت کامنت تبدیل میشود تا اینگونه بتوان براحتی این فایل را نیز اجرا و مورد استفاده قرار داد.

دقت نمایید اگر  در حال کار بر روی یک سند نوت بوک جاری باشید منو File بصورت زیر خواهد بود. در این صورت شما گزینه دیگری تحت عنوان Open in playground خواهید داشت. با کلیک بر روی این گزینه وضعیت شما از online به offline تغییر پیدا خواهد کرد. در این حالت تغیرات شما ذخیره نشده و تنها از طریق کلیک بر روی دکمه Copy to Drive که بر روی نوار ابزار زیرین تعبیه شده میتوانید تغییرات اعمالی را در فایل اصلی ثبت و اعمال نمایید. از این گزینه برای تست بی دغدغه و آزمایشی ، بدون نگرانی از اعمال تغییرات نهایی در فایل اصلی استفاده میشود.

سایر زیر منوها همانند Edit, View, Insert نیاز به توضیح خاصی ندارند و امکانات معمول جهت ویرایش، مشاهده ، و افزودن سلول های مختلف و یا محتوای آنان میباشند.

زیر منو Runtime : از این زیر منو در جهت اجرای یک یا همه سلول ها در یک سند نوت بوک استفاده میگردد. شما میتوانید تنها یک سلول و یا همه سلول ها را به ترتیب اجرا نمایید. همینطور میتوانید از طریق interrupt execution به اجرای یک سلول خاتمه دهید و یا از طریق Restart Runtime نسبت به شروع مجدد محیط اجرا اقدام کنید. از گزینه Connect to runtime… نیز برای اتصال به کرنل جدید استفاده میشود. بعد از مدتی عدم فعالیت محیط اجرای تخصیص یافته بشما منقضی میشود و برای شروع دوباره نیاز است بر روی این گزینه کلیک نمایید.

از طریق Change runtime type شما میتوانید نسخه پایتون (۲ و یا ۳) را در سند نوت بوک جاری خود مشخص کنید همچنین از طریق همین گزینه میتوانید پشتیبانی از GPU را برای محاسبات خود فعال کنید.

از بخش Tools نیز میتوانید به زیر منو Preferences  دست یافته و تغییرات مورد نظر نظیر نمایش شماره سطرها و … را اعمال نمایید.

نحوه اجرا  (یک مثال )

بعد از اینکه از منو File گزینه Python 3 Notebook را انتخاب کردید با صفحه ای همانند زیر مواجه میشویم:

در سلولی که وجود دارد میتوانیم اقدام به برنامه نویسی کنیم و بعد از اتمام کدنویسی با کلیک بر روی دکمه سیاه رنگ که در سمت چپ سلول وجود دارد کد نوشته شده را اجرا مینماییم. برای اجرا همچنین میتوانیم از کلیدهای ترکیبی Ctrl+Enter نیز بهره ببریم.

میتوانیم تمامی کدهای مورد نیاز خود را در همین سلول نوشته و اجرا کنیم اما چیزی که در اسناد جوپیتر بسیار رایج است نوشتن کد در سلولهای مختلف است بگونه ای که بتوان هر بخش را بطور جداگانه مورد بررسی و یا توضیح بیشتر قرار داد.

برای اضافه کردن سلول های جدید میتوان از منو Insert بهره برد و یا از نوار  ابزاری که در زیر منو وجود دارد استفاده کرد. با کلیک بر روی Code سلول جدیدی اضافه میشود. در سمت راست هر سلول یک نوار شناور وجود دارد که از آن میتوان برای اضافه کردن توضیحات و یا سلول کد جدید بهره برد.

در صورت حذف اشتباهی یک سلول میتوانید با استفاده از کلید های ترکیبی Ctrl+Shift+Z اعمال اخیر خود را بازیابی کنید.

با بردن اشاره گر ماوس در بین دو سلول نوار شناور جدیدی نمایان میشود که با کلیک بر روی گزینه های آن میتوان سلول جدیدی ایجاد نمود. در اینجا ما بر روی Text کلیک میکنیم تا توضیحاتی در رابطه با کد زیرین ارائه کنیم :

بعد از اعمال تغییرات، نتیجه بصورت زیر خواهد بود :

و متعاقبا نتیجه نهایی بصورت زیر خواهد بود :

به همین ترتیب میتوان سلول های مختلفی را جهت اجرای بخش های گوناگون یک برنامه ایجاد و اجرا نمود :

نصب package یا کتابخانه جدید :

به منظور نصب یک پکیج یا کتابخانه جدید در محیط Jupyter notebook میتوان از دستور !pip install بهره برد. با  استفاده از از عملگر ! میتوان دستورات سیستمی را اجرا نمود. با استفاده از این عملگر  میتوان دستوراتی که در ترمینال میتوان وارد کرد در سلول کد وارد و اجرا نمود. به همین صورت ما از این عملگر برای اجرای pip بهره میبریم .پکیج هایی همانند tensorflow و keras و numpy بصورت پیشفرض نصب و قابل استفاده هستند.

در ادامه ما سعی میکنیم با دستور !pip install -q matplotlib-venn  نسبت به نصب matplotlib-venn اقدام کنیم . ابتدا یک سلول جدید ایجاد کرده و سپس دستور را وارد و اجرا میکنیم :

با اجرای این سلول خروجی ای مشاهده نمیکنیم! علت این امر وجود سویچ –q است . برای مشاهده لاگ دستورات اجرا شده  کافیست دستور را بدون این سویچ اجرا کنیم. خروجی بصورت زیر خواهد بود :

و نهایتا بعد از این کار میتوان از پکیج جدید بهره برد :

به همین شکل میتوان نسبت به نصب فریم ورک کفی اقدام نمود. برای اینکار بصورت زیر عمل میکنیم :

بعد از نصب موفقیت آمیز  کفی :

خلاصه :

سلول ها:

یک نوت بوک لیستی از چند سلول است. هر سلول یا حاوی متن توضیحی و یا کد قابل اجرا و خروجی آن است. برای انتخاب یک سلول کافیست روی آن کلیک کنید.

سلول های کد

در زیر یک سلول کد را مشاهده میکنید.

زمانی که دکمه نوار ابزار به  Connected اشاره میکند، بر روی سلول مربوطه کلیک کنید تا آنرا انتخاب کرده باشید  و بعد محتویات سلول را از طرق زیر اجرا نمایید :

• با کلید کردن بر روی آیکون Play در حاشیه سمت چپ سلول;
• با استفاده از کلید های ترکیبی Ctrl+Enter و یا CMD در مک میتوانید بصورت درجا محتویات سلول را اجرا کنید.
• با استفاده از کلید های ترکیبی Shift+Enter میتوانید محتویات سلول را اجرا کرده و فوکس را به سلول بعدی انتقال دهید و یا در صورتی که سلولی وجود ندارد یک سلول جدید ایجاد کنید.
• با استفاده از کلید های ترکیبی Alt+Enter میتوانید سلول کد را اجرا کرده و یک سلول کد جدید دقیقا بعد از سلول فعلی ایجاد کنید.

گزینه های اضافی دیگری باری اجرای بعضی و یا همه سلول ها در منو Runtime و جود دارد که میتوانید از آنها نیز استفاده کنید.

سلولهای متنی

تصویر زیر یک سلول متنی را نمایش میدهد. شما میتوانید با دابل کلیک بر روی سلول، محتویات این نوع سلول را ویرایش کنید. سلول های متنی از سینتکس markdown بهره میبرند. با استفاده از این قابلیت شما میتوانید معادلات ریاضی را با استفاده از LaTeX به نگارش در آورید . این محتویات سپس توسط MathJax  که در مرورگر شما تعبیه شده است رندر شده و غنا و زیبایی خاصی به نوشته های شما میبخشد. برای نگارش با زبان LaTeX کافیست دستور مورد نظر خود را بین دو علامت $ قرار دهید. بعنوان مثال $sqrt{3x-1}+(1+x)^2$ بصورت 

*** QuickLaTeX cannot compile formula:
$sqrt{3x-1}+(1+x)^2$ 

*** Error message:
Display math should end with $$.
leading text: $$sqrt{3x-1}+(1+x)^2$ 

 نمایش داده خواهد شد. در تصویر زیر یک سلول متنی در حال ویرایش را مشاهده میکنید. در بخش بالایی متن و در بخش پایینی پیش نمایش متن نگاشته شده قرار دارد.

در تصویر زیر سلول متنی بعد از خروجی از حالت ویرایش را مشاهده میکنید. با زدن Shift+Enter و یا کلیک بر روی سلول کدی دیگر از حالت ویرایش خارج میشویم.

در زیر نمونه دیگری از سلول متنی را مشاهده میکنید :

افزودن و حرکت دادن سلول ها

شما میتوانید با استفاده از دکمه های + CODE و + TEXT که با حرکت دادن نشانگر ماوس در بین سلول ها بشما نمایش داده میشوند سلول های جدیدی اضافه کنید. این دکمه ها در نوار ابزاری که زیر منو وجود دارد نیز قرار دارند و کلیک بر روی آنها سبب ایجاد یک سلول جدید در زیر سلول انتخاب شده فعلی میشود.

شما میتوانید یک سلول را با انتخاب آن و سپس کلیک بر روی Cell Up و یا Cell Down از نوار ابزار فوق الذکر حرکت دهید.

سلول های پشت سر هم را میتوان از طریق lasso selection” ” انتخاب کرد. این کار با کشیدن از خارج یک سلول و از بعد از بین گروهی از سلول ها قابل انجام است. سلول های غیر مجاور را نیز میتوان با کلیک کردن و بعد نگه داشتن کلید Ctrl بطور متوالی انتخاب نمود. به همین صورت با استفاده از کلید Shift بجای Ctrl میتوان تمامی سلول های ما بین را نیز انتخاب نمود.

کار کردن با پایتون

شما میتوانید فرایند های پایتون که مدت زمان بسیاری در حال اجرا هستند را متوقف کنید. برای اینکار کافیست سلول مورد نظر را انتخاب کرده و سپس از منو Runtime گزینه Intrrupt execution را جهت خاتمه دادن به اجرای کد در حال اجرا انتخاب کنید. همچنین میتوانید از کلیدهای ترکیبی Ctrl+M – I برای خاتمه دادن بهره ببرید. برای مشاهده دستورات بیشتر میتوانید از کلیدهای ترکیبی Ctrl+Shift+P استفاده کنید و یا از منو Tools بر روی گزینه Command palette استفاده نمایید.

System aliases

ژوپیتر شورت کات های مختلفی برای عملیاتهای رایج دارد که میتوانید از آنها استفاده کنید. این دستورات در زیر آورده شده اند :

با اجرای این دستورات نیازی به استفاده از عملگر ! نخواهید داشت. تصویر زیر این مساله را نشان میدهد :

به منظور پاک کردن خروجی یک سلول، ابتدا سلول حاوی خروجی را انتخاب کرده و سپس از نوار ابزار بالای سلول بر روی دکمه x کلیک نمایید. با قرار دادن اشاره گر ماوس بر روی هر کدام از دکمه ها میتوانید به کارکرد هرکدام پی ببرید. علاوه بر این روش، شما میتوانید با راست کلیک کردن بر روی حاشیه سمت چپ سلول حاوی خروجی و انتخاب Clear output از منو نمایش داده شده، نسبت به پاک کردن خروجی اقدام نمایید.

شما میتوانید هر فرایند دیگری را نیز توسط ! با استفاده از ترکیب رشته ها در متغییرهای زبان پایتون اجرا نمایید. دقت کنید که نتیجه حاصله را نیز میتوانید به یک متغییر دیگر انتساب دهید.

Tab-completion and exploring code

شما میتوانید از قابلیت کامل شدن خودکار یا auto completion در ژوپیتر نوت بوک بهره ببرید. برای استفاده از این قابلیت کافیست از کلید tab استفاده کنید. شیوه کار به این صورت است که بعد از نوشتن بخشی از یک کلمه کافیست ازکلید tab استفاده کنید. ادامه کلمه بطور خودکار کامل میشود. اگر چند نمونه شبیه به هم وجود داشته باشند لیستی به شما نمایش داده میشود که میتوان گزینه صحیح را انتخاب نمود. به همین شکل میتوان از متدها و کلاس ها و… موجود در یک فضای نام یا کلاس و… نیز مطلع شد. بعنوان مثال بعد از import numpy as np و نوشتن np. و زدن  tab لیستی شامل توابع، اشیاء و…  گوناگون در دسترس بشما نمایش داده خواهد شد.  به همین شکل با فشردن کلید tab بعد . میتوان به توابع عضو و… بصورت سلسله مراتبی دسترسی یافت.

با فشردن کلید tab بعد از ) یک tooltip حاوی اطلاعات اسختراجی از docstring بشما نمایش داده میشود.

شما میتوانید با تایپ ?   بعد از متد و یا شی مورد نظر خود و فشردنCtrl+Enter به اطلاعات کاملی دست پیدا کنید.:

Exceptions ها نیز بخوبی فرمت بندی شده اند و بشما در یافتن مشکل در کد خود کمک ویژه ای میکنند:

خروجی های غنی و تعاملی

خروجی تولید شده تنها محدود به متن نیست و میتوان گستره غنی ای از رسانه ها را نیز بعنوان خروجی نمایش داد. بعنوان مثال در تصویر زیر چگونگی نمایش یک نمودار را مشاهده میکنید :

ادغام با Google Drive

برنامه Colaboratory گوگل با Google Drive ادغام شده است. این امر به شما اجازه به اشتراک گذاری، کامنت گذاری، و همکاری با چندین نفر بر روی یک سند را میدهد.

دکمه Share (در سمت راست و بالای نوار ابزار) بشما اجازه به اشتراک گذاری نوت بوک و همچنین کنترل مجوزهای روی آن را میدهد.

• File->Make a Copy باعث ایجاد یک رونوشت از سند جاری در Google Drive شما میشود.
• File->Save باعث ذخیره تغییرات شما بر روی فایل در Google Drive شما میشود. و گزینه File->Save and pin revision باعث ثبت نسخه بازبینی شما میشود بگونه ای که از تاریخچه بازینی شما حذف نشود.
• File->Save and checkpoint باعث ثابت سازی نسخه شما میشود تا در بخش تاریخچه حذف نگردد..
• File->Revision history تاریخچه نسخه های بازبینی را بشما نشان میدهد.
• چند نفر در یک آن میتوانند یک سند یکسان را ویرایش کنند . همانند Google Docs شما میتوانید شرکتکنندگان (همکاری کنندگان کولبریتورها)! را هم در داخل سند (بالا سمت راست سمت چپ دکمه کامنت) و هم در داخل یک سلول مشاهده کنید (سمت راست یک سلول)

ارتباط با فایلهای ذخیره شده در Google Drive خواند و نوشتن :

برای دسترسی به فایلهای آپلود شده خود در Google Drive روشهای مختلفی وجود دارد. یکی از رایج ترین روشها استفاده از قابلیت Drive Fuse است که به شما اجازه میدهد درایو گوگل خود را mount کرده و از آن استفاده کنید.

سابقا برای استفاده ازاین روش نیاز به نصب و پیکربندی ocamlfuse بود که در ادامه توضیحات آن امده است. اما در آخرین بروز رسانی برای اتصال به گوگل درایو و استفاده از آن در گوگل کولب تنها نیاز به وارد کردن کدها بصورت زیر دارید:

در این قسمت ما نامی را جهت mount کردن گوگل درایو خود در سیستم گوگل کولب مشخص میکنیم تا در ادامه بتوانیم با آدرس دهی به این نام (مسیر) بتوانیم به فایلها و پوشه های خود در گوگل درایو دسترسی پیدا کنیم .

همانطور که در تصویر مشاهده میکنید. بعد از اجرای کدهای مورد نظر از شما خواسته میشود تا برای احراز هویت بر روی لینک تولید شده کلیک کرده و توکن مورد نظر را وارد کنید.

بعداز تایید هویت درایو شما تحت نام (مسیری) که مشخص کردید با موفقیت mount میشود.

حال براحتی میتوانید به فایلهای خود دسترسی داشته باشید. دقت کنید که درایو اصلی شما تحت نام My Drive مشخص شده است و برای دسترسی به فایلهای خود باید این نام را نیز لحاظ کنید. این مساله در تصویر زیر کاملا مشخص است :

به همین شکل براحتی میتوانید از مسیر مورد نظر در کدهای پایتون خود نیز بهره ببرید و از استفاده کنید . این مساله در زیر نمایش داده شده است :

شما همچنین میتوانید از نوار کناری گوگل کولب پوشه ها و فایلهای خود در گوگل درایو خود را مشاهده کنید. بدین منظور در نوار کناری (سمت چپ) بر روی تب Files کلیک نمایید. با این کار با صفحه زیر مواجه میشوید :

حال کافیست بر روی علامت کلیک نمایید تا لیستی از تمامی پوشه های سیستمی و… گوگل کولب بشما نمایش داده شود.

حال برای دسترسی به درایو خود کافیست بر روی نام انتخابی خود کلیک کنید : (ما اسم mygoogledrive را انتخاب کرده بودیم بنابر این همان را انتخاب میکنیم)

کدهای استفاده شده در تصاویر بالا :

 

روش فوق با استفاده از رپر ocamlfuse :

روش رایج استفاده از رپر ocamlfuse است که به شما اجازه میدهد درایو گوگل خود را mount کرده و از آن استفاده کنید.

به همین منظور کدهای زیر را در نوت بوک جاری خود کپی و اجرا کنید :

در گام بعد توکن های احراز هویت برای برنامه Google Colab را ایجاد میکنیم:

بعد از اجرای این بخش با تصویری همانند شکل زیر مواجه میشید. در اینجا باید بر روی لینک نمایش د اده شده کلیک کنید. بعد از اینکار با اکانتی که در Google Colab فعالیت میکنید لاگین کرده و بر روی Allow کلیک کنید.

بعد از انجام اینکار در صفحه جدید کد احراز هویت شما نمایش داده میشود کد مورد نظر را کپی کرده و در مرحله اول در بخش Enter verification code قرار دهید و بعد Enter کنید.

در ادامه همین مراحل را برای احراز هویت کتابخانه FUSE انجام میدهیم.

بعد از کپی کردن کد تایید :

و در انتها نیز درایو خود را mount کرده و مورد استفاده قرار میدهیم :

به همین صورت میتوانید فایلهای خود را در Google Drive آپلود کرده و به پوشه های مورد نظر خود دسترسی پیدا کرده و نسبت به اجرای برنامه ها و یا …. اقدام کنید.

 

آپلود یا دانلود فایلها :

در مواردی که سورس کد شما حاوی چند ماجول و فایل دیگر میباشد میتوانید با استفاده از دستور زیر  نسبت به اپلود آنها اقدام کنید .

به همین صورت به منظور دانلود فایل یا فایلهایی میتوانید از دستور زیر استفاده کنید :‌

 

شما میتوانید برای مشاهده سایر روشها جهت آپلود و یا دانلود فایل و یا دیتاست خود از این لینک استفاده کنید.

 

نکته : از تاریخ ۲۶ دی ۱۳۹۷ گوگل از کارتهای گرافیک بسیار قدرتمند T4 در سرویس Google Colab خود پرده برداری کرد. این کارت ها از ۱۶ گیگابایت حافظه ازنوع DDR6 بهره برده و از دقت اعشار مختلف (fp32,fp16, INT8 و INT4 ) و همچنین TensorCore های جدید شرکت انویدیا پشتیبانی میکنند و به این علت کارایی بشدت بالایی نسبت به کارتهای نسل قبل از خود ارائه میدهند. در رابطه با آموزش mixed precision اینجا بیشتر مطالعه کنید.

 

سید حسین حسن پور

بهار ۱۳۹۷

 

[۱] interactive computing environment

[۲] self-contained