Word embedding چیست ؟

بسم الله الرحمن الرحیم.در پست قبلی ما معرفی خیلی کوتاهی از word embedding یا همان "تعبیه سازی کلمات" و روشهای تولید آن داشتیم. در این نوشتار سعی میکنیم یکبار دیگر به این موضوع پرداخته و با زبان ساده تری با مفاهیم مطرح شده در قبل مثل تعبیه…

پیش درآمدی بر Word Embedding بخش اول

بسم الله الرحمن الرحیم درون سازی یا تعبیه کلمه یا اصطلاحا word embedding نامی تجمعی است که به مجموعه ای از تکنیک های یادگیری ویژگی و مدلسازی زبان در پردازش زبان طبیعی اطلاق میشود. در این تکنیک ها، کلمات و عبارات از یک لغت نامه به…

مدل زبانی یا Language Model چیست؟

بسم الله الرحمن الرحیم مدلسازی زبان بخش اصلی بسیاری از وظایف مرتبط با پردازش زبان طبیعی است.در این نوشتار ما بطور خلاصه با این مبحث آشنا خواهیم شد. مدلسازی زبان بصورت ساده به عمل پیش بینی کلمه بعدی در یک دنباله داده شده گفته میشود.…

آموزش شبکه عصبی بازگشتی بخش پنجم : معرفی LSTM

بسم الله الرحمن الرحیم در بخش قبل با شبکه عصبی بازگشتی GRU آشنا شدیم و در این بخش به معرفی شبکه عصبی بازگشتی LSTM میپردازیم. پیشتر(1و2و3) دیدیم که یک شبکه عصبی بازگشتی سنتی (اگر به اندازه کافی بزرگ باشد) از نظر تئوری باید قادر به…

روش Teacher Forcing چیست؟

بسم الله الرحمن الرحیم   Teacher Forcing : کمک معلم یا اصطلاحا Teacher Forcing روش سریع و کارآمدی است که برای آموزش مدلهای مبتنی بر شبکه های عصبی بازگشتی که از خروجی  یک گام قبل بعنوان ورودی بهره میبرند مورد استفاده قرار

آموزش شبکه عصبی بازگشتی بخش چهارم : معرفی GRU

بسم الله الرحمن الرحیم در بخش قبل با چگونگی پیاده سازی یک شبکه عصبی بازگشتی معمولی آشنا شدیم. سپس در ادامه با مشکل محوشدگی گرادیان آشنا شدیم و دیدیم که این نوع شبکه ها با چه مشکلاتی مواجه اند و چگونه میتوان با این مشکلات مقابله کرد. در…

مشکل محو شدگی گرادیان (vanishing gradient) در شبکه عصبی بازگشتی چیست؟

بسم الله الرحمن الرحیم دراین نوشتار قصد داریم تا به یکی از مهمترین مشکلاتی که یک شبکه عصبی بازگشتی با آن مواجه است بپردازیم. در این بخش سعی ما بر این است که با مشکل محو شدگی گرادیان( و همینطور انفجار گرادیان) آشنا شده و  بطور مختصر به…

آموزش شبکه های عصبی بازگشتی (Recurrent neural network) بخش سوم : Backpropagation

بسم الله الرحمن الرحیم در بخش قبل(بخش دوم) با هم چگونگی پیاده سازی فاز پیشرو (forward pass) در یک شبکه عصبی بازگشتی (Recurrent Neural network) را به انجام رساندیم. در این پست به فاز دوم پیاده سازی یعنی پیاده سازی عملیات پس انتشار…

آموزش شبکه های عصبی بازگشتی (Recurrent Neural Networks) بخش دوم : Forward

بسم الله الرحمن الرحیم در بخش قبل مباحث تئوری و کلی در رابطه با شبکه های عصبی بازگشتی مطرح شد. در این بخش ما وارد جزییات بیشتری شده و سعی میکنیم بصورت عملی در مورد چیستی و کارکرد این گونه شبکه ها صحبت کنیم . با هم نسبت به پیاده سازی این…

سال نو بر همه ایرانیان در سراسر جهان مبارک

این عید پر از عطر دل انگیز خداست / سرشار ترین آینه ی خاطره هاست نوروز خوشت همیشه رنگین با عشق / آراسته با دلی که همراه خداست . . . فرا رسیدن سال نو همیشه نوید بخش افکار نو، کردار نو و تصمیم‌های نو برای آینده است، آینده‌ای…