#رشتوی تمیز و ساده! :)
یه مدل زبانی مثل ChatGPT چطور کار می کنه؟
با شروع سال ۲۰۲۳! تب هوش مصنوعی رفت بالا و خیلی ها حتی بدون اینکه آگاهی داشته باشن که این مدل ها چطور کار می کنن افتادن تو یه چیزی به نام چت بات!
الان میخوام یه سرو گوشی آب بدیم ببینم پشتش چه خبره 👇
یه تاریخچه ریز بریم:تحلیلگرا میگن که بازار NLP ( یا پرداز زبان انسانی) از 11 میلیارد دلار (2020) به + 35 میلیارد دلار (2026) میرسه.اندازه مدل و تعداد پارامترهای درگیر نیز زیاده.تو این نمودار میبینید که چطور اندازه مدل های LLM تو چند سال گذشته زیاد شده
توضیح LLM یا مدل زبان بزرگ نوعی مدل یادگیری ماشینیه که برای پردازش و تولید متن زبان طبیعی طراحی شده .این مدلها معمولاً مبتنی بر تکنیکهای یادگیری عمیق هستن و بر روی مقادیر عظیمی از دادههای متنی آموزش داده میشن تا الگوها و روابط در زبان را یاد بگیرن.
مدلهای زبان بزرگ را میشه برای انواع وظایف پردازش زبان طبیعی، مانند ترجمه زبان، خلاصهسازی متن، پاسخگویی به سؤال و تولید متن استفاده کرد. تا دیروز
GPT-3 (Generative Pre-trained Transformer 3)
قوی ترین مدل بود OpenAI بود که 175 میلیارد پارامتر داشت. حالا GPT4 را ببینید! 🤯
همه اینایه الگوی ساده(قابل فهم)و درعین حال پیچیده ای دارن
ورودی ->پردازش-> خروجی
تصور کنید یک مدل محاسبه گر اون وسطه که بر اساس ورودی داره بهتون خروجی میده و جالبه که جوابی که میده( جملات)دنباله ای از کلماتن که پشت سر هم محاسبه میشن و تولید میشن.عین هدفگیری با تفنگ دوربین داره
اگه تو بازی های شوتر دیده باشید شما چند ثانیه زمان میخواید که رو هدفتون فیکس کنید. اینم همین جوری میاد و شروع به تولید زنجیره ای از کلمات می کنه تا به نزدیک ترین جواب برسه و اون جواب نهایی را به شما تحویل میده.
این پست را اگه تا آخرش دوام بیارید متوجه میشید چی به چیه:)
حالا این زنجیره جلمات از کجا میان؟ #شبکه_عصبی
این یک ساختار شبکه ای هست که توش اعداد از یک طرف وارد میشن و بر اساس احتمالات هی جمله ها را سورت می کنند. برای کلمات از LLMs یا Large Language Models استفاده میشه که یه کم روش استفاده اش متفاوته
داخل LLMs ها یک ساختاری استفاده میشه به نام ترانسفورماتور که پتانسیل های بسیار زیادی را به مدل های زبانی میده. در واقع ترانسفورماتور خودش یک مدل یادگیری عمیقه که مکانیسم توجه به خودش را انتخاب می کنه و به طور متفاوت به هر بخش از ورودی (که شامل خروجی بازگشتیه) یه وزن میده.
بیاید یه کم ملسموس تر و به طور خاص روی «کلمات» صحبت کنیم.
توی مدلهای زبانی به جای اینکه هر کلمه یه ورودی باشه، میتونیم کلمه ها را به نشانه هایی تقسیم کنیم که می تونن کلمات، زیرکلمه ها، کاراکترها یا نمادها باشن. توجه کنید که تو این ساختار حتی فضاهای بین کلمات هم حسابن!
اما این که بیایم کاملا همه کلمات رو صرفا با اعداد نشونه گذاری( یا همون Tokenize) کنیم و هر وقت مدل مون نیاز به یه چیزی برای پر کردن جمله داشت بریم سراغ کلمات و بکشیمشون بیرون میشه همون مدل های خل و چل قدیمی!
حالا کار جهادی :) یعنی کاری که بچه های OpenAi کردن چی بود؟ این که اومدن از embedding یا سیستم تعبیه گذاری کلمات با معانی مشترک تو یه بردار چند بعدی استفاده کردن.
تو عکس می بینید نسبت و فاصله سگ و گربه نسبت به اتاق و خونه چطوریه! این جایی هست که معنا درگیر میشه
حالا فقط نزدیکی کلمات مشابه نیست. Embeddings یه سری مقیاس بندی هم میکنه. مثلا پاپی و سگ و گربه یه فاصله معناداری با هم دارن.
اگه همین تعبیه گذاری را برای جمله سازی استفاده کنیم چی میشه؟
روی این جمله ای که تو تصویر میبینیم چه اتفاقی میفته تو پروسه ما؟
اول ترانسفورماتور میاد ورودی ما را توی این نمودار کد گذاری می کنه.
بعد یه فرایندی به نام ( attention) یا توجه میاد و یه مقدار معنای بیشتری ( Context) به ساختار ما میده.
میخوام Attention را باز کنم. تصور کنید رفتید بانک و میخواید وام بگیرید. اون چیزی که باعث میشه جمله صحیح را انتخاب کنید میشه توجه به کانتکست:
- وام منو بده جیگر
- توله سگ وام منو بده
- اگه مقدوره با وام بنده موافقت کنید
- من وام میخواهم،آن را به من اعطا بفرمایید
حالا این embeddings یا تعبیه گذاری گیر این هست همیشه که چه کلمه ای انتخاب کنه بده به شما.
bank of the river ( ساحل رودخانه )
Money in the bank ( پول در بانک )
مثل ما آدما، وقتی قرار هست که یک معنا درک بشه از بانک به سایر قسمت های جمله هم باید توجه بشه. پول و رودخانه مهمن اینجا
فرآیند توجه از طریق جمله برای کلماتی که زمینه را برای بانک کلمه فراهم می کنن، به گذشته هم نگاه می کنه
بعد میاد جاسازی را دوباره وزن می کنه تا کلمه بانک از نظر معنایی به کلمه "رودخونه" یا "پول" نزدیکتر بشه. تو عکس میبینید که برای مقایسه هر دو جمله چطور عمل می کنه
حالا این یه جمله ساده هست. همین فرایند را چندین ( چند صد) بار تو پردازش های سریع اتفاق میفته تا برسه به یه جمله نسبتا صحیح. بعد این را میندازه تو یه مدل عصبی ( عصبی مثل ایرانی ها نه) تا احتمالات ممکن برای پیوستگی جملات و همچنین صحیح بودن نسبت به تاریخچه استفاده اش مشخص بشه
مثلا روی اون داده Train ( یا تمرین ) داده شده اگه هیچ وقت نتونه : توله سگ من وام میخوام را پیدا کنه، احتمال جواب دادن با این فرمت هم بسیار کم میشه. در واقع مدلهای زبانی یا LLMs برای فهمیدن و تولید یک داده اولیه نیاز دارن که پردازش زبانی درستی پیدا کنند.
این یک توضیح بسیار ساده شده از ChatGPT بود که من بخش های خیلی زیادی از اون را حذف کردم تا قابل فهم برای عوام بشه. توی این لینک کامل تر و بهترش توضیح داده برید بخونید عش کنید
این همه محاسبه کهگفتیم چطور اتفاق میفته؟
مثلا ChatGPT 4 هزاران میلیارد پارامتر داره یعنی چی؟
اول که برق فراوون میخواد
پردازنده قوی میخواد که این محاسبات را انجام بده
خنک سازی پردازنده ها هم کولینگ میخواد که باید آب داشته باشه!
فقط همین آب را بریم جلو پشماتون بریزه:
بررسی کردن دیدن ابی که برای خنک کردن مراکز پردازش دادههای OpenAI و
فقط GPT-3، حدود 185000 گالن آب لازمه.
این مقدار معادل مقدار آب مورد نیاز برای خنک کردن یک راکتور هسته ای است😑
اگه میخواید بیاید #هلند یه #اصطلاح_اداری ساده هست که خوبه بدونید:
Visa
Residence permit
Work permit
BSN
DigiD
Banking
Dutch citizenship
Dutch passport
Driving license
Pensions & Retirement
تو #رشتو ترجمه و توضیح خلاصه میدم که بهتربتونید کارهاتون را هندل کنید ->
#ویزا شما برای اینکه بتونید توی یک کشوری وارد بشید به ویزا نیاز دارید. براساس کشور مبدا شما احتمالا پروسه ویزای راحت یا سختی دارید. طبیعتا حدس میزنید که به عنوان یه ایرانی چه پاسپورت معتبر و یَکی داریم!
به صورت کلی برای ورود به هلند شما به یکی از این ویزاها نیاز دارید:
ویزای ترانزیت فرودگاهی
اگر در حال انتقال به پروازدیگری در فرودگاه هلند هستید، ممکنه به ویزای ترانزیت فرودگاهی نیازداشته باشید.
ویزای کوتاه مدت
ویزای کوتاه مدت (ویزای شینگن) به شما امکان میده حداکثر 90 روز توی هلند بمونید. علاوه بر هلند، در سایر کشورهای شینگن نیز معتبره ->
#رشتو طولانی در مورد #اجاره_خانه در #هلند
دوسال پیش این موقع ها از ایران دنبال داشتم خونه می گشتم وبعد دوسال هنوزم دارم می گردم( برای چندین نفر :)
میخوام یه کم از یافته هام را به اشتراک بزارم و شما هم با ریتوییت کردن این پست به بیشتر دیده شدنش کمک کنید!
ادامه ->
لیست توضیحاتی که ارائه میدم و نمیدم:
◾️سیستم اجاره در هلند
◾️شهرهای محبوب
◾️خرید بجای اجاره
◾️انواع ملک
◾️روش یافتن خانه
◾️نحوه اجاره
◾️هزینه های اجاره
❌مسکن اجتماعی یا سوشال
◾️قراردادهای اجاره
❌آب و برق و مخابرات
❌مهاجرت به هلند
❌نکاتی برای اجاره کنندگان در هلند
ادامه ->
بانک آماری CBS.nl میگه که ۴۲٪ مسکن درهلند اجاره ای هست و بخش زیادی از مردم به دلایل متفاوتی دراین املاک ساکن هستند. از سال ۲۰۰۸ تا ۲۰۱۲ در یک مقطع رکورد وحشتناک مسکن وجود داشت اما اینروزا اوضاع نسبتا روبه بهبوده به طوری که طی چند سال آینده ۳۰۰ هزار خانه جدید->