مدل MAI-Code-1.1-Flash مایکروسافت؛ اجرای آفلاین با ۱۲۰ گیگابایت رم
اجرای آفلاین مدل MAI-Code-1.1-Flash چه معنایی دارد؟
مایکروسافت نسخه جدیدی از مدل هوش مصنوعی خودش را با نام MAI-Code-1.1-Flash معرفی کرده که می‌توان آن را روی دستگاه‌های شخصی هم اجرا کرد. یعنی لازم نیست همه درخواست‌ها به سرورهای ابری بروند؛ اگر سخت‌افزار مناسبی داشته باشید، مدل روی همان سیستم محلی کار می‌کند.
این ویژگی برای کسانی جذاب است که به حریم خصوصی اهمیت می‌دهند یا در محیط‌هایی کار می‌کنند که اتصال اینترنت پایدار وجود ندارد. البته این مزیت با شرطی همراه است که ممکن است برای خیلی‌ها دست‌نیافتنی باشد.
سخت‌افزار مورد نیاز برای اجرای محلی
مایکروسافت برای رسیدن به بهترین نتیجه، استفاده از سیستمی با بیش از ۱۲۰ گیگابایت رم را توصیه کرده است. این عدد، مدل را از دسترس اکثر کامپیوترهای معمولی و حتی لپ‌تاپ‌های حرفه‌ای دور می‌کند. فقط دستگاه‌هایی که رم بسیار بالایی دارند، می‌توانند نسخه محلی را بدون افت عملکرد اجرا کنند.
هم‌زمان با این خبر، مایکروسافت لپ‌تاپ سرفیس اولترا را هم معرفی کرد که نسخه رده‌بالای آن ۱۲۸ گیگابایت رم یکپارچه دارد و قیمت آن ۵۸۹۹ دلار اعلام شده است. به نظر می‌رسد این دستگاه برای کسانی طراحی شده که می‌خواهند مدل MAI-Code-1.1-Flash را به صورت محلی اجرا کنند.
بهینه‌سازی‌های فنی و حفظ کیفیت
مدل محلی با کوانتیزاسیون ۳ بیتی فشرده شده تا فضای کمتری اشغال کند. مایکروسافت می‌گوید این فشرده‌سازی، پنجره زمینه ۲۵۶ هزار توکنی را حفظ کرده و دقت مدل را به شکل قابل توجهی کاهش نداده است.
نتایج آزمایش روی بنچمارک‌های SWE-Bench Verified و Terminal-Bench 2.1 نشان می‌دهد تفاوت عملکرد نسخه کوانتایزشده با مدل کامل، ناچیز است. این یعنی کاربرانی که سخت‌افزار لازم را دارند، می‌توانند بدون نگرانی از افت کیفیت، مدل را محلی اجرا کنند.
عملکرد بهتر در گیت‌هاب کوپایلوت
نسخه جدید نسبت به مدل قبلی که در رویداد بیلد معرفی شده بود، پیشرفت داشته است. طبق اعلام مایکروسافت، دقت ابزار ترمینال ۲۲ درصد و پردازش‌های دات‌نت ۱۵ درصد بهبود پیدا کرده است.
علاوه بر این، سرعت استریم توکن‌ها ۲۵ درصد بیشتر شده و مدل برای انجام هر وظیفه، ۲۵ درصد توکن کمتری مصرف می‌کند. نتیجه این بهینه‌سازی‌ها، کاهش هزینه آموزش و سرویس‌دهی به یک‌چهارم هزینه اولیه مدل MAI-Code-1.0 بوده است.
چگونه مدل را امتحان کنیم؟
کاربران می‌توانند همین حالا نسخه محلی MAI-Code-1.1-Flash را دانلود کنند. دسترسی آزمایشی آن در اپلیکیشن کوپایلوت، ترمینال کوپایلوت و ویژوال استودیو کد (VS Code) تا پایان ماه فعال خواهد شد.
در جریان رونمایی، مایکروسافت عملکرد مدل را حتی در حالت Airplane Mode به نمایش گذاشت تا نشان دهد اجرای محلی بدون اتصال به اینترنت هم ممکن است. البته اگر نیاز به پردازش سنگین‌تری باشد، هنوز می‌توان به مدل‌های ابری سوئیچ کرد.
سؤال‌های رایج
آیا همه می‌توانند مدل را محلی اجرا کنند؟
خیر. برای اجرای محلی، به بیش از ۱۲۰ گیگابایت رم نیاز است که فقط در سیستم‌های بسیار قدرتمند و گران‌قیمت پیدا می‌شود.
دقت مدل محلی چقدر کمتر از نسخه ابری است؟
طبق آزمایش‌های مایکروسافت، تفاوت دقت در بنچمارک‌ها ناچیز است و پنجره زمینه ۲۵۶ هزار توکنی حفظ شده است.
مدل در چه محیط‌هایی در دسترس است؟
دسترسی آزمایشی MAI-Code-1.1-Flash در اپلیکیشن کوپایلوت، ترمینال کوپایلوت و ویژوال استودیو کد تا پایان ماه فعال می‌شود.
به گزارش دیجیاتو، مایکروسافت با این مدل نشان داد که اجرای محلی هوش مصنوعی کدنویسی، دیگر فقط یک ایده نیست؛ اما هنوز هم برای کاربران عادی دور از دسترس است.
