جعبه ابزار بهینه سازی مدل TensorFlow پیچیدگی بهینه سازی استنتاج یادگیری ماشین را به حداقل می رساند.
کارایی استنتاج به دلیل تأخیر، استفاده از حافظه و در بسیاری از موارد مصرف انرژی، هنگام استقرار مدلهای یادگیری ماشین، یک نگرانی مهم است. به ویژه در دستگاههای لبهای، مانند موبایل و اینترنت اشیا (IoT)، منابع محدودتر میشوند و اندازه مدل و کارایی محاسبات به یک نگرانی اصلی تبدیل میشود.
تقاضای محاسباتی برای آموزش با تعداد مدل های آموزش داده شده در معماری های مختلف افزایش می یابد، در حالی که تقاضای محاسباتی برای استنتاج متناسب با تعداد کاربران افزایش می یابد.
بهینه سازی مدل از جمله موارد زیر مفید است:
- کاهش تأخیر و هزینه استنتاج هم برای دستگاه های ابری و هم برای دستگاه های لبه (مانند موبایل، اینترنت اشیا).
- استقرار مدلها در دستگاههای لبه با محدودیتهایی در پردازش، حافظه و/یا مصرف انرژی.
- کاهش حجم محموله برای بهروزرسانی مدلهای هوایی.
- فعال کردن اجرا بر روی سخت افزار محدود شده یا بهینه شده برای عملیات نقطه ثابت.
- بهینه سازی مدل ها برای شتاب دهنده های سخت افزاری با هدف خاص.
حوزه بهینه سازی مدل می تواند شامل تکنیک های مختلفی باشد:
- با هرس و هرس ساختاری تعداد پارامترها را کاهش دهید.
- کاهش دقت نمایش با کوانتیزاسیون.
- توپولوژی مدل اصلی را به یک توپولوژی کارآمدتر با پارامترهای کاهش یافته یا اجرای سریعتر به روز کنید. به عنوان مثال، روش های تجزیه تانسور و تقطیر
جعبه ابزار ما از کوانتیزاسیون پس از آموزش ، آموزش آگاهانه کوانتیشن ، هرس و خوشه بندی پشتیبانی می کند. این جعبه ابزار همچنین پشتیبانی آزمایشی را برای بهینهسازی مشارکتی برای ترکیب تکنیکهای مختلف فراهم میکند.
مدلهای کوانتیزه مدلهایی هستند که در آنها مدلها را با دقت کمتری نشان میدهیم، مانند اعداد صحیح 8 بیتی در مقابل شناور 32 بیتی. دقت کمتر لازمه استفاده از سخت افزار خاص است.
مدلهای پراکنده آنهایی هستند که در آن اتصالات بین اپراتورها (به عنوان مثال لایههای شبکه عصبی) قطع شدهاند و صفرها را به تانسورهای پارامتر وارد میکنند.
مدل های خوشه ای مدل هایی هستند که در آن پارامترهای مدل اصلی با تعداد کمتری از مقادیر منحصر به فرد جایگزین می شوند.
این جعبه ابزار پشتیبانی آزمایشی را برای بهینهسازی مشارکتی فراهم میکند. این به شما امکان می دهد از ترکیب چندین تکنیک فشرده سازی مدل بهره مند شوید و به طور همزمان از طریق آموزش آگاهی از کوانتیزاسیون به دقت بهبود یافته دست یابید.