RockNet؛ یادگیری توزیع‌شده روی میکروکنترلرهای فوق‌کم‌مصرف با پروتکل Mixer

به گفته hackster

RockNet یادگیری ماشین توزیع‌شده را روی دستگاه‌های فوق‌کم‌مصرف ممکن می‌کند و بدون تکیه بر آموزش ابری، دقت و بهره‌وری را افزایش می‌دهد.

امروزه هوشمندی در هر چیزی که تصور کنید جا خوش کرده است؛ از خودروهای خودران تا کارخانه‌های هوشمند، تجهیزات پزشکی کاشتنی و شبکه‌های سنسوری IoT. الگوریتم‌های این دستگاه‌ها با یادگیری ماشین (Machine Learning) قدرت می‌گیرند، اما چون سخت‌افزار در این پلتفرم‌ها معمولاً به‌شدت محدود است، خبری از H100 GPU نیست؛ اغلب تنها یک میکروکنترلر کم‌مصرف در دسترس است، پس کارایی حرف اول را می‌زند.

تکنیک‌هایی مانند کوانتش (Quantization) و هرس مدل (Model pruning) کمک زیادی به آوردن مدل‌های عملیاتی به دستگاه‌های بسیار کوچک کرده‌اند؛ اما این روش‌ها فقط اجرای استنتاج (Inference) را تندتر می‌کنند، نه آموزش (Training) را. بنابراین الگوریتم‌هایی که روی پلتفرم‌های کم‌مصرف مستقر می‌شوند، معمولاً امکان تنظیم روی پرواز را ندارند و این، سازگاری با شرایط در حال تغییر را محدود می‌کند. مهندسان دانشگاه Aachen آلمان برای تغییر این وضعیت، روشی تازه معرفی کرده‌اند: سامانه‌ای به‌نام RockNet که یادگیری توزیع‌شده را روی دستگاه‌های فوق‌کم‌مصرف ممکن می‌کند.

نمای کلی RockNet

به‌طور سنتی، مدل‌های مناسب دستگاه‌های کم‌مصرف در ابر آموزش داده می‌شوند و سپس برای استنتاج به سخت‌افزار لبه منتقل می‌شوند. آموزش ابری قدرتمند است، اما معایبی هم دارد: تأخیر بالا، ترافیک شبکه سنگین، و ریسک‌های حریم خصوصی وقتی داده‌های حساس باید از دستگاه خارج شوند. در مقابل، آموزش روی خودِ دستگاه معمولاً شدنی نیست، چون میکروکنترلرها منابع محاسباتی و حافظه کافی برای چنین بارکاری ندارند.

RockNet این معادله را عوض می‌کند: به‌جای تکیه بر یک گره منفرد، فرآیند آموزش بین تعداد زیادی دستگاه کوچک توزیع می‌شود. این تیم از این واقعیت بهره گرفته که استقرارهای tinyML اغلب شامل ده‌ها یا حتی صدها دستگاهِ شبکه‌شده با امکان ارتباط محلی‌اند. به‌جای آنکه یک میکروکنترلر برای آموزش مدل تقلا کند، RockNet به همه اجازه می‌دهد موازی و همکارانه کار کنند؛ هر دستگاه بخشی از محاسبه را انجام می‌دهد و سپس مقدار کمی داده با همتایانش ردوبدل می‌کند.

چیدمان آزمایشی (: A. Grafe et al.)

این سامانه از دو مؤلفه اصلی تشکیل شده است: رده‌بند ROCKET و یک پروتکل ارتباط بی‌سیم اختصاصی به‌نام Mixer. ROCKET (Random Convolutional Kernel Transform) روشی در یادگیری ماشین است که در وظایف طبقه‌بندی سری‌زمانی (Time-series classification) — مثل تشخیص عیوب ماشین‌آلات یا شناسایی بدافزار در سیستم‌های امبدد — عملکرد پیشرو دارد. ROCKET با کانولوشن داده‌های سنسوری با هزاران فیلتر تصادفی و سپس تغذیه ویژگی‌های حاصل به یک رده‌بند خطی سبک کار می‌کند. این ساختار دقت بالا می‌دهد، اما معمولاً حافظه محدود یک دستگاه فوق‌کم‌مصرف را از پا درمی‌آورد.

RockNet این محدودیت را با تقسیم مدل ROCKET به قطعاتی که بین چند دستگاه توزیع می‌شود، دور می‌زند. هر میکروکنترلر مسئول محاسبه یک زیرمجموعه کوچک از ویژگی‌ها و وزن‌ها است. وقتی یک دستگاه ورودی سنسوری تازه‌ای را اندازه‌گیری می‌کند، آن را با دیگران به‌اشتراک می‌گذارد. هر مشارکت‌کننده بخش خود را محلی محاسبه می‌کند و نتایج میانیِ فشرده را بازمی‌فرستد. سپس این نتایج تجمیع می‌شوند تا خروجی نهایی مدل تولید شود.

هماهنگ‌سازی این همکاری نیازمند ارتباط سریع و قابل‌اتکاست؛ اینجاست که Mixer وارد می‌شود. Mixer با ترکیبی از ارسال‌های همگام (Synchronous transmissions) و کدگذاری شبکه (Network coding)، امکان می‌دهد همه دستگاه‌ها همزمان داده پخش و دریافت کنند. این پروتکل تضمین می‌کند هر پیام با قابلیت اتکای نزدیک به کامل به همه گره‌ها برسد و همزمانی زمانی سختگیرانه در سراسر شبکه حفظ شود. چنین طرحی اجازه می‌دهد RockNet از چند دستگاه به ده‌ها دستگاه مقیاس بگیرد بدون آنکه سربار ارتباطی گلوگاه شود.

افزایش سرعت آموزش با بیشتر شدن تعداد دستگاه‌ها در شبکه (: A. Grafe et al.)

در آزمون‌های دنیای واقعی با 20 برد کم‌مصرف nRF52840 — هر کدام تنها با یک ARM Cortex-M4 @ 64 MHz و 256 kB RAM — RockNet رده‌بندهای سری‌زمانی را از صفر آموزش داد و به دقتی بهتر از روش‌های پیشین رسید. با مقیاس از 1 تا 20 دستگاه، مصرف حافظه به‌ازای هر دستگاه تا 93%، تأخیر تا 89% و مصرف انرژی تا 86% کاهش یافت.

از کارخانه‌های هوشمندی که خرابی تجهیزات را آنی تشخیص می‌دهند تا ابزارهای پوشیدنی که مدل‌های سنجش خود را پیوسته پالایش می‌کنند، RockNet می‌تواند سطح تازه‌ای از سازگاری و دقت را برای کوچک‌ترین دستگاه‌های لبه به ارمغان بیاورد.