مهندسی معکوس راه را باز کرد؛ پشتیبانی از NPU تراشه RK3576 در درایور متن‌باز Rocket برای نسخه اصلی لینوکس

به گفته CNX Software – Embedded Systems News

درایور Rocket برای NPU راک‌چیپ RK3576 در Mainline Linux به پیشرفت‌هایی دست یافت

در سال ۲۰۲۴، اشاره کردیم که درایور متن‌باز برای NPU چیپست RK3588 که توسط Tomeu Vizoso توسعه یافته بود، عملکرد مناسبی را در تشخیص اشیاء ارائه داد. از آن زمان تاکنون، پیشرفت‌های خوبی حاصل شده و این پروژه اکنون در لینوکس Mainline با نام درایور Rocket شناخته می‌شود.

با این حال، با وجود شباهت واحد NPU، SoC راک‌چیپ RK3576 هنوز توسط درایور Rocket در نسخه اصلی لینوکس پشتیبانی نمی‌شود. خبر خوب این است که Ga Hing Woo بر روی پشتیبانی از NPU راک‌چیپ RK3576 در لینوکس Mainline با استفاده از استک درایور Rocket کار کرده و به‌روزرسانی‌ها را روی Radxa ROCK 4D در حال اجرای لینوکس 7.1-rc5 آزمایش کرده است. این کار به دلیل وجود ثبات‌های (registers) پنهانی که در دفترچه راهنمای فنی (TRM) مستند نشده بودند، نیازمند مهندسی معکوس جدی بود.

Ga Hing Woo (که با نام Jiaxing Hu نیز شناخته می‌شود) با ارسال ایمیلی برخی از چالش‌ها را توضیح داد:

• اکنون خروجی Single int8 convolution در استک باز (open stack)، در مقایسه با مرجع پردازنده، از نظر بایت کاملاً دقیق (byte-exact) است. رسیدن به این مرحله به معنای مهندسی معکوس ثبات‌های محاسباتی بود که TRM آن‌ها را کاملاً نادیده گرفته است (جستجوی عبارات “CNA”، “CMAC” یا “convolution” در تمام ۴۳۸۱ صفحه، هیچ نتیجه‌ای در بر ندارد).
• لایه‌های زنجیره‌ای (Chained layers) هنوز متوقف می‌شوند و من به جای حدس زدن، زمان زیادی را صرف درک علت آن کردم. بیت ۱۶ اجراکننده CNA/CORE/DPU در وظایف زنجیره‌ای هرگز فعال نمی‌شود، که ریشه آن به وضعیت یک ترتیب‌دهنده (sequencer) در sub-MMIO برمی‌گردد که درایور قادر به دیدن آن نیست. بنابراین، این یک نتیجه منفیِ صریح است، نه اصلاحی که ادعای انجامش را داشته باشم.
• توسعه‌دهنده دیگری به نام MidG971، به‌طور مستقل روی RK3568 و از یک تراشه متفاوت، با همین بن‌بست مواجه شد. همین موضوع واقعاً مرا ترغیب کرد تا به جای مسکوت گذاشتن موضوع، آن را گزارش کنم.

نوشته مورد بحث، یک مقاله تحقیقاتی بسیار فنی با عنوان “راه‌اندازی NPU مدل RK3576 در لینوکس Mainline: مسیر تک‌وظیفه‌ای با دقت بایت و نتیجه منفی مبتنی بر ابطال در محاسبات چندوظیفه‌ای زنجیره‌ای” است. تمامی اعداد در این مقاله اندازه‌گیری شده‌اند و تخمینی نیستند. این متن احتمالاً تنها توسط کسانی درک خواهد شد که پیش از این روی این نوع NPUها کار کرده‌اند.

کد منبع و دستورالعمل‌های مربوط به راه‌اندازی کرنل Mainline برای NPU تراشه RK3576 روی Radxa ROCK 4D در GitHub قابل مشاهده است. او همچنین Runtimeهای RKNPU/RKLLM را برای اجرای مدل‌های زبانی محلی (LLMs) و بینایی ماشین روی یک کرنل Mainline (پروژه Kiln) بسته‌بندی کرده است تا نشان دهد که پچ‌های کرنل با موفقیت درایور سازنده (vendor) را فعال می‌کند، حتی اگر درایور متن‌باز Rocket هنوز برای RK3576 کاملاً آماده نباشد. نتایج روی SBC مدل ROCK 4D به این شرح است: Llama-3.2-1B با سرعت حدود ۱۳ توکن در ثانیه، Qwen2.5-1.5B با سرعت حدود ۹ توکن در ثانیه و MobileNet با سرعت حدود ۱۶۹ فریم در ثانیه.