اجرای محلی کامپایلر چندزبانه Gemma روی رزبری پای ۵ با استفاده از محیط اجرایی LiteRT

به گفته CNX Software – Embedded Systems News

کامپایلر Gemma: یک پروژه متن‌باز برای Raspberry Pi 5

پروژه Gemma Translator یک مفسر چندزبانه متن‌باز برای Raspberry Pi 5 است که به صورت محلی و بدون نیاز به دسترسی به فضای ابری (Cloud)، با استفاده از مدل Google Gemma 4 و ران‌تایم LiteRT کار می‌کند.

این پروژه توسط سه مهندس گوگل و با همکاری تیم Google Antigravity توسعه یافته است. این سیستم شامل کدهایی برای اجرای یک کامپایلر/مفسر صوتی کاملاً آفلاین روی دستگاه است که از مدل Gemma 4 E2B (با ۲.۳ میلیارد پارامتر موثر و حدود ۵.۱ میلیارد پارامتر کل به همراه Embeddingهای لایه‌ای) و ران‌تایم LiteRT بهره می‌برد.

سخت‌افزار این پروژه از چند بخش تشکیل شده است:

• یک Raspberry Pi 5 با ۸ گیگابایت رم
• نمایشگر – مانیتور HDMI یا نمایشگر لمسی مانند نمایشگرهای کیوسک ۴۸۰×۳۲۰
• صدا:
  • میکروفون یا رابط ضبط صدای USB
  • اسپیکر یا خروجی هدفون
• کیبورد – پروژه‌ای که در ادامه نشان داده شده، ظاهراً از یک PCB سفارشی (AX-4LABS-NEW) مجهز به یک روتاری انکودر و چهار کلید مکانیکی استفاده می‌کند (که تنها از دو کلید آن استفاده شده است)
• قطعات پرینت شده ۳ بعدی اختیاری برای کیس دستگاه

ویژگی‌های برجسته نرم‌افزاری:

• استنتاج روی دستگاه (On-Device Inference) – استفاده از LiteRT-LM (لایه ارکستراسیون ساخته شده بر روی LiteRT) برای اجرای مدل gemma4-e2b به صورت کاملاً محلی. پس از راه‌اندازی اولیه، نیازی به اینترنت نیست.
• رابط‌های صوتی:
  • صدا را از میکروفون ضبط کرده، پردازش می‌کند و به مدل محلی Gemma 4 E2B می‌فرستد.
  • بخش تبدیل متن به گفتار (TTS) بر پایه موتور Moonshine است؛ یک موتور متن‌باز با تأخیر پایین که برای ایجنت‌های هوش مصنوعی طراحی شده است.
• رابط کاربری (UI) – طراحی شده با استایل ترمینال‌های قدیمی (Retro) به صورت سفارشی برای صفحه‌نمایش‌های کوچک سخت‌افزاری مانند نمایشگرهای لمسی Raspberry Pi، که عمدتاً برای انتخاب دو زبان استفاده می‌شود.
• راه‌اندازی یکپارچه – وجود یک اسکریپت واحد برای اجرای سرور LLM، API پایتون و فرانت‌اند React بر روی Pi 5.

شما می‌توانید کد منبع بخش بک‌اند (Python) و فرانت‌اند (React)، فایل STL برای کیس و دستورالعمل‌های شروع کار را در GitHub پیدا کنید. به نظر نمی‌رسد PCB کیبورد و انکودر متن‌باز شده باشد و من نتوانستم PCB مشابهی را در بازار پیدا کنم، اما شما باید بتوانید از هر کیبورد یا کی‌پد دیگری استفاده کنید.

ویدئوی زیر نگاهی کلی به پروژه و یک دموی زنده از ترجمه همزمان اسپانیایی به ماندارین و بالعکس را ارائه می‌دهد. من تسلط بالایی به زبان‌های اسپانیایی یا ماندارین ندارم، بنابراین CAN امکان ارزیابی دقیق خروجی را ندارم، اما میزان تأخیر به قدری پایین هست که برای استفاده کاربردی مناسب باشد.

علاوه بر خود پروژه Gemma Translator، مهندسان گوگل در حال کار روی بهینه‌سازی عملکرد LiteRT روی پلتفرم Raspberry Pi بوده‌اند و یک مقاله تخصصی درباره وضعیت فعلی در وبلاگ Raspberry Pi و یک مقاله تکمیلی درباره نحوه شروع کار با LiteRT روی Raspberry Pi 5 منتشر کرده‌اند.

در مقایسه با llama.cpp، کتابخانه LiteRT-LM عملکرد بالاتر و مصرف حافظه بسیار کمتری روی Pi 5 هشت گیگابایتی دارد.

Raspberry Pi 5 LiteRT performance with computer vision, segmentation, and audio models