تحول در Edge AI؛ معرفی برد KSTR-SAMA5D27 مبتنی بر Microchip SAMA5D27 + مشخصات

بلاگ خبری

8 بازدید

۱۴۰۵-۰۲-۰۷

3 دقیقه

نویسنده: 0x7a657573
درباره نویسنده: من اون دیوونه‌ام که وقتی بورد روشن نمی‌شه، ذوق می‌کنم؛ یعنی یه شب تا صبح قراره با منبع تغذیه و لاجیک آنالایزر عشق کنم! آدما قهوه می‌خورن که بیدار بمونن، ولی من بیدار می‌مونم تا بفهمم این بورد چرا باهام قهر کرده! زندگی من یه لوپ بی‌نهایته بین باگ و دیباگ... با چاشنی یه کم امید و یه عالمه دیوونگی!

به گفته CNX Software – Embedded Systems News

فریم‌ورک جدید ESP-Claw با بهره‌گیری از مدل‌های زبانی بزرگ، امکان پیاده‌سازی ایجنت‌های هوش مصنوعی خودمختار و محلی را در تراشه‌های ESP32-S3 فراهم کرده است. این ابزار با ترکیب اسکریپت‌نویسی Lua و حافظه روی تراشه، به توسعه‌دهندگان اجازه می‌دهد سخت‌افزار را از طریق زبان طبیعی و به صورت آفلاین کنترل کنند.

ESP-Claw: فریم‌ورک جدید Espressif برای ساخت ایجنت‌های هوش مصنوعی محلی در ESP32

ما پیش از این شاهد ایجنت‌های هوش مصنوعی مشابهی مانند Mimiclaw و PycoClaw برای بردهای هدف ESP32 (مانند پروژه OpenClaw) بوده‌ایم، اما اکنون شرکت Espressif Systems فریم‌ورک اختصاصی خود یعنی ESP-Claw را برای ساخت ایجنت‌های هوش مصنوعی محلی با قابلیت تعامل مبتنی بر LLM و اجرا روی دستگاه‌های ESP32 منتشر کرده است.

فریم‌ورک ESP-Claw به بردهای ESP32 این امکان را می‌دهد که به رویدادها پاسخ دهند، با تصمیمات مبتنی بر LLM کار کنند، بافت (Context) مفید را حفظ نمایند و اعمال را به‌صورت محلی و بدون نیاز به اتصال به فضای ابری (Cloud) انجام دهند، مگر اینکه واقعاً لازم باشد. این ایجنت می‌تواند سنسورها و وضعیت دستگاه را کنترل کرده و اقدامات واقعی مانند کنترل یک نوار LED RGB را انجام دهد.

برخی از ویژگی‌های برجسته ESP-Claw عبارتند از:

برنامه‌نویسی از طریق چت (Chat coding): رفتار دستگاه را از طریق گفتگوهای طبیعی تعریف کنید. LLM تصمیمات پویا را مدیریت می‌کند و اسکریپت‌های محلی Lua به‌صورت قطعی (Deterministic) اجرا می‌شوند، حتی زمانی که دستگاه آفلاین است.
زمان پاسخگویی سریع: دستگاه‌ها به جای پرس‌وجوی دوره‌ای (Polling)، به رویدادهای بلادرنگ واکنش نشان می‌دهند. یک گذرگاه رویداد (Event bus) محلی، قوانین Lua را برای سنسورها و محرک‌ها هدایت می‌کند و پاسخگویی با تأخیر در مقیاس میلی‌ثانیه را در حالت آنلاین یا آفلاین امکان‌پذیر می‌سازد.
قابلیت Plug and Play با MCP: فریم‌ورک ESP-Claw هم به عنوان سرور و هم به عنوان کلاینت MCP عمل می‌کند و سخت‌افزار را در اختیار ایجنت‌ها قرار داده و در عین حال سرویس‌های خارجی را فراخوانی می‌کند.
حافظه خصوصی روی تراشه: حافظه بلندمدت ساختاریافته روی خود تراشه قرار دارد. ترجیحات و روتین‌ها به‌طور خودکار از گفتگوها استخراج می‌شوند و اطلاعات رویدادها هرگز از دستگاه خارج نمی‌شوند.

دموی اولیه به زبان چینی است و شرکت Espressif ترجمه انگلیسی را روی آن اضافه کرده است.

وب‌سایت این پروژه شامل چندین دمو برای کنترل نوار LED RGB، ساخت بازی باد کردن بادکنک با فوت کردن در میکروفون، عملکرد آنلاین/آفلاین و موارد دیگر است. همچنین یک آموزش کامل برای شروع کار وجود دارد. توجه داشته باشید که ESP-Claw به حداقل 8 مگابایت حافظه Flash و 8 مگابایت PSRAM نیاز دارد و در حال حاضر فقط از ESP32-S3 پشتیبانی می‌کند، اما پشتیبانی از ESP32-P4 به‌زودی اضافه خواهد شد. تنها کاری که باید انجام دهید این است که یک برد سازگار، یک بردبورد (Breadboard) و چند قطعه الکترونیکی تهیه کنید و فریمور را از طریق فلشر تحت وب (Web Flasher) فلش کنید، یا اگر ترجیح می‌دهید، آن را از سورس کد بسازید.

پروژه ESP-Claw از اپلیکیشن‌های پیام‌رسان تلگرام، QQ Bot ،Feishu و WeChat ClawBot و همچنین از ابزار Tavily برای جستجوی وب در صورت نیاز پشتیبانی می‌کند. شما همچنین باید یک LLM را پیکربندی کنید که گزینه‌های فعلی شامل OpenAI ،Qwen ،ChatGPT و گزینه “Custom” برای کاربران پیشرفته است. پس از پیکربندی همه موارد، شما می‌توانید از طریق اپلیکیشن‌های پیام‌رسان خود، برد مدل ESP32-S3 را کنترل کنید.

ویدیوی دموی زیر به‌طور خودکار کد مربوط به افکت رنگین‌کمان را برای یک نوار LED RGB با 40 ال‌ای‌دی که به پین IO 14 متصل شده است، تولید می‌کند. شرکت M5Stack (متعلق به Espressif) نیز ویدیوی دموی اختصاصی خود از ESP-Claw را برای سخت‌افزارهای StickS3 و CoreS3 منتشر کرده است.

اطلاعات