معرفی EITWatch؛ ساعت هوشمند متن‌باز ESP32-S3 با تشخیص ژست دست

به گفته CNX Software – Embedded Systems News

تحقق از ژست‌های حرکتی با EITWatch: یک سیستم متن‌باز مبتنی بر ESP32-S3

محققان دانشگاه نورت‌وسترن سیستم EITWatch را معرفی کرده‌اند؛ یک سیستم سنجش ژست حرکتی مبتنی بر متن‌باز ESP32-S3 و تکنولوژی EIT (توموگرافی امپدانس الکتریکی) که در ابعاد یک ساعت هوشمند استاندارد جای می‌گیرد. این دستگاه بر پایه یک برد Seeed Studio XIAO ESP32-S3 و هشت الکترود که در پشت کیس قرار گرفته‌اند، عمل می‌کند تا ژست‌های دست را از طریق تغییرات امپدانس ناشی از حرکت عضلات و تاندون‌ها در زیر پوست شناسایی کند. برخلاف سایر سیستم‌های EIT مچی که از باندهای الکترود محیطی استفاده می‌کنند، EITWatch تمام هشت الکترود را در پشت کیس ساعت هوشمند قرار داده است. بخش سنجش شامل یک حلقه الکترود ۳۱ میلی‌متری است که در یک کیس ساعت استاندارد ۴۰ میلی‌متری جای می‌گیرد، در حالی که یک افزونه ۲۰ میلی‌متری PCB بخش آنالوگ جلویی (AFE) مجزا را حمل می‌کند.

مشخصات سخت‌افزاری EITWatch:

• بی‌سیم برد – XIAO ESP32-S3
• SoC – Espressif ESP32-S3R8
• پردازنده – میکروکنترلر دو هسته‌ای Tensilica LX7 تا ۲۴۰ مگاهرتز با دستورالعمل‌های برداری برای شتاب‌دهی AI
• حافظه – ۵۱۲ کیلوبایت SRAM، ۸ مگابایت PSRAM
• بی‌سیم – اتصال دو حالته وای‌فای 4 و بلوتوث 5.0 (کلاسیک + بلوتوث)
• ذخیره‌سازی – ۸ مگابایت SPI flash
• آنتن‌ها – آنتن خارجی u.FL برای وای‌فای و بلوتوث
• USB – USB نوع C برای منبع تغذیه و برنامه‌نویسی
• سطح سنجش – ۸ الکترود دیسکی از جنس فولاد ضد زنگ با روکش طلا به قطر ۲ میلی‌متر
• چیدمان الکترودها – چیده شده در یک حلقه به قطر ۳۱ میلی‌متر، با فاصله مجاور حدود ۱۱.۹ میلی‌متر
• بخش آنالوگ جلویی (AFE):
  • تحریک – ژنراتور شکل موج AD5930 با خروجی سینوسی ۵۰ کیلوهرتز
  • درایو – درایو ولتاژ به جریان ADA4841 که حدود ۱ میلی‌آمپر پیک‌تا‌پیک را فراهم می‌کند
  • سنجش – تقویت‌کننده ابزاردقیق AD8220 و SPI ADC دوازده بیتی AD7450
  • پتانسیومترهای دیجیتال – آی‌سی‌های AD5270 برای تنظیم جریان درایو و بهره سنجش
  • سوئیچینگ – ۴ سوئیچ ماتریسی ۸ کاناله ADG738 برای مسیریابی تزریق و جفت سنجش
• منبع تغذیه:
  • ۵ ولت از طریق پورت USB Type-C
  • باتری ۳.۷ ولت، ۳۰۰ میلی‌آمپر ساعت با مصرف ۳۵ میلی‌آمپر برای حدود ۸.۶ ساعت عمر باتری
  • رگولاتور ۲.۵ ولت TLV73325PDBV؛ مصرف ۳۵ میلی‌آمپر
• ابعاد – ۶۰ در ۴۰ میلی‌متر (PCB شش لایه)؛ در زیر یک کیس ساعت استاندارد ۴۰ میلی‌متری جای می‌گیرد

از آنجایی که یک آرایه تخت نمی‌تواند به دور مچ بپیچد، EITWatch به جای تزریق مجاور استاندارد، از یک پروتکل اسکن چند عمقی استفاده می‌کند. با ثابت نگه داشتن یک الکترود به عنوان منبع و چرخش چاهک منفی در هفت موقعیت باقی‌مانده، دستگاه CAN اعماق مختلف و مسیرهای جریان زاویه‌ای را اندازه‌گیری کند و ۳۵ اندازه‌گیری امپدانس را در هر فریم با نرخ ۴۸ هرتز انجام دهد.

محققان گزارش می‌دهند که ساعت هوشمند ESP32-S3 یک اپلیکیشن ESP-IDF (نسخه ۵.۲ به بالا) را اجرا می‌کند که داده‌های EIT را از طریق وای‌فای به یک کامپیوتر برای ثبت و طبقه‌بندی ارسال می‌کند و به دقت تشخیص ژست ۹۲.۵٪ برای ژست‌های بزرگ (macro-gestures) و ۹۱.۵٪ برای ژست‌های ظریف (micro-gestures) مانند نیشگون گرفتن و کشیدن (swipe) دست می‌یابد. این مقاله همچنین گزارش می‌دهد که وقتی آزمایش ۴۸ ساعت بعد انجام می‌شود، دقت برای ژست‌های بزرگ به ۷۳.۲٪ و برای ژست‌های ظریف به ۷۰.۴٪ کاهش می‌یابد. دقت با کاربران جدید بیشتر کاهش یافته و به ترتیب به ۶۳.۱٪ و ۵۵.۳٪ می‌رسد.

تیم همچنین یک خط لوله کاملاً روی دستگاه (on-device) را با موفقیت آزمایش کرد که در آن از یک کرنل ESP32-S3 برای جمع‌آوری داده و از کرنل دیگر برای پیش‌پردازش سیگنال و استنتاج ExtraTrees استفاده می‌شود. این تنظیمات روی دستگاه به طور مداوم حدود ۳۵ میلی‌آمپر در ولتاژ ۴.۳ ولت مصرف می‌کند. این معادل تقریباً ۸.۶ ساعت عمر باتری مداوم از یک باتری ایده‌آل ۳۰۰ میلی‌آمپر ساعتی است.

این مطالعه شش ژست بزرگ (عدد شش، تفنگ، اشاره، شست رو به بالا، کشش، مشت) و پنج ژست ظریف (کشیدن به چپ، کشیدن به راست، نیشگون، باز کردن انگشتان، چرخش مچ) را در کنار حالت استراحت مورد آزمایش قرار داد.

پیش از این، ما در مورد پروژه‌های مختلف ساعت هوشمند متن‌باز و دست‌ساز (DIY) از جمله MutantW V1، Sensor Watch Pro و Core 2 Duo گزارش داده بودیم، اما هیچ‌کدام از آن‌ها مانند EITWatch از تشخیص ژست حرکتی پشتیبانی نمی‌کردند.

پروژه EITWatch کاملاً متن‌باز است و تمام فایل‌ها، از جمله فایل‌های طراحی Altium PCB، فایل‌های Gerber و لیست قطعات (BoM)، تحت مجوز CERN-OHL-P-2.0 منتشر شده‌اند، در حالی که فریمور مبتنی بر C برای ESP32-S3 تحت مجوز Apache-2.0 در دسترس است. شما CAN تمام منابع را در مخزن گیت‌هاب پروژه پیدا کنید و برای جزئیات فنی عمیق‌تر، وب‌سایت Xuanyou Liu را بررسی کنید. او همچنین یک دموی زنده در لینکدین منتشر کرده است.