Grab‑n‑Go؛ دستبند هوشمند تشخیص حرکات دست با امواج صوتی

به گفته hackster

Grab-n-Go چیست و چگونه کار می‌کند؟

تیمی از پژوهشگران دستگاهی با نام Grab-n-Go ساخته‌اند که طیفی وسیع از میکروجست‌های دست را، حتی وقتی یک شیء در دست است، تشخیص می‌دهد. این دستبند فشرده با حسگر آکوستیکی فعال (active acoustic sensing) «نقشه» دقیقی از وضعیت دست می‌سازد؛ حتی اگر شیئی مانند فنجان بین حسگر و انگشت‌ها قرار داشته باشد.

تشخیص ژست برای دست‌های مشغول

Grab-n-Go یک دستبند مچی است که با اتکا به حسگر آکوستیکی، ریزحرکات دست را حتی وقتی دستان کاربر پر است، تشخیص می‌دهد.

چرا ریزحرکات دست مهم‌اند؟

ریزحرکات دست (microgestures) گزینه ای مناسب برای تعامل‌های کوتاه با ابزارهای قابل‌حمل و عینک‌های واقعیت افزوده هستند. اینکه کدام پلتفرم در نهایت انتخاب شود هنوز روشن نیست: شاید Meta Neural Band مسیر را باز کند، یا ممکن است یک حلقه هوشمند جمع‌وجور برای مصرف‌کننده پذیرفتنی‌تر باشد. هر مسیری که رقم بخورد، «طبیعی و همیشه‌دسترس بودن» این شیوه تعامل، جایگزین خوشایندی برای نمایشگرهای لمسی و تشخیص گفتار خواهد بود.

چالش وقتی که دست‌ها پر است

به‌گفته گروهی از مهندسان Cornell University، مسیر پذیرش مصرفی سامانه‌های تشخیص ژست دست صاف و ساده نیست؛ چون اغلب راهکارهای موجود، به دستان خالی نیاز دارند. اما در رفت‌وآمد روزانه، چندبار پیش می‌آید که یک فنجان، گوشی یا کیف در دست دارید؟ با راهکارهای متداول، ژست‌ها در چنین شرایطی به‌صورت قابل‌اعتماد تشخیص داده نمی‌شوند.

چالش وقتی که دست‌ها پر است

حسگرآکوستیکی فعال

به‌جای تکیه بر دوربین یا سنسورهای EMG (الکترومایوگرافی)، سامانه از دو بلندگوی بسیار کوچک و دو میکروفون امبدد در یک دستبند استفاده می‌کند. بلندگوها امواج صوتی نامفهوم در بازه 18 تا 24.5 کیلوهرتز منتشر می‌کنند؛ این امواج از دست کاربر و شیء در دست بازتاب می‌شوند و میکروفون‌ها بازتاب‌ها را دریافت می‌کنند. با تحلیل این بازتاب‌های آکوستیکی، سامانه می‌تواند شکل دست، نوع گرفتن (grasp pose) و هندسه شیء را استنباط کند.

جریان داده و پردازش سیگنال

• انتشار امواج آلتراسونیک نامفهوم توسط دو بلندگو در بازه‌های فرکانسی مجزا.
• برخورد موج با انگشت‌ها، کف دست و سطح/مواد شیء و بازتاب چندمسیره.
• دریافت بازتاب‌ها با دو میکروفون و جداسازی مولفه‌ها با فیلتر میان‌گذر (band‑pass filter).
• ترکیب سیگنال‌ها در چهار مسیر انتشار متمایز بین هر جفت بلندگو–میکروفون.
• تحلیل الگوهای بازتابی توسط چارچوب یادگیری عمیق و برچسب‌گذاری میکروجست.

بازتاب‌ها پیچیده‌اند و به وضعیت انگشت‌ها، جنس و ماده شیء و حتی حرکت دست وابسته‌اند؛ اما مدل یادگیری عمیق برای تمایز این الگوها آموزش دیده است.

مجموعه ژست‌ها و مدل یادگیری عمیق

Grab-n-Go تعداد 30 میکروجست متمایز را تشخیص می‌دهد که در پنج حالت گرفتن کلاسیک (براساس طبقه‌بندی Schlesinger) گروه‌بندی شده‌اند؛ برای هر حالت گرفتن، 6 ژست تعریف شده است. حالت‌های گرفتن:

• استوانه‌ای (cylindrical)
• کروی (spherical)
• کفی/کف‌دستی (palmar)
• سرانگشتی (tip)
• قلاب‌گونه (hook)

مجموعه ژست‌ها و مدل یادگیری عمیق

طراحی سخت‌افزار و یکپارچه‌سازی

سخت‌افزار بسیار جمع‌وجور است. در یک دستبند سیلیکونی انعطاف‌پذیر، جفت‌های بلندگو–میکروفون روی بردهای مدار چاپی سفارشی (PCB) قرار دارند. هر جفت داخل یک محفظه چاپ سه‌بعدی (3D‑printed) نصب شده که روی بند می‌لغزد تا با اندازه‌های مختلف مچ سازگار شود. یک میکروکنترلر، کل سامانه را راه‌اندازی می‌کند و انرژی از یک باتری کوچک LiPo تامین می‌شود. یک تقویت‌کننده روی‌بردی سیگنال آکوستیک را تقویت می‌کند و داده‌ها یا روی کارت microSD ذخیره می‌شوند یا از طریق Bluetooth Low Energy به گوشی هوشمند منتقل می‌شوند تا پردازش انجام گیرد.

طراحی سیگنال: تفکیک مسیرها و نقشه آکوستیک

دو بلندگو در بازه‌های فرکانسی اندکی متفاوت کار می‌کنند: یکی در 18–21 kHz و دیگری در 21.5–24.5 kHz. این تفکیک فرکانسی به میکروفون‌ها اجازه می‌دهد بازتاب هر بلندگو را با فیلترهای میان‌گذر جدا کنند. با ترکیب سیگنال‌ها در چهار مسیر منحصربه‌فرد رفت‌وبرگشت بین بلندگوها و میکروفون‌ها، دستبند یک «نقشه آکوستیک» غنی از دست و شیء در دست می‌سازد که اطلاعات هندسی را در خود دارد.

آزمایش‌ها و نتایج

در آزمون‌های، سامانه عملکرد خوبی نشان داد. روی 10 شرکت‌کننده و 25 شیء روزمره، Grab-n-Go به دقت میانگین 92% دست یافت. در آزمون دوم با 10 شیء تغییرشکل‌پذیر (مانند ظروف نرم و مواد انعطاف‌پذیر)، دقت تقریباً در همان سطح باقی ماند که نشان‌دهنده پایداری رویکرد است.

این نتایج نشان می‌دهد حسگر آکوستیکی فعال، حتی با موانع فیزیکی در دست و تغییرات ماده/شکل شیء، سیگنال‌های کافی برای تشخیص میکروجست‌ها فراهم می‌کند و مدل یادگیری عمیق می‌تواند الگوهای بازتابی را پایدارانه تفکیک کند.

افق پیش‌رو

Grab-n-Go یک گره قدیمی در تشخیص ریزحرکت های دست را باز می‌کند: کارکرد قابل‌اتکا وقتی دست‌ها مشغول‌اند. بااین‌حال، آینده این واسط‌ها هنوز باز است و میدان برای نوآوری‌های بیشتر از ظاهر گرفته تا الگوریتم و یکپارچه‌سازی با محصولات مصرفی گسترده باقی می‌ماند.