ترکیب بینایی و لمس در رباتیک با سیستم TactileAloha

به گفته hackster

به کارگیری رویکرد عملی در رباتیک با استفاده از TactileAloha، ربات‌ها قادر به ترکیب بینایی با لمس برای دستیابی به دقت انسان گونه می‌شوند.

• معرفی TactileAloha به عنوان یک سیستم کنترل ترکیبی بینایی و لمس توسط دانشگاه توهوکو و دانشگاه هنگ کنگ.
• استفاده از مدل ResNet آموزش‌دیده برای پردازش سیگنال‌های لمسی و ترکیب آن‌ها با داده‌های بینایی و حس شناسایی.
• بهبود عملکرد توسط TactileAloha در فعالیت‌های نیازمند به حس لمس مانند بستن چسب ولکرو و قرار دادن بست‌های zip تا 11%.

چرا حس لمس گمشده مهمی در نسل جدید ربات‌هاست؟

فتح جهان توسط شروران با کمک ارتشی از ربات‌ها، همچنان پیش روی دانشمندان مختلفی قرار دارد. پیشرفت‌های امروزی رباتیک شامل توانایی‌های حیرت‌انگیز تحت شرایط کنترل‌شده مانند پشتک‌زدن و رقص انسان مانند است، اما این تنها بخشی از توانایی‌های مورد انتظار از ربات‌هایی است که ادبیات علمی‌تخیلی از دهه‌ها پیش وعده داده‌اند. دستیابی به نسلی از ربات‌هایی که مانند انسان‌ها توانایی حس کردن و انجام وظایف را داشته باشند، هدف اصلی است.

چگونه TactileAloha بر پایه ALOHA و حسگر لمسی ساخته شد؟

نقطه شروع مناسب برای ساخت رباتی با توانایی‌های حسی مانند انسان، دادن قابلیت‌هایی نزدیک‌تر به حواس پنج‌گانه است. ربات‌ها معمولاً تنها بر بینایی محاسباتی متکی هستند و از اطلاعات غنی حاصل از حس لمس غافل می‌شوند. TactileAloha که بر پایه ALOHA؛ یک سیستم سخت‌افزاری باز و کم‌هزینه برای تله‌اپراسیون دو دستی و یادگیری تقلید ساخته شده توسط دانشگاه استنفورد، فراتر می‌رود و یک حسگر لمسی به گیرنده اضافه می‌کند.

• کاوش در بافت‌ها، تشخیص جهت‌گیری اشیاء، و تنظیم استراتژی‌های دستکاری.
• پردازش سیگنال‌های لمسی با استفاده از مدل ResNet و ترکیب آن‌ها با داده‌های بینایی و حس شناسایی.
• پیش‌بینی اقدامات آینده با استفاده از شبکه‌های مبتنی بر ترنسفورمر و اجرای بهبود یافته با توابع ضرر وزن‌دار.

ترکیب ResNet و شبکه‌های ترنسفورمر برای تصمیم‌گیری دقیق

بهبود ۱۱ درصدی در وظایف ظریف مانند بستن ولکرو و زیپ تای

نتایج آزمایش‌ها بر روی دو وظیفه چالش‌برانگیز؛ بستن چسب ولکرو و قراردادن بست‌های zip نشان داد که TactileAloha نسبت به سامانه‌های دیگری که از ورودی‌های لمسی استفاده می‌کردند، عملکرد بهتری داشته و توانایی تطبیق پذیری عملیات بر اساس اطلاعات حسی به‌دست آمده را بهبود بخشید.

اهمیت افزودن حس لمس به جعبه‌ابزار مهارت‌های رباتیک

اضافه کردن حس لمس به جعبه‌ابزار ربات‌ها گام معناداری در پیش‌برد آنها به سمت مدل‌هایی دقیق‌تر و انسان‌وارتر است. بعد از ترکیب بینایی و لمس، فهم عمیق‌تری از جهان فیزیکی برای ربات‌ها رقم می‌خورد و امکان مدیریت کار‌هایی که برای سیستم‌های مبتنی فقط بر بینایی محاسباتی چالش‌برانگیزند، افزایش می‌یابد.

گام‌های بعدی در مسیر رسیدن به ربات‌های خانه‌دار و صنعتی دقیق‌تر

هرچند هنوز تا دستیابی به ربات‌هایی که بدون نقص لباس تا کنند یا غذا بپزند راه بسیاری باقی است، اضافه شدن حس لمس به آرایه توانایی‌های رباتیک، حرکتی معنادار به سوی تحقق پتانسیل کامل ربات‌ها در زندگی روزمره انسان‌ها است.