دوربین متن‌باز reCamera Pro معرفی شد؛ اجرای بومی مدل‌های زبانی بزرگ و بینایی ماشین در ابعاد کوچک

به گفته CNX Software – Embedded Systems News

محصول reCamera Pro از شرکت Seeed Studio: یک دوربین هوش مصنوعی با قابلیت اجرای LLM و VLM

دوربین reCamera Pro از Seeed Studio یک دوربین هوش مصنوعی است که از یک SoC چهار هسته‌ای Rockchip RV1126B مبتنی بر Cortex-A53 بهره می‌برد. این دستگاه مجهز به یک NPU با توان ۳ تراز عملیات در ثانیه (TOPS) برای بینایی ماشین روی دستگاه (on-device AI vision) است، اما علاوه بر آن، از مدل‌های زبانی بزرگ (LLM)، مدل‌های زبانی بینایی (VLM) و همچنین تبدیل گفتار به متن (STT) و متن به گفتار (TTS) با قابلیت‌های صوتی داخلی پشتیبانی می‌کند.

این محصول یک به‌روزرسانی قدرتمند برای دوربین هوش مصنوعی ماژولار قبلی reCamera محسوب می‌شود که بر پایه یک SoC هوش مصنوعی SG2002 RISC-V ساخته شده بود. مدل جدید دارای مشخصاتی همچون حداکثر ۴ گیگابایت RAM، حافظه فلش ۱۶ گیگابایتی eMMC، سنسور دوربین ۸ مگاپیکسلی با قابلیت پشتیبانی تا رزولوشن 4K در نرخ ۳۰ فریم بر ثانیه، نگهدارنده لنز M12، بلندگوی داخلی ۱ وات، دو میکروفون، گیگابیت اترنت با پشتیبانی از PoE، اتصال دو بانده وای‌فای 5، پورت USB-C برای تامین توان و انتقال داده، و قابلیت گسترش از طریق کانکتورهای GPIO و MIPI DSI است.

مشخصات فنی reCamera Pro:

• SoC – Rockchip RV1126B
• پردازنده – چهار هسته‌ای ARM Cortex-A53 تا فرکانس ۱.۲ گیگاهرتز با ۳۲ کیلوبایت L1 I-Cache و ۳۲ کیلوبایت L1 D-Cache، و حافظه مشترک ۵۱۲ کیلوبایت L2 Cache
• میکروکنترلر – میکروکنترلر از نوع RISC-V به عنوان کمک‌پردازنده (co-پردازنده)
• پردازنده گرافیکی (GPU) – موتور گرافیکی دوبعدی (2D graphics engine)
• واحد پردازش ویدئو (VPU):
  • رمزگشای ویدئو (Video decoder) – H.265/H.264 تا رزولوشن ۳۸۴۰x۲۱۶۰ در ۴۵ فریم بر ثانیه
  • رمزگذار ویدئو (Video encoder) – H.265، H.264، JPEG تا ۱۲ مگابیت بر ثانیه در ۳۰ فریم بر ثانیه
  • رمزگشای JPEG
• شتاب‌دهنده هوش مصنوعی – موتور Rockchip NPU با توان ۳ تراز عملیات (TOPS) در محاسبات INT8؛ پشتیبانی از مدل‌های INT4، INT8، INT16 و FP16؛ سازگار با چارچوب‌های TensorFlow، ONNX، PyTorch و Caffe.
• حافظه سیستم – ۲ گیگابایت یا ۴ گیگابایت LPDDR4 RAM
• ذخیره‌سازی:
  • ۱۶ گیگابایت حافظه eMMC flash
  • شیار کارت حافظه MicroSD
• رابط نمایشگر – کانکتور ۲۲ پین MIPI DSI
• دوربین داخلی:
  • سنسور ۸ مگاپیکسلی SC850SL
  • فرمت اپتیکال – ۱/۱.۸ اینچ، در سطح نور ستاره (starlight-level)
  • اندازه پیکسل – ۲.۰ میکرومتر
  • رزولوشن – تا ۳۸۴۰x۲۱۶۰
  • حداکثر نرخ فریم – ۳۰ فریم بر ثانیه در رزولوشن 4K
  • فرمت خروجی – RAW، MP4، (M)JPG
  • نگهدارنده لنز – M12 x 0.5mm
  • فاصله کانونی – ۲.۷۵ میلی‌متر
  • دریچه دیافراگم – F2.4
  • زاویه دید (FOV) – ۱۲۳°±۵°
  • محدوده فوکوس — ۰.۶ متر تا بی‌نهایت
  • فاصله ابرکانونی (Hyperfocal distance) — ۲.۷ متر
• صدا:
  • بلندگوی داخلی ۸ اهم با توان نامی ۱ وات
  • ۲ عدد میکروفون
• شبکه:
  • پورت گیگابیت اترنت RJ45
  • وای‌فای 5.0 دو بانده ۲.۴/۵ گیگاهرتز و بلوتوث 5.4
• USB – پورت USB 3.0 Type-C
• رابط‌های گسترش – ۲ عدد CAN، ۲ عدد GPIO، ۱ عدد UART
• دیباگ – کانکتور ۴ پین دیباگ UART
• سایر موارد:
  • دکمه کاربر
  • LEDهای وضعیت و توان
  • واحد اندازه‌گیری اینرسی (IMU) شش‌محوره (شتاب‌سنج سه‌محوره + ژیروسکوپ سه‌محوره)
• منبع تغذیه:
  • ۱۲ ولت / ۲ آمپر از طریق جک DC
  • پشتیبانی از PoE
  • ۵ ولت از طریق USB Type-C
  • پشتیبانی از باتری ۷.۴ ولت از طریق کانکتور ۲ پین
• ابعاد – ۸۹.۸ در ۶۷ در ۶.۷ میلی‌متر
• وزن – ۳۲۴ گرم

پورت های reCamera Pro

دوربین Fanless PoE AI

دوربین reCamera Pro می‌تواند از طریق تشخیص اشیاء، رویدادهای صوتی، سیگنال‌های GPIO، درخواست‌های HTTP، دستورات UART و تسک‌های زمان‌بندی شده تحریک (Trigger) شود. همچنین این دستگاه از پروتکل‌های استاندارد شبکه مانند RTSP، ONVIF، MQTT، HTTP و UART برای ادغام آسان با سیستم‌های NVR، PLC و اینترنت اشیاء (IoT) پشتیبانی می‌کند.

مدیریت دوربین از طریق یک رابط وب برای پیش‌نمایش/مشاهده زنده، تنظیمات ضبط و یک صفحه مدیریت استنتاج هوش مصنوعی انجام می‌شود. در این صفحه می‌توان مدل‌ها را مدیریت، آپلود و تبدیل کرد، پارامترهای استنتاج را پیکربندی نمود، وضعیت استنتاج را در بلادرنگ مشاهده کرد و نحوه خروجی نتایج استنتاج را تنظیم نمود. کاربران پیشرفته همچنین می‌توانند از Web APIهای مبتنی بر HTTP برای توسعه برنامه‌های اختصاصی خود استفاده کنند. جزئیات فنی بیشتر درباره نرم‌افزار (و سخت‌افزار) در ویکی محصول قابل مشاهده است.

reCamera Pro Web UI

شرکت Seeed Studio همچنین برخی بنچمارک‌های هوش مصنوعی (بنچمارک) را جهت ارجاع به اشتراک گذاشته است:

• Vision CNN – مدل YOLO11 با نرخ ۴۳ فریم بر ثانیه (در رزولوشن ۶۴۰×۶۴۰)
• LLM – مدل Qwen2 0.5B (W8A8) با سرعت ۱۳.۶۳ توکن بر ثانیه
• VLM – مدل InternVL3-1B با سرعت ۶.۰۸ توکن بر ثانیه
• STT – مدل Whisper Base با پشتیبانی از بلادرنگ (RTF حدود ۰.۴۰–۰.۵۰)
• TTS – مدل MMS-TTS با پشتیبانی از بلادرنگ (RTF حدود ۰.۰۹–۰.۱۸)

دوربین reCamera Pro با سایر دوربین‌های هوش مصنوعی مبتنی بر Rockchip RK1126B مانند Firefly CQ38W-1126B رقابت می‌کند و یکی از مزایای اصلی آن اندازه جمع‌وجور آن است. از برخی جهات، ظاهر آن مرا به یاد CamThink NeoEyes NE301 می‌اندازد، اما آن دستگاه متفاوتی است که بر پایه یک میکروکنترلر STM32N6 ساخته شده و بهره‌وری بسیار بالاتر اما عملکرد بسیار کمتری دارد.