سیستم‌های امبدد

بینایی رایانه‌ای و تشخیص حالت بدن؛ از تصویر تا تصمیم

دیدنِ مچ بالاتر از شانه به معنی درست‌بودن یک حرکت نیست. با یک مثال عددی، مسیر تبدیل تصویر به نقاط بدن و تصمیم برنامه را دنبال می‌کنیم.

فهرست مطالب

بینایی رایانه‌ای یعنی برنامه از تصویر، اطلاعاتی مثل محل یک جسم یا وضعیت بدن استخراج کند. در تشخیص حالت بدن، محل‌هایی مانند شانه و مچ برآورد می‌شوند؛ بعد برنامه با یک قاعده یا مدل دیگر تصمیم می‌گیرد چه حالتی دیده شده است. برای مثال، «مچ در تصویر بالاتر از شانه است» یک نتیجهٔ مشخص است. از همین نتیجه نمی‌توان فهمید حرکت ورزشی درست، بی‌خطر یا مناسب آن فرد است.

فرض کنید می‌خواهیم با بالا رفتن مچِ یک نفر، نشانگری روی صفحه روشن شود. برای فهم این مسئله لازم نیست دوربین بخرید: اول مسیر تبدیل عکس به تصمیم را می‌شناسیم، بعد با چند مختصات فرضی، قاعدهٔ تصمیم را حساب می‌کنیم.

دروازه‌بانی با دستکش و یک دست بالا؛ مچ او در تصویر بالاتر از شانه قرار دارد
بالا بودن مچ یک ویژگی قابل تعریف در تصویر است؛ این عکس به‌تنهایی معیار ارزیابی تکنیک ورزشی نیست. عکس: © Jethrude Hipolito / Jethrude.com، Wikimedia Commons، CC BY-SA 4.0؛ تبدیل قالب به WebP.

دوربین چه چیزی به برنامه می‌دهد؟

دوربین، نورِ صحنه را به دادهٔ تصویری تبدیل می‌کند. تصویر دیجیتال را می‌توان شبکه‌ای از خانه‌های کوچک به نام پیکسل تصور کرد. در یک تصویر رنگیِ معمول، برای هر خانه عددهایی مربوط به رنگ قرمز، سبز و آبی داریم. ویدئو هم از تصویرهای پیاپی تشکیل می‌شود؛ هر تصویر را یک فریم می‌نامیم. خودِ این عددها برچسب «شانه» یا «مچ» ندارند.

برای پیدا کردن بخش‌های بدن، می‌توان از یک مدل آموزش‌دیده استفاده کرد: روشی محاسباتی که از نمونه‌های آموزشی، الگوهایی یاد گرفته است. هنگام استفاده، تصویر تازه به مدل داده می‌شود و مدل محل احتمالی چند نقطه را برمی‌گرداند. این مرحله را اجرای مدل یا استنتاج می‌نامند؛ با آموزش دوبارهٔ مدل فرق دارد. معرفی CS231n دانشگاه استنفورد مسیر تبدیل عددهای تصویر به یک پیش‌بینی را توضیح می‌دهد.

چهار مرحله از تصویر دوربین به مدل نقاط بدن، مختصات همراه اعتبار، و قاعدهٔ تصمیم برنامه
مدل محل نقطه‌ها را پیشنهاد می‌کند؛ معنیِ آن‌ها برای کاربرد، در مرحلهٔ تصمیم تعیین می‌شود. نمودار: LCENJ، CC BY 4.0.

تشخیص حالت بدن چه خروجی‌ای دارد؟

نقطهٔ شاخص یا landmark، برآورد جای مشخصی از بدن در تصویر است؛ مثلاً مچِ سمت چپِ بدن فرد. با وصل کردن چند نقطه، نمایی شبیه اسکلت روی تصویر دیده می‌شود. این شکل، عکس استخوان‌ها یا اندازه‌گیری مستقیم مفصل نیست. یک نقطهٔ پنهان هم ممکن است توسط مدل تخمین زده شود و اشتباه باشد.

قرارداد نقطه‌ها به مدل بستگی دارد. مدل مستند MediaPipe Pose Landmarker ۳۳ نقطه برآورد می‌کند؛ معرفی Pose Estimation در App Lab 0.11 از اسکلت ۱۷ نقطه‌ای می‌گوید. شمارهٔ مچ یا آرنج را بدون خواندن مستندات، از یک مدل به مدل دیگر منتقل نکنید. در مثال ما، S نام شانه و W نام مچ است و شمارهٔ مخصوص هیچ مدل خاصی نیست.

برای مقایسه، PIR به تغییر تابش گرمایی در محدوده‌اش واکنش نشان می‌دهد و جای مچ و آرنج نمی‌دهد. «حرکت دیده شد» و «حالت بدن برآورد شد» دو خروجی متفاوت‌اند.

مثال عددی: آیا مچ بالاتر از شانه است؟

یک تصویر فرضی با عرض ۶۴۰ و ارتفاع ۴۸۰ پیکسل در نظر بگیرید. مبدأ مختصات را گوشهٔ بالای چپ می‌گذاریم؛ x به سمت راست و y به سمت پایین بیشتر می‌شود. پس نقطه‌ای که y کوچک‌تری دارد، در تصویر بالاتر است. همهٔ مختصات این مثال ساختگی‌اند و از عکس بالا استخراج نشده‌اند.

نقطهٔ فرضیx بر حسب پیکسلy بر حسب پیکسلy تقسیم بر ارتفاع تصویر
شانه S۳۲۰۲۱۰210 / 480 = 0.4375
مچ W۳۶۰۱۳۰130 / 480 ≈ 0.2708

تقسیم مختصات بر عرض یا ارتفاع متناظر، عددی بدون واحد می‌دهد که «مختصات نرمال‌شده» می‌نامیم. این کار مقایسه را از تعداد پیکسل مستقل‌تر می‌کند؛ اما تغییر زاویهٔ دوربین یا فاصلهٔ شخص را جبران نمی‌کند. تعریف خروجی‌های نرمال‌شده در راهنمای MediaPipe آمده است.

vertical_gap = (210 - 130) / 480
             = 80 / 480
             ≈ 0.1667

teaching_rule: vertical_gap > 0.10

در این مثال، مچ به اندازهٔ حدود ۱۶٫۷ درصد ارتفاع تصویر بالاتر از شانه است؛ شرط فرضیِ بیش از ۱۰ درصد برقرار می‌شود. فاصلهٔ ۱۰ درصدی برای این مثال انتخاب شده تا دو نقطهٔ خیلی نزدیک به هم، فوراً «بالا» نامیده نشوند. این عدد استاندارد پزشکی یا تنظیم بهینهٔ همهٔ دوربین‌ها نیست.

مختصات فرضی شانه با y برابر ۲۱۰ و مچ با y برابر ۱۳۰؛ فاصله عمودی ۸۰ پیکسل در تصویری با ارتفاع ۴۸۰
چون y رو به پایین افزایش می‌یابد، در این محاسبه y مچ از y شانه کم می‌شود. مختصات فرضی و نمودار: LCENJ، CC BY 4.0.

ندیدنِ مچ را «دست پایین است» حساب نکنید

ممکن است مچ پشت سر، خارج تصویر یا پوشیده باشد. برای تصمیم، فقط مختصات کافی نیست؛ کیفیت مشاهدهٔ نقطه‌ها را هم بررسی کنید. بعضی مدل‌ها، از جمله خروجی مستند MediaPipe، امتیازی دربارهٔ دیده‌شدن نقطه دارند. چنین امتیازی را بدون ارزیابی، درصد درستیِ تصمیم ندانید.

در تمرین ما، هر دو نقطه باید داخل تصویر و دارای امتیاز فرضیِ حداقل ۰٫۷ باشند. اگر یکی از آن‌ها نامعتبر است، خروجی «نامعلوم» می‌شود؛ اگر معتبرند ولی فاصله از آستانه نگذرد، خروجی «شرط فاصله برقرار نیست» است. این نتیجه می‌تواند شامل مچی باشد که کمی بالاتر از شانه است، اما فاصلهٔ کافی ندارد. آستانهٔ اعتبار هم انتخاب آموزشی است و روی دادهٔ واقعی تنظیم نشده است.

چرا نشانگر ما برای چند مشاهده منتظر می‌ماند؟

پیش‌بینی مچ ممکن است میان چند تصویر کمی جابه‌جا شود. برای نشانگر مثال، شرط را باید دست‌کم ۲۰۰ میلی‌ثانیه، با نمونه‌های معتبر و نزدیک به هم ببینیم. میلی‌ثانیه یک‌هزارم ثانیه است. در نرخ فرضی ۱۰ فریم در ثانیه، نمونه‌های زمان‌های ۱۰۰۰، ۱۱۰۰ و ۱۲۰۰ میلی‌ثانیه، بازهٔ ۲۰۰ میلی‌ثانیه را پوشش می‌دهند؛ سه نمونه به معنی ۳۰۰ میلی‌ثانیه سپری‌شده نیست.

این نگه‌داری، حدود ۲۰۰ میلی‌ثانیه تأخیرِ تصمیم اضافه می‌کند. در تمرین، فاصلهٔ بیش از ۱۵۰ میلی‌ثانیه میان دو نمونه، شمارش زمان را از نو آغاز می‌کند. اگر تصویر تازه‌ای نمی‌رسد، برنامهٔ واقعی باید اعتبار نتیجهٔ قبلی را منقضی کند؛ سکوت دوربین نشانهٔ ثابت‌ماندن بدن نیست.

«مچ بالاتر است» با «حرکت درست است» چه تفاوتی دارد؟

قاعدهٔ ما فقط رابطهٔ دو نقطه در یک تصویر را می‌سنجد. فرد ممکن است آرنج را خم کرده، به دوربین نزدیک‌تر شده یا بدنش را چرخانده باشد. ارزیابی یک حرکت ورزشی به تعریف روشن حرکت و معیارهای مناسب همان کاربرد نیاز دارد؛ دانستن دو مختصات کافی نیست.

حتی خروجی سه‌بعدیِ یک مدل، برآورد مدل است و به‌تنهایی اندازه‌گیری معتبر زاویهٔ واقعی یا تأیید ایمنی حرکت محسوب نمی‌شود. قاعدهٔ این مقاله برای نشانگر آموزشی است؛ از آن برای توصیهٔ درمانی، نمره‌دادن به ورزشکار یا تصمیم حفاظتی استفاده نکنید.

چه چیزهایی را در یک نمونهٔ واقعی بررسی کنیم؟

شرایطخطای ممکنبررسی مفید
نور کم یا نور شدید از پشتبرآورد ناپایدار نقطه‌هانتیجه را با نور و پس‌زمینهٔ مورد انتظار مقایسه کنید.
پوشیده‌شدن مچ یا خروج آن از قابنقطهٔ حدسی به‌جای مشاهدهٔ معتبرحالت نامعلوم را آزمایش کنید؛ آن را پایین‌بودن دست ننامید.
چرخش بدن یا کج‌شدن دوربینرابطهٔ دوبعدی متفاوت برای یک حرکت مشابهزاویهٔ نصب و دامنهٔ حرکت قابل قبول را مشخص کنید.
چند نفر یا جابه‌جایی افراداتصال شانهٔ یک نفر به مچ دیگری یا تعویض شناسهنقطه‌ها را از یک بدن و یک زمان بگیرید؛ گم‌شدن دنبال‌کردن فرد را مدیریت کنید.
کندی پردازش و فریم قدیمیتصمیم دربارهٔ گذشتهزمان ثبت تصویر و سن نتیجه را کنترل کنید؛ فقط نرخ تبلیغ‌شدهٔ مدل را معیار نگیرید.

برای ارزیابی، نمونه‌هایی از عبور فاصله از آستانه، برقرار نبودن شرط و حالت نامعلوم را جدا از نمونه‌های تنظیم آستانه کنار بگذارید. فرضاً در ۲۰ نمونهٔ معلوم، برنامه ۲ بار بی‌دلیل نشانگر را روشن کند و ۳ موردِ مطلوب را نبیند؛ هر دو نوع خطا را بنویسید. گزارش «۱۵ مورد از ۲۰ مورد درست بود» به‌تنهایی نمی‌گوید چه خطایی رخ داده یا این آزمون کوچک در محیط تازه چه ارزشی دارد. این عددها مثال‌اند و نتیجهٔ آزمایش دوربین نیستند.

حریم خصوصی از انتخاب ورودی شروع می‌شود

برای تمرین، مختصات ساختگی یا تصویرِ دارای مجوز و رضایت مناسب انتخاب کنید. در نصب دوربین، افراد باید از تصویربرداری و کاربرد آن آگاه باشند؛ ناحیهٔ دید، مدت نگه‌داری و دسترسی به داده را محدود کنید. ذخیرهٔ اسکلت هم همیشه بی‌نام نیست: زمان، مکان یا اتصال آن به حساب کاربری می‌تواند اطلاعاتی دربارهٔ شخص بدهد.

اجرای مدل روی خود دستگاه می‌تواند نیاز به فرستادن تصویر به سرور، یعنی رایانهٔ دیگری که داده را دریافت می‌کند، کم کند؛ ولی به معنی نبود ذخیره‌سازی یا ارتباط شبکه‌ای در کل برنامه نیست. مسیر داده و تنظیم‌های همان نرم‌افزار را بررسی کنید.

تمرین اختیاری؛ تصمیم روی مختصات ساختگی

اگر اجرای Python را می‌شناسید، فایل تمرین را با Python 3.10 یا جدیدتر اجرا کنید. کتابخانهٔ اضافه نمی‌خواهد و به دوربین، شبکه یا مدل تشخیص بدن وصل نمی‌شود. ابتدا اعتبار نقطه‌ها و فاصلهٔ عمودی را می‌سنجد، سپس شرط زمان را بررسی می‌کند.

python pose_rule.py

PASS synthetic_above
...
15 synthetic checks passed; no camera or pose model was run.

۱۵ بررسی نرم‌افزاری باید قبول شوند؛ از جمله مچ پایین، نقطهٔ گم‌شده، اعتبار کم، مختصات نامعتبر، مکث زمانی و زمان تکراری. این نتیجه فقط رفتار قاعده روی ورودی‌های مشخص را تأیید می‌کند، نه دقت یک مدل یا دوربین. فایل صرفاً ورود نمونهٔ تازه را بررسی می‌کند؛ منقضی‌کردن نتیجه هنگام قطع ورودی، وظیفهٔ برنامهٔ واقعی است.

برای ادامه، مسیر سیستم‌های امبدد کمک می‌کند پردازش، زمان‌بندی و آزمون را در طراحی یک دستگاه کنار هم بگذارید. نخستین هدفِ قابل سنجش همین باشد: نشانگر چه زمانی روشن، خاموش یا نامعلوم شود؟

منابع

پرسش و پاسخ مقاله

سوال فنی خود را مطرح کنید

پرسش‌ها و پاسخ‌ها پس از بررسی مدیر منتشر می‌شوند. نویسنده، پیش‌نویس در انتظار بررسی را می‌بیند.

هنوز پرسش تاییدشده‌ای برای این مقاله ثبت نشده است.