Ước lượng tư thế đầu (head pose estimation) là bài toán dự đoán hướng của đầu so với camera hoặc hệ quy chiếu xác định. Có nhiều hướng xây dựng: sử dụng facial landmarks kết hợp hình học Perspective-n-Point (PnP), huấn luyện mạng dự đoán trực tiếp hoặc học đa nhiệm cùng landmarks. Mỗi phương pháp có đánh đổi khác nhau về dữ liệu, độ chính xác, khả năng giải thích và hiệu năng trên thiết bị.
AttFace Core có đầu ra 106 facial landmarks, một thành phần hữu ích để xây dựng giải pháp head pose theo hình học mà không phải bắt đầu từ một detector landmarks mới. Tuy nhiên, các landmarks 2D không tự trở thành một mô hình đầu 3D hoàn chỉnh.
Hình minh họa các cách tiếp cận, không phải số liệu đánh giá mô hình cụ thể.
Xác định đầu ra trước khi chọn mạng
Trước hết cần xác định ứng dụng cần yaw, pitch, roll, ma trận quay 3D hay một vector hướng trong hệ tọa độ camera. Quy ước góc Euler có thể thay đổi theo thứ tự phép quay và hướng trục; nếu không ghi rõ, các mô hình có thể không so sánh được.
Với bài toán hướng dẫn đăng ký khuôn mặt, một ước lượng góc tương đối ổn định có thể đủ. Với ứng dụng đo lường hoặc dựng hình 3D, cần độ chính xác và hiệu chuẩn camera cao hơn. Đầu ra cũng phải có trạng thái không ước lượng được khi ảnh không đáp ứng điều kiện.
Cách A: Facial landmarks kết hợp Perspective-n-Point
Landmark detector cung cấp tọa độ các điểm 2D trên khuôn mặt, ví dụ khóe mắt, mũi và miệng. Nhóm kỹ thuật chọn các điểm tương ứng trên một mô hình mặt 3D tham chiếu, ước lượng tham số camera và dùng thuật toán solvePnP để tìm phép quay, tịnh tiến giải thích tốt nhất các cặp điểm 3D–2D.
Quy trình có thể biểu diễn: phát hiện mặt → ước lượng landmarks → chọn cặp điểm → solvePnP → chuyển vector quay sang định dạng góc hoặc ma trận theo quy ước đã công bố.
Sơ đồ kỹ thuật khái niệm. Độ chính xác phụ thuộc dữ liệu, camera và lựa chọn mô hình.
Vì sao phương pháp này hấp dẫn?
Không cần một bộ dữ liệu head pose khổng lồ để có baseline đầu tiên nếu đã có landmarks đủ tin cậy. Phương pháp hình học dễ kiểm tra, có thể phân tích lỗi từ điểm 2D, tham số camera hoặc mô hình mặt 3D. Nó cũng tận dụng trực tiếp năng lực landmarks trong pipeline Face AI.
Khó khăn thường gặp
Các điểm 2D có thể bị sai khi khuôn mặt quay mạnh, bị che hoặc ảnh mờ. Mô hình mặt 3D tham chiếu có thể không phản ánh đầy đủ hình dạng của mỗi người. Thông số nội tại của camera không chính xác cũng gây lệch kết quả. Cần chọn hệ tọa độ nhất quán và kiểm tra khả năng xử lý các trường hợp mất một số landmarks.
Cách B: Hồi quy pose trực tiếp từ ảnh
Mạng CNN hoặc kiến trúc học sâu khác có thể nhận ảnh mặt và trực tiếp dự đoán góc Euler, biểu diễn vector quay hoặc biểu diễn rotation liên tục. Ưu điểm là có khả năng học từ nhiều biến đổi ngoại hình, không nhất thiết phụ thuộc cặp điểm hình học được chọn thủ công.
Nhược điểm là cần dữ liệu nhãn pose đáng tin cậy, độ bao phủ rộng về góc quay, thiết bị và người dùng. Mô hình có thể học thiên lệch từ dữ liệu huấn luyện và khó giải thích hơn khi sai. Biểu diễn góc cũng cần xử lý tránh vấn đề gián đoạn hoặc nhập nhằng của Euler angles.
Cách C: Học đồng thời landmarks và pose
Một backbone chung có thể dự đoán cả landmarks lẫn hướng đầu thông qua các nhánh đầu ra riêng. Cách này tận dụng thông tin hình học và có thể tối ưu suy luận trên thiết bị, nhưng việc cân bằng loss và điều phối dữ liệu nhãn đa nhiệm không đơn giản.
Nếu một nhiệm vụ chiếm ưu thế, hiệu năng nhiệm vụ còn lại có thể giảm. Cần benchmark riêng chất lượng landmarks, pose và chi phí runtime sau khi huấn luyện.
| Phương pháp | Điểm mạnh | Yêu cầu chính | Rủi ro |
|---|---|---|---|
| Landmarks + PnP | Dễ giải thích, tận dụng detector sẵn có | Landmarks 2D, điểm 3D tương ứng, camera | Che khuất, sai camera, mô hình mặt tham chiếu |
| Hồi quy end-to-end | Học đặc trưng trực tiếp | Dữ liệu pose đa dạng, nhãn tin cậy | Domain shift, sai quy ước góc, hiệu năng thiết bị |
| Đa nhiệm | Chia sẻ đặc trưng, tiềm năng tiết kiệm | Nhãn phối hợp và thiết kế loss | Nhiễu giữa nhiệm vụ, khó debug |
Quy trình đánh giá đáng tin cậy
Không chỉ chọn ảnh nhìn thẳng đẹp để demo. Bộ kiểm thử cần có yaw/pitch lớn, roll, kính, che khuất, ánh sáng ngược, khuôn mặt độ phân giải thấp, thay đổi camera và người chưa xuất hiện trong tập huấn luyện. Dữ liệu train/validation/test cần tách người và phiên chụp hợp lý.
Báo cáo sai số góc trung bình, phân bố lỗi, tỷ lệ không ước lượng được và tốc độ trên thiết bị đích. Với hệ quay đầy đủ, có thể sử dụng sai số geodesic phù hợp. Riêng PnP cần kiểm tra độ nhạy với camera intrinsics và sai số landmarks; riêng mô hình học sâu cần kiểm tra thay đổi môi trường và thiết bị.
Với ứng dụng video, còn phải đo độ rung góc theo thời gian và độ trễ. Làm mượt có thể cải thiện giao diện nhưng gây chậm phản hồi; không nên che giấu lỗi bằng bộ lọc video.
Tận dụng 106 facial landmarks của AttFace Core
Bộ landmarks chi tiết của AttFace có thể hỗ trợ xây baseline PnP, hướng dẫn chụp nhiều góc, đánh giá chất lượng ảnh và căn chỉnh. Nhưng cần chọn các điểm có ý nghĩa 3D ổn định, định nghĩa thứ tự điểm, hệ tọa độ và độ tin cậy trước khi giải toán. Không nên suy ra độ chính xác head pose chỉ từ số lượng điểm landmarks.
Một lộ trình hợp lý là kiểm chứng baseline hình học trước, sau đó so với mô hình end-to-end nếu dữ liệu chứng minh lợi ích về sai số hoặc hiệu năng.
Lộ trình triển khai thực tế
Bắt đầu bằng một camera và tập thử đã có nhãn pose; thống nhất quy ước góc, dựng baseline solvePnP, xây công cụ đo sai số, ghi nhận các trường hợp thất bại rồi mới huấn luyện mô hình trực tiếp hoặc đa nhiệm. Cuối cùng tối ưu Android, iOS hoặc edge theo mục tiêu sản phẩm và công bố rõ khi ước lượng không đáng tin.
Muốn xây head pose trên pipeline nhận diện có sẵn? Khám phá AttFace Core và trao đổi với AIPractix về SDK hoặc tích hợp AI tùy chỉnh.
