Para adaptarse al entorno urbano abierto, los cuerpos inteligentes necesitan capturar los movimientos corporales de las personas circundantes y la estructura de la escena en tiempo real. La percepción tradicional significa basadas en sensores y cámaras inerciales, que tienen los problemas de la deriva de datos de mucho tiempo y la sensibilidad a los cambios dinámicos de la luz y el medio ambiente, respectivamente, son difíciles de satisfacer la demanda de movimiento del cuerpo humano y captura de escenas en entornos complejos en la aplicación. Campos de conducción inteligente, robótica de servicio y entrenamiento deportivo.
Desde 2022, el equipo del Prof. Cheng Wang y el Prof. Chenglu Wen ha sido el primero en proponer la tecnología de captura de movimiento humano LiDAR en el Arena Internacional (LiDARCAP, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023). En esta publicación, HISC4D, el equipo atraviesa un método para capturar diversos movimientos de interacción de dos personas y escenas 3D en visión en primera persona en escenas abiertas interiores y exteriores a gran escala. El método construye un marco de optimización articular de varias etapas al fusionar la orientación inercial y los datos LIDAR, que resuelve efectivamente el problema de deriva causado por la guía inercial y mejora significativamente la precisión de la reconstrucción de la escena y extiende el rango de captura espacial, de movimiento humano y de interacción. Al mismo tiempo, se lanza el primer conjunto de datos de interacción multimodal de dos personas, que cubre diferentes tipos de escenas y movimientos humanos diversificados, proporcionando recursos de datos de capacitación para campos de investigación relacionados. La tecnología HISC4D utiliza LIDAR como el sensor central para reconstruir los movimientos humanos y las escenas 3D en El mismo tiempo, que abre una nueva forma de pensar para que la inteligencia encarnada vaya al vasto aire libre e se integre en la multitud.
