[디지털데일리 김문기기자] ST마이크로일렉트로닉스는 레오파드 이미징과 휴머노이드 및 첨단 로보틱스 시스템을 위한 올인원 멀티모달 비전 모듈을 공동 공개했다고 23일 밝혔다.
ST의 이미징, 3D 장면 매핑, 모션 센싱 기술과 엔비디아 HSB(Holoscan Sensor Bridge) 기술이 결합된 이 모듈은 엔비디아 제트슨(Jetson) 및 NVIDIA 아이작(Isaac) 개방형 로봇 개발 플랫폼과 통합된다. 휴머노이드 로봇의 크기, 무게, 전력 제약 조건 내에서 비전 시스템 설계를 지원한다.
엔비디아 HSB 기반의 새로운 모듈은 이더넷을 통해 엔비디아 제트슨과 통합돼 손오공릴게임예시 센서 데이터를 실시간으로 수집하고 엔비디아 아이작 플랫폼과도 연동된다. 이 모듈은 ▲빌드 시스템 및 응용 프로그램 인터페이스(API) ▲모바일 로봇을 위해 선별된 인공지능(AI) 알고리즘 ▲샘플 애플리케이션 ▲도메인 랜덤화 ▲센서 모델이 포함된 시뮬레이션 환경을 갖췄다.
시스템 비전 모듈은 롤링 셔터 및 글로벌 셔터 모드를 결합한 ST 야마토게임예시 차량용 등급 RGB-IR 5.1메가픽셀 이미지 센서 'VB1940'을 탑재했다. 모션 센싱을 위한 'LSM6DSV16X' 6축 관성측정장치(IMU)도 포함한다. 이 IMU는 엣지 AI를 위한 ST 머신러닝 코어(MLC)와 SFLP(Sensor-Fusion Low-Power), 사용자 인터페이스를 감지하는 Qvar 정전하 감지 기능을 지원한다. 3D 심도 감 손오공게임 지를 위한 dToF 올인원 라이다 모듈 'VL53L9CX'도 탑재됐다. 이 라이다 모듈은 최대 9m까지 거리 측정과 3D 심도 감지 기능을 제공한다.
마르코 안젤리치 ST 아날로그, 전력, MEMS, 센서 부문 마케팅 및 애플리케이션 부사장은 "휴머노이드 로보틱스는 연구 프로젝트나 데모 단계를 넘어 제조 및 자동차 공장, 물류와 웨어하우스 바다이야기#릴게임 , 리테일 및 고객 서비스 등 다양한 분야에서 실질적 역할을 수행하는 머신으로 발전 중"이라며 "레오파드 이미징과의 협력을 통해 ST의 센서와 액추에이터를 엔비디아 로보틱스 에코시스템에 통합함으로써 사람과 유사한 인지 기능의 피지컬 AI 애플리케이션 도입을 가속화하고 있다"고 말했다.
빌 푸 레오파드 이미징 최고경영자(CEO)는 "ST의 야마토게임장 센서 및 액추에이터를 에코시스템 내에서 직접 활용하게 되면서, HSB 인터페이스 전반에 걸쳐 휴머노이드 로봇 비전을 위한 데이터 수집 및 로깅을 표준화하고 간소화할 수 있다"며 "로봇 제작자들은 ST의 멀티 센싱 비전 모듈과 아이작 툴을 활용해 학습 속도를 높이고 시뮬레이션과 실제 전환 간의 격차를 해결할 수 있다"고 전했다.