-
VR 정밀포인팅·안무 창작 기술, 세계 최고 CHI 학회 2관왕
가상공간에서는 정확하게 포인팅이 되지 않으면 원하는 대상을 정확히 선택하기 어렵고, 몰입이 깨지는 어색한 경험을 하게 된다. KAIST 연구진이 가상공간에서 생생하게 실제 체험하는 느낌을 주는 기술을 개발했으며 또한 안무가들의 안무 동작을 쉽게 만들고 창작을 돕도록 하는 기술도 개발했다.
우리 대학 문화기술대학원 윤상호 교수 연구팀이 미국 UCLA(University of California, Los Angeles)의 양장(YangZhang) 교수와 공동연구를 진행한 ‘티투아이레이(T2IRay)’ 기술과 가상현실에서 안무가들이 창작 작업을 보다 자유롭고 창의적으로 진행할 수 있도록 돕는 ‘코레오크래프트(ChoreoCraft)’ 기술을 개발했다. 이 기술들은 인간-컴퓨터 상호작용 분야 최우수 국제학술대회인(CHI) 2025*에서 상위 5%에 주어지는 우수 논문상(Honorable Mention)을 동시 2개 수상했다.
*인간-컴퓨터 상호작용 분야 최우수 국제학회(CHI): 4월 25일부터 5월 1일까지 열린 세계 컴퓨터 연합회(ACM) 주최 인간-컴퓨터 상호작용 학술대회(Conference on Human Factors in Computing Systems, CHI 2025)
티투아이레이(T2IRay)는 기존의 단편적인 엄지와 검지(Thumb to Index) 제스처를 확장하여, 가상공간 안의 물체를 자유롭고 정밀하게 조작이 가능하게 하는 새로운 입력 방식을 제안한다.
기존에는 손의 위치나 방향이 달라져도 입력이 끊기거나 정확도가 떨어지는 문제가 있었으나, 티투아이레이에서는 손의 위치나 방향과 관계없이 정밀한 포인팅이 가능하도록 하여 사용자가 훨씬 자연스럽고 끊김없이 조작할 수 있도록 했다.
특히, 손가락 관계성을 바탕으로 로컬 좌표계를 활용하여 손 위치 및 방향에 관계없이 연속적인 입력이 가능하도록 하였다. 엄지의 섬세한 움직임을 좌표계 안에서 매핑하여 정밀하게 인식하고, 고개를 움직이는 자연스러운 동작까지 입력에 반영하여 넓은 범위에서도 자유로운 조작이 가능하다.
윤상호 교수는 “티투아이레이는 손이 고정되지 않은 다양한 상황에서도 부드럽고 안정적인 조작을 가능하게 함으로써 증강·가상현실(AR/VR)에서도 사용자 경험을 획기적으로 향상시킬 수 있다”라고 설명했다.
KAIST 김진아 박사과정이 제 1저자인 이번 연구는 과학기술정보통신부 한국연구재단이 주관하는 우수신진연구지원사업과 정보통신기획평가원(IITP)에서 지원하는 대학ICT연구센터(ITRC) 육성지원사업의 지원을 받았다.
▴ 논문명 : T2IRay: Design of Thumb-to-Index based Indirect Pointing for Continuous and Robust AR/VR Input
▴ 논문 링크: https://doi.org/10.1145/3706598.3713442
▴ T2IRay: https://youtu.be/ElJlcJbkJPY
또한, 윤상호 교수 연구팀은 가상현실에서 안무가들이 창작 작업을 보다 자유롭고 창의적으로 진행할 수 있도록 돕는 ‘코레오크래프트(ChoreoCraft)' 기술을 개발했다.
전문 안무가 대상의 경험 조사를 통해 창작 과정 내 안무가들이 직면하는 동작을 일일이 기억해야 하거나 아이디어가 막히는 경우, 그리고 명확하지 않은 피드백으로 인한 어려움을 개선하고자 했다.
이 기술은 가상현실(VR) 공간에서 춤 동작을 모션 캡쳐 기반의 아바타와 상호작용을 통해 직접 동작을 저장하고 수정할 수 있도록 하여 기억 의존을 줄였으며 음악 및 이전 동작과의 자연스러운 연결을 고려하여 새로운 안무를 추천해 창작을 도왔다. 또한 균형감, 안정성, 활성도 등 운동학적 요소를 분석하여 수치 기반 안무 피드백을 제공함으로써 창작 과정의 객관성도 높였다.
윤상호 교수는 “코레오크래프트는 안무가들이 직면하는 주요 어려움을 해결하고 창의성과 효율성을 향상시킬 수 있는 도구로 실제 안무가를 대상으로 한 사용자 실험에서도 창의적 아이디어 발굴과 정량적 피드백 제공 측면에서 높은 만족도를 얻었다. ”라 설명하며, “앞으로도 공간 컴퓨팅을 넘어 피지컬 인공지능(Physical AI)과 인간-컴퓨터 상호작용(HCI) 기술을 융합해, 실세계와 가상세계에서 인간의 능력을 확장하는 인간 중심 인터랙션 연구를 이어갈 것”이라고 밝혔다.
정경은 박사과정과 한현영 석사과정 연구원이 공동 제1 저자인 해당 연구는 문화체육관광부에서 시행한 문화예술실감서비스개발사업인 실시간 실가상 융합 기반 공연예술 교육 플랫폼 기술개발의 지원 아래 한국전자통신연구원(ETRI) 및 ㈜원밀리언(대표 김혜랑)과 협업을 통해 진행됐다.
▴ 논문명 : ChoreoCraft: In-situ Crafting of Choreography in Virtual Reality through Creativity Support Tool
▴ 논문 링크: https://doi.org/10.1145/3706598.3714220
▴ Choreocraft: https://youtu.be/Ms1fwiSBjjw
2025.05.13
조회수 482
-
포스트 AI 시대 문학 저작권 보호와 미래형 창작 패러다임 도출에 도전한다
소셜 미디어와 같은 새로운 방송 환경과 생성 AI의 등장으로 현재의 문화 예술 창작 패러다임은 큰 도전을 맞이하고 있다. 특히 인간의 저작물 이용에 따른 정당한 대가 지급은 지속적인 창작 동기를 유지하며 산업 발전을 이끌어낼 수 있는 저작권 체계의 핵심 전제인데, 저작물 이용이 활발한 방송분야에서 창작자들이 공정한 보상을 받을 수 있는 저작물 이용 모니터링과 정확한 정산·분배 시스템의 부재가 큰 문제로 제기되고 있다.
이런 상황을 개선하기 위하여 우리 대학 문화기술대학원의 박주용 교수(복합계 물리학) 연구팀은 “문학예술 저작물의 정산·분배를 위한 방송 모니터링 기술 개발(한국지식재산연구원 주관, 원아이디랩·무하유· 한국문학저작원협회 참여)” 프로젝트를 2023년 7월 1일부로 시작했다고 3일 발표하였다. 이 프로젝트에서는 방송에서 사용되는 문학예술 저작물(시, 소설, 수필 등)의 저작권료를 징수·분배하기 위한 시스템 수립을 위해 이용 콘텐츠는 즉각적으로 탐지하는 기술을 개발한다.
이 프로젝트에서는 국내 방송 및 라디오의 음성을 추출하고 이를 텍스트로 전환(Speech-To-Text, STT)하여 이용된 저작물을 정확하게 탐지한 뒤, 문학 저작물을 상세하게 구분·목록화함으로써 지적 재산권을 보호하고 관리하는 기초 기술을 연구하게 된다. 카이스트 박주용 연구팀은 문학 저작물에 사용되는 한국어와 영어 음성을 인식하는 기술을 개발하고, 다량의 저작물을 연계하여 검색할 수 있는 네트워크를 구축하게 된다. 이를 통해 ‘창작의 미래 기술’이라 불리며 큰 관심을 받고 있지만 지금까지는 인간 저작물을 무단·무분별하게 사용함으로써 비판받고 있는 ‘생성 AI’의 연구에 정당한 대가를 지불한 고품질의 적절한 저작물을 선별해 용도와 분야에 맞게 사용하는 것을 가능하게 할 것으로 기대되고 있다.
우리 대학 포스트 AI 연구소장이기도 한 박 교수는 “본 저작권 탐지 시스템과 이미 활발하게 진행 중인 문학 생성 AI 연구를 연계하여 인간 창의성 보호와 생성 AI의 고도화라는 두 마리 토끼를 잡음으로써 과학과 디지털 인문학이 긴밀하게 융합된 미래형 창작 패러다임을 설계하고 싶다”는 포부를 밝히기도 하였다.
이번 연구는 한국콘텐츠진흥원의 지원을 받아 30개월 동안 수행되며, 총 예산은 30억 원이다.
2023.08.03
조회수 4967