기업·IT

온도·향기·감촉까지 생생하게…차원 다른 '리얼 메타버스'가 온다 [Science]

입력 2021/07/30 17:00
수정 2021/07/31 08:35
뇌에 '시신경 임플란트'
평생 앞못보던 장애인
글자 읽고 게임까지 척척
738805 기사의 0번째 이미지 이미지 크게 보기

가상현실 기기 스타트업인 테슬라스튜디오에서 공개한 전신 햅틱 슈트 `테슬라 슈트`. 전기 자극 장치가 부착돼 실제로는 존재하지 않는 바람, 열, 통증 등을 구현해낸다. [사진 제공 = 테슬라슈트]

"페이스북은 향후 5년간 소셜미디어에서 메타버스 기업으로 전환해 나갈 것이다."

페이스북 창업자이자 최고경영자(CEO)인 마크 저커버그는 최근 메타버스 기업으로의 전환을 선언했다. 페이스북뿐만이 아니다. 제페토, 로블록스 등으로 대표되는 메타버스 서비스는 연일 주목받고 있다. 실제로 글로벌 컨설팅 기업 프라이스워터하우스쿠퍼스(PwC)는 2019년 464억달러(약 53조원)에 불과했던 글로벌 메타버스 관련 시장 규모가 2030년 1조5429억달러(약 1781조원)까지 성장할 것으로 전망했다.

738805 기사의 1번째 이미지 이미지 크게 보기
다만 아직 진정한 의미의 메타버스 기술은 등장하지 못했다. 가상세계를 구현하는 가상현실(VR) 기술은 아직 시각과 청각 경험만을 유저에게 전달할 수 있기 때문이다.


가상세계의 아바타가 경험하는 모든 것을 유저가 동일하게 느끼는 '리얼 메타버스' 세계가 열리기 위해선 인공감각 기술 개발이 필수적이다. 인공감각 기술이 발전하면 유저가 촉각, 후각, 미각 등 오감 전체를 느낄 수 있는 리얼 메타버스 세계가 펼쳐지게 된다. 가상세계에서 음식을 맛보고 구입하거나 옷을 만져본 뒤 구매하는 것도 가능하다는 얘기다. 영화의 한 장면처럼 안경과 슈트만 입거나 헬멧 하나로 가상세계에 뛰어드는 세상이 펼쳐질 수도 있다.

인공감각 기술을 이해하기 위해선 뇌에 외부 자극이 전달되는 과정부터 알아야 한다. 우선 세포 표면에 위치한 수용체가 압력과 진동으로 대표되는 외부 자극을 먼저 인지한다. 자극을 받은 수용체는 이에 대한 전기 신호를 만들어 체내 신경 다발에 전달한다. 전기 신호는 신경을 통해 뇌까지 도달한다. 마지막으로 뇌에선 신호를 인식해 자극을 느낀다.

인공감각 기술은 자극 전달 과정 중간 단계에 개입한다. 이를 통해 실제 자극을 받지 않아도 뇌가 자극을 받은 것으로 '착각'하게끔 만든다. 가장 기본적인 인공감각 기술은 액추에이터(자극을 주는 장치)를 이용한 방식이다. 우선 액추에이터에 달린 센서가 가상세계에서 일어난 일을 인식한다. 이후 액추에이터가 유사한 자극을 우리 몸에 주게 된다. 예를 들어 유저가 가상세계에서 무언가에 찔렸다면 이를 센서가 인식하고 액추에이터가 통각을 인체에 전달하도록 하는 방식이다. 현재 흔히 사용되는 VR용 헤드마운트 디스플레이나 이와 연계된 이어폰 등이 모두 액추에이터에 해당한다.

반면 현재 연구되고 있는 기술은 액추에이터를 사용하지 않는다. 자극을 몸에 주지 않고 전극을 통해 신경에 전기 신호를 전달하는 방식을 사용한다. 후각이나 미각보단 인공촉각 기술에 대한 연구가 주로 진행되고 있다.


대표적으론 박성준 KAIST 바이오및뇌공학과 교수 연구팀이 개발한 신경신호 모사를 통한 인공감각 시스템이 있다.

연구팀은 나노입자 기반의 촉각 센서를 제작하고 이를 회로에 연결시켜 센서가 인식한 신호를 자극에 대한 전기 신호와 유사하게 변환시킨 뒤 이를 신경에 전달했다. 쥐 모델 실험 결과 연구팀의 시스템에서 발생한 신호는 생체 내에서 왜곡 없이 전달되며 근육 반사 작용 등 감각 관련 현상을 구현할 수 있었다. 또 연구팀은 지문 구조로 만든 감각 시스템을 20여 종의 직물과 접촉시킨 결과를 딥러닝으로 분석해 직물 질감을 99% 이상 분류할 수 있는 기술을 개발했다.

738805 기사의 2번째 이미지 이미지 크게 보기
박 교수는 "현재 후속 연구로 특정 물체를 만졌을 때 전달해야 하는 전기 신호를 모두 입력한 인공신경 다발들이 들어 있는 로봇 손을 만들고 있다"며 "이 기술이 완성되면 가상세계에서 신호가 사전 입력된 물체를 만졌을 때 해당 전기 신호를 손 신경에 전달해 자극을 느끼게 할 수 있다"고 강조했다. 그는 "이젠 자극을 전기 신호로 바꿔주는 소자 수준을 넘어 사람에게 어떻게 전달해야 할지 고민해야 할 때"라며 "물론 인체에 관련된 만큼 의료적으로 조심해야 할 부분이 있으니 시간은 더 필요할 것"이라고 덧붙였다.

직접 자극에 대한 전기 신호를 뇌에 전달하는 연구도 일부 진행 중인 것으로 알려졌다. 최승문 포스텍 컴퓨터공학과 교수는 "뇌의 운동중추나 시각중추 등을 자극하면 실제로 무언가를 보거나 만지지 않아도 동일한 느낌을 받지 않겠느냐는 가정에서 여러 연구가 진행되고 있다"며 "물론 초기 단계지만 두개골을 뚫고 들어갈 수 있는 초음파로 뇌 내 뉴런을 자극하는 연구를 하고 있다"고 설명했다. 그는 "만약 이 같은 기술을 구현 가능하다면 영화처럼 헬멧 하나만 쓰고 가상세계에서 오감을 모두 느끼는 시대가 올 수 있다"고 덧붙였다.

사람이 느끼는 감각을 아예 개인 맞춤형으로 분류하기 위한 연구도 있다. 장재은 DGIST 정보통신융합전공 교수 연구팀은 최근 사람마다 느끼는 촉각 자극을 분석할 수 있는 인공지능(AI) 기술을 개발했다. 이 AI는 사람마다 다르게 느끼는 물체의 질감에 대한 전기 신호를 알아낼 수 있다. 같은 물체도 누구에겐 부드러울 수 있고 다른 사람에겐 거칠 수 있는데, 이 AI는 이런 주관적인 정보를 학습했다.


연구팀은 40여 개 다양한 옷감에 대해 사용자가 느끼는 감각을 AI에 학습시켰고, 그 결과 AI는 98%의 정확도로 실제 감각과 유사한 인공감각을 맞출 수 있었다. 또 AI는 새로운 옷감에서도 유저의 느낌과 91% 일치하는 인공감각을 구현해냈다.

장 교수는 "같은 물체라도 개인마다 갖는 감각에 대한 편차를 분석해 AI에 학습시켜 개인 맞춤형으로 감각을 분류하는 데 성공했다"며 "유저가 느끼는 감각에 대해 AI가 분석한 데이터로 유저 본인이 느꼈던 감각을 바로 파악할 수 있는 센서를 만든 것"이라고 말했다.

다만 리얼 메타버스가 실제로 구현되기까진 시간이 상당히 필요할 전망이다. 장 교수는 "현재 인공촉각 기술은 센서, 액추에이터 모두 기술이 부족한 상황"이라며 "시각이나 소리 자극은 사람과 떨어진 곳에서 발생해 액추에이터 개발이 용이하지만 촉각 자극은 항상 인체와 직접 접촉해야 하기 때문에 기술 구현이 어렵다"고 밝혔다. 이종화 기자

738805 기사의 3번째 이미지 이미지 크게 보기
인공감각을 활용해 이미 사용되고 있는 기술도 다양하다. 인공시각, 인공와우, 바이오닉 암 등이 대표적이다. 우선 가장 흔히 쓰이는 건 청각장애인을 위한 인공와우다. 인공와우는 자극을 가장 먼저 접하는 수용체인 달팽이관에 전극을 심는 기술이다. 이 전극은 외부 소리 자극을 전기 신호로 바꿔 청각 신경에 전달해줄 수 있다. 신경에 도달한 전기 신호는 청각 환자의 뇌에 전달돼 소리를 들을 수 있게 해준다. 대부분의 청각장애인은 수용체인 달팽이관 세포 문제로 인해 소리 자극에 대한 전기 신호가 신경에 전달되지 않는다. 인공와우는 수용체가 자극을 인식하는 단계를 건너뛰게 해준다. 청신경에 직접 전기 신호를 보내주기 때문이다. 이 덕분에 인공와우를 심은 환자의 뇌는 전기 신호를 받아 소리를 들은 일반인의 뇌와 같이 소리를 인식할 수 있다. 물론 청각 신경에도 문제가 있는 경우엔 인공와우 활용이 어렵다는 한계가 있다.

인공와우가 소리 자극을 전기 신호로 바꿀 수 있는 건 외부 어음처리기와 내부 임플란트 덕분이다. 외부 어음처리기는 소리 자극을 받아 인식하는 역할을 담당한다. 내부 임플란트는 인식된 자극을 전기 신호로 바꿀 수 있다. 내부 임플란트를 통해 형성된 전기 신호는 청각 신경에 전달되고, 마지막엔 뇌까지 도달하게 된다.

인공시각 기술은 앞을 전혀 보지 못하는 시각장애인들에게 시각을 되찾아줄 수 있는 기술이다. 대표적으론 지난해 미국 과학기술전문지 'MIT 테크놀로지 리뷰'에 보도된 스페인 미겔에르난데스대의 신경공학자 에두아르도 페르난데스가 시각장애인을 대상으로 진행한 임상 연구가 있다.

이 연구는 시각장애인 뇌에 직접 시각에 대한 전기 신호를 전달한다. 망막을 통해 시각 자극을 가장 먼저 접하고 이를 신경을 통해 뇌에 전달해주는 일반인과는 다르다. 눈, 망막, 시신경 등 모든 과정을 건너뛰고 뇌에 직접 전기 신호를 보내주는 방식이다. 이를 위해 연구진은 시각장애인 환자 뇌에 임플란트를 심었다. 또 카메라 장치가 달린 안경을 씌웠다. 시각장애인이 쓴 안경을 통해 얻은 실시간 영상은 전기 신호로 변환돼 환자의 뇌에 바로 전달된다. 뇌 임플란트는 이 신호를 인식해 뇌에 전달한다. 임상 실험에서 임플란트를 인식받은 환자는 원래 빛의 존재도 지각할 수 없는 상태였다. 이 기술 덕분에 종이에 써진 글자의 윤곽을 식별하거나 '팩맨' 게임도 할 수 있게 됐다. 바이오닉 암은 팔이 없는 절단 환자를 위한 기술이다. 사람의 피부, 근육, 골격, 관절 등을 본떠 만든 로봇 팔이라고 생각하면 된다. 바이오닉 암은 대부분 플라스틱으로 된 의수 안에 구동기와 센서 등 부품이 탑재된 형태로 돼 있다.

실제로 한국기계연구원은 바이오닉 암 손끝에 달 수 있는 센서 기술을 개발했다. 이 기술은 신경을 통해 뇌에서 감각을 인지하는 것과 같은 원리로 사람의 피부처럼 촉각을 느낄 수 있다. 기존에도 유사한 기술이 있었지만 기계연은 실제 외부에 닿는 접촉 부분과 촉감을 인식하는 센서 부분을 공압튜브로 연결했다. 이 덕분에 기존 센서가 작동하기 어려웠던 수중이나 고온의 환경에서도 활용할 수 있게끔 했다.

[이종화 기자]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]