계단 제대로 오를 수 있는 캐릭터 있니? - Human Motion Controller
이젠 개성있게 걷자! - Stylized Human Motion
옥션으로 돈 좀 벌어볼까? - Trading Agent Competition
삼차원 가상현실공간에서의 인터페이스 - Cave Automatic Virtual Environment
미니 프로젝트들 - Course Projects
사실, 저 디자이너가 되고 싶었어요 - Graphic Design
계단을 미끄러지듯 걸어오르는 캐릭터, 장애물을 뚫고 지나가는 적, 원하는 장소로 가지 못하고 우왕좌왕하는 NPC들은 게임의 비현실성을 부각시켜 게임의 재미를 반감시키는 요소입니다. 렌더링 기술이 정교해 질수록 캐릭터의 부자연스럽고 비지능적인 동작이 두드러져 보인다는 사실은 많은 3D 게임 업체들의 고민거리입니다.

저는 기계학습Machine Learning 알고리즘을 사용해 캐릭터가 자연스럽고 지능적으로 주어진 작업을 실시간으로 수행하는 컨트롤러를 제작해 왔습니다. 연구용 뿐만이 아니라 마이크로소프트에서 모션 캡쳐 아티스트들이 직접 컨트롤러를 제작하여 필요한 모션들을 추가할 수 있도록 도와주는 일련의 프레임워크를 개발한 경험도 있습니다. 또한, 이 기술은 유명 게임 Halo를 개발한 Bungie에서 신작 게임 엔진에 사용될 예정이며, 저는 엔진 개발에 자문 역으로 참여할 예정입니다.

제가 참여한 최근의 연구들은 다음과 같으며, 논문 제출을 준비하고 있습니다:

1. 모션 클립 라이브러리에서 원하는 컨트롤러를 구현할 수 있는 최소한의 모션 그룹의 검색과 컨트롤러를 조종하는 값 함수Value Function의 압축을 통한 컨트롤러 용량 최소화
2. 계단을 올라가거나, 점프해서 매달리거나, 달리는 것과 같은 다른 컨트롤러들의 사이를 자연스럽게 이어주는 컨트롤러Transition Controller의 개발
3. 유저의 컨트롤을 관찰하여 컨트롤 스타일을 추출, 다른 컨트롤러로의 전환: RPG 맵에서 게이머가 맵을 돌아다니는 모습을 관찰하여 이 캐릭터가 소극적인지 적극적인지 판별하는 것을 예로 들 수 있습니다.
4. 컨트롤 스타일을 추출, 게임 이론적 고찰을 통한 모션 컨트롤러의 상호 진화: 대전 게임에서 게이머가 주로 사용하는 전략을 학습하여 그에 특화된 전략을 개발하는 것을 예로 들 수 있습니다.

우측의 동영상에서는 캐릭터가 계단을 오르내리고 있습니다. 캐릭터는 임의의 계단(계단 각도, 계단 폭, 계단 높이 변형 가능)에서 미끄러짐 없이 계단을 밟으며 원하는 방향으로 걸어갈 수 있습니다. 계단의 모습이 임의로 바뀜에도 캐릭터가 실시간으로 자연스럽게 이동하는 동영상을 보실 수 있습니다.

우측의 동영상에서는 체스판을 걸어 다니는 캐릭터를 보여주고 있습니다. 캐릭터는 흰색 타일만 밟을 수 있도록 설정되어 있습니다. 동영상에서, 캐릭터는 임의로 변하는 진행 방향(유저 인풋)과 체스판의 크기(맵 환경)에 따라 끊김 현상 없이 실시간으로 이동하고 있습니다.

우측의 동영상에서는 캐릭터들이 임의의 장소에서 생성되어 회전문을 통과하고 있습니다. 방해물과 부딪히지 않고 회전문을 지나가려면 문의 회전 속도와 위치를 고려해야 하며 이는 실시간으로 풀기 어려운 문제입니다. 하지만, 마코브 결정 과정Markov Decision Process 정의를 통한 컨트롤러는 이렇게 복잡한 상황에서도 실시간으로 캐릭터를 제어할 수 있게 합니다.
사람들은 자신의 아바타에게 성별, 체형, 피부색, 의복, 액세서리 등으로 개성을 부여하여 주체성을 형성합니다. 만일 아바타가 외형뿐만이 아니라 고유의 동작을 가지고 있다면 어떻게 될까요? 색 팔레트를 섞어서 자신만의 고유한 색을 만들 수 있듯이 여러 동작 스타일들을 섞어서 자신만의 고유한 스타일을 창조해 낼 수 있을까요? Wii 리모컨이나 웹캠을 통해 그러한 스타일을 만들 수 있다면 어떻게 될까요? 마이크로소프트리서치에서 수행한 이 프로젝트는 이런 즐거운 상상들을 현실화시켰습니다.

마이크로소프트의 가상 지도 서비스 버츄얼 어스(Virtual Earth)팀은 2008년 모델링 및 애니메이션 분야에서 선두주자인 칼리가리(Caligari) 그룹을 인수하며 세컨드라이프(Second Life)형태의 삼차원 가상 세계를 구축하기로 하였습니다. 저는 여기서 저희 연구실이 사용하고 있던 자료기반 인체제어동작시스템을 재구현하였습니다. 이 인체제어동작시스템은 강화학습 기법을 사용해 원하는 작업(예: 원하는 장소로 장애물을 피해 이동, 친구로부터 물체를 받아 다른 테이블에 옮김)을 수행시킬 수 있는 애니메이션을 실시간으로 만들어 낼 수 있는 기능을 가지고 있으며, 개개인 혹은 벤더들이 각자 원하는 스타일과 작업에 맞는 동작/제어기를 개발, 공유할 수 있도록 설계되었습니다. 이 프로젝트는 약 스무명이 공동 참여하였으며, 인체제어동작시스템에 관련된 인원은 총 일곱 명이었습니다.

우측의 동영상은 사용자가 직접 아바타의 스타일을 만들고 있는 데모입니다. 이미 만들어진 스타일 샘플을 선택할 수도 있고, 색 팔레트처럼 여러 스타일을 적당히 섞을 수도 있으며, 직접 캐릭터의 모션을 조작하여 스타일 예시를 줄 수도 있습니다.
저는 옥션에서 항공편, 호텔 등을 매매하여 여행 패키지를 구성, 고객들에게 판매하는 여행사 운영 시뮬레이션 게임Trading Agent Competition에 참가하였습니다. 저는 선형 프로그래밍 기법을 통해 고객들의 성향을 확률적으로 파악하여 수익을 가장 많이 남길 수 있는 여행 패키지를 제작하는 프로그램을 제작해 당해년도 대회에서 우승하였으며, 이 알고리즘이 기존의 한계효용(Marginal Utility)을 사용하는 옥션 비딩 기법보다 더 많은 수익을 남길 수 있음을 실험적으로 증명하여 인공지능 학회 IJCAI에 논문으로 등재되었고 제1저자로써 학회에서 연구 내용을 발표하였습니다.

게임 이론Game Theory을 이용한 이 프로그램은, 다음과 같은 특징을 가지고 있습니다:

1. 옥션가의 변화를 통해 상대방의 성향과 상대방 고객이 원하는 패키지를 예측
2. 예측한 분석 모델을 사용하여 각 옥션의 최종가를 예측
3. 상대방의 수익을 최소화 시키고 자신의 수익을 최대화 시키는 비딩전략 생성

관련 포스터 받아보기 [pdf]
관련 논문 받아보기 [pdf]
브라운대학교는 육면체의 방에 영사되는 이미지를 스테레오 안경을 통하여 삼차원 영상화하는, 세계에 몇 안 되는 가상 현실 장치(CAVE)를 가지고 있으며, 이를 통해 의료 영상의 시각화와 고고학적 유물 복원, 화성 탐사자료를 토대로 한 화성의 지형과 기후 시각화 등 재미있는 프로젝트가 진행되고 있습니다. 저는 여기서 기존의 기체 흐름 시각화 프로그램(ParaView)를 이 장치에서 삼차원으로 보일 수 있도록 영상화하고, 이에 적합한 인터페이스를 개발하는 작업을 수행하였습니다.

키보드와 마우스를 가지고 와서 사용할 수 없는 이 공간에서의 인터페이스는 기발한 상상력을 필요로 하는데요, 제가 사용한 툴은 헬멧에 들어 있는 방향 센서와 버튼이 세 개 달린 막대 모양의 리모컨(Wii 리모컨이라고 생각하시면 됩니다)이었습니다. 기억에 남는 인터페이스 중 하나는 기존의 드래그앤그롭 방식을 사용한 내비게이션이었는데, 리모컨을 뻗은 후 버튼을 누른 채 리모컨을 당기면 그 방향으로 이동하는 인터페이스였습니다. 매우 직관적이어서 초보자도 금방 적응할 수 있음에 놀랐습니다. 또 하나는 기존의 슬라이더 대신에 다이얼 모양의 UI를 사용하여 리모컨을 시계/반시계 방향으로 회전시키며 값을 조정하는 인터페이스였는데, 이 역시 정확도가 매우 낮은 리모컨으로도 쉽게 조정을 할 수 있는 직관적인 인터페이스였습니다.
학교 수업에서 제작한 결과물들 중 몇 가지를 소개해 드립니다.
당시에 유행하던 턴제 RPG 게임인 "마계전기 디스가이아"를 패러디 하였습니다. 게임과 게임 줄거리 편집기, 캐릭터 능력치 편집기, 맵 제작 편집기를 만드는 프로젝트를 한 학기 동안 다섯 명이 일을 하였으며, 저는 그 중 그래픽스 구현을 맡아 OpenGL을 통한 삼차원 맵 구현, 빌보딩 테크닉을 통한 캐릭터와 스페셜 이팩트 구현, 전투 화면 유저 인터페이스, 맵 에디터 제작 등을 하였습니다.
게임 메뉴얼 받아보기 [pdf]
학부와 대학원에서 컴퓨터 그래픽스/비전 관련 과목을 네 과목을 들었으며, 렌더링 관련 과제를 여러 번 해 보았습니다. OpenGL과 DirectX를 통한 폴리곤 렌더링, 레이트레이싱Raytracing, 포톤 맵핑Photon Mapping 등 기본적인 렌더링 기술을 구현해 보았습니다.
포톤 맵핑 프로젝트 리포트 사이트 바로가기 [html]
컴퓨터 애니메이션 관련 프로그램인 Autodesk Maya, Adobe After Effects, Adobe Premier 등을 사용하는 법을 배웠으며, 모델링, 쉐이딩, 라이팅 등 기본적인 애니메이션 기술을 익히고 조별로 짧은 3D 애니메이션을 기획, 제작하였습니다.
여러 장의 사진에서 식별 가능한 지점들을 판별Feature Detection한 후 삼 차원적 공간 정보를 복원해 내어 파노라마 사진을 만드는 프로그램을 제작하였습니다. 워싱턴대학교는 최근 마이크로소프트사와의 협업을 통해 이 기술을 더욱 발전시켜 카메라와 물체의 삼 차원적인 정보를 복원시키는 Photosynth 프로젝트를 수행하였습니다.
파노라마 프로젝트 리포트 사이트 바로가기 [html]
이미지를 한정된 색으로만 구현, 압축 시키는 기술Image Segmentation과 이미지에서 사람의 시선이 많이 머무는 곳을 자동으로 찾아내는 기술Saliency Map을 결합하였습니다. 그래픽스 수업 최종 과제로 수행한 이 연구는 컴퓨터 그래픽스 학회 SIGGRAPH에서 포스터로 전시되었습니다.
관련 포스터 받아보기 [pdf]
인터넷에 있는 사진들과 그에 대한 누리꾼들의 평가를 긁어와 기계 학습을 이용해 다른 사진들을 자동으로 평가하는 프로그램을 제작해 보았습니다. 위에 있는 사진들은 인터넷 사이트에서 무작위로 추출한 사진 중 프로그램이 높은 점수를 준 사진들인데, 실제 인터넷에서도 누리꾼들에게 호평을 받고 있던 사진들로 판명 났습니다.
웹 디자인에 관심을 둬 초등학교 때부터 자그마한 사이트들을 운영하였으며, 당시 유명했던 웹 게시판 프로그램인 제로보드의 스킨을 제작하여 배포한 적도 있습니다. 웹 관련 언어로는 PHP, Perl, MySQL, CSS/HTML/Javascript, Flash를 사용한 경험이 있습니다. 타이포그래피와 편집 디자인에도 관심이 있어 관련 과목을 수강하였으며 각종 포스터, 가게 메뉴판, 학생증 등을 디자인한 경험이 있습니다. 관련 프로그램으로 Adobe Photoshop, Adobe Illustrator, Adobe InDesign을 사용한 경험이 있습니다.