Motion Recognition for Kinect Sensor Data Using Machine Learning Algorithm with PNF Patterns of Upper Extremities

Article information

J Kor Phys Ther. 2015;27(4):214-220
Publication date ( electronic ) : 2015 August 30
doi : https://doi.org/10.18857/jkpt.2015.27.4.214
1 Department of Physical Therapy, College of Health Science, Korea University, Department of Computer and Radio Communications Engineering (Computer Science and Engineering), Seoul, Korea
2 Department of Physical Therapy, College of Health Science, Korea University, Research Institute of Health Sciences, Korea University, Seoul, Korea
3 Department of Physical Therapy, College of Health Science, Korea University, Korea University, Seoul, Korea
4 Research Institute of Health Sciences, Korea University, Department of Public Health Sciences, Graduate School, Korea University, Seoul, Korea
Corresponding author Giwon Kim E-mail rldnjs44@korea.ac.kr
Co-corresponding author Junesun Kim E-mail junokim@korea.ac.kr
received : 2015 July 23, rev-recd : 2015 August 19, accepted : 2015 August 20.

Abstract

Purpose:

The purpose of this study was to investigate the availability of software for rehabilitation with the Kinect sensor by presenting an efficient algorithm based on machine learning when classifying the motion data of the PNF pattern if the subjects were wearing a patient gown.

Methods:

The motion data of the PNF pattern for upper extremities were collected by Kinect sensor. The data were obtained from 8 normal university students without the limitation of upper extremities. The subjects, wearing a T-shirt, performed the PNF patterns, D1 and D2 flexion, extensions, 30 times; the same protocol was repeated while wearing a patient gown to compare the classification performance of algorithms. For comparison of performance, we chose four algorithms, Naive Bayes Classifier, C4.5, Multilayer Perceptron, and Hidden Markov Model. The motion data for wearing a T-shirt were used for the training set, and 10 fold cross-validation test was performed. The motion data for wearing a gown were used for the test set.

Results:

The results showed that all of the algorithms performed well with 10 fold cross-validation test. However, when classifying the data with a hospital gown, Hidden Markov model (HMM) was the best algorithm for classifying the motion of PNF.

Conclusion:

We showed that HMM is the most efficient algorithm that could handle the sequence data related to time. Thus, we suggested that the algorithm which considered the sequence of motion, such as HMM, would be selected when developing software for rehabilitation which required determining the correctness of the motion.

서론

현대 기술의 발전으로 컴퓨터가 일상적인 도구가 되면서 이를 활용한 다양한 분야 중 인간 컴퓨터 상호작용(human computer interaction, HCI) 분야에서 사람과 컴퓨터의 상호작용을 위한 다양한 인터페이스가 연구되고 있다. 일반 키보드나 마우스 같은 일반적인 인터페이스 사용이 어려운 장애인을 위해 다양한 대체 입력장치들이 개발되었고1 이 중 핵심적인 기술 중 하나가 움직임 추적 기술이다.

움직임 추적(motion tracking) 기술은 영화, 게임, 보안, 재활 등 다양한 분야에서 활용되고 있다. 현재 재활 분야에서는 마커기반 동작인식 시스템(marker-based-system, MBS)이 가장 많이 사용되고 있다.2 MBS는 마커(marker)를 사용하여 인체의 움직임을 계측하는 것으로 다른 모션 캡처 시스템보다 신뢰도가 높지만 이로 인한 단점도 존재한다.3 대표적인 단점 중 한 가지는 재평가를 할 때 마커의 미세한 위치 변화에 의해 관절 중심의 평가 위치가 변함에 따라 분절들의 방향이 변화하여 오차가 발생하는 문제가 있다.4 또한 마커를 붙이는 데 걸리는 시간 동안 환자가 서서 견디는 것이 힘들 수 있으며, 피부가 드러나는 곳에 붙일 경우 환자의 피부 상태에 따라 부적합한 경우가 발생할 수 있다. 그리고 마커를 정확한 위치에 붙이기 위해서 발생하는 노출도 환자에게 불편함을 줄 수 있다. 마지막으로 가격이 비싸고 설치형 방식으로 운반성이 떨어져 재가 치료에서 치료사가 이용하기는 어려움이 따른다. 또 다른 방식인 markerless-system (MLS)은 20여 년 전부터 개발된 기술이며 MBS의 단점을 보완하기 위해 보조적인 측면으로 사용된다.5 MBS보다 다루기 쉽고, 저비용이며, 마커의 부착으로 발생하는 문제들을 상쇄해 줄 수 있으므로 여러 기술적인 연구가 이루어지고 있다.2 현재는 기술의 발달과 소비자 비용의 효용을 맞출 수 있게 되면서 여러 기기들이 발매되고 재활치료에 사용되고 있다. Wii 게임 시스템, Wii 밸런스보드, 그리고 플레이스테이션 Eye Toy 등은 다른 비싼 가상 현실(virtual reality, VR) 기기들과 달리 낮은 비용으로 사용할 수 있으며, 노인들에게 신체기능 향상을 위한 도구로써의 가치도 매우 높다.6 앞선 기기와 비슷하게 활용 가능한 키넥트(kinect)는 저비용, 구매의 편의성, 소프트웨어 개발 도구(software development kit, SDK)의 제공으로 인한 개발의 용이성과 같은 여러 가지 장점들로 인해 다양한 분야에서 활용 가능성이 연구되고 있다.

재활 분야에서는 치료사의 중재를 돕는 도구로 가능성이 평가되고 있다. 재활 운동은 중재를 바탕으로 이루어져야 하지만 시간과 공간의 제약으로 인해 환자들에게 접근성, 상시성의 문제를 발생시킨다. 또한 환자가 치료에 자발적으로 참여할 때 치료 효과가 더 증대되지만 효율적으로 동기를 유발시키기 어려운 측면이 있다. 그러므로 환자가 공간이나 비용 문제에 비교적 구애받지 않으면서 흥미를 잃지 않고 치료사와 좋은 관계를 유지하면서 병원과 가정에서도 쉽게 따라 할 수 있는 운동 프로그램이 개발될 필요가 있다.7 이러한 문제를 해결하는 한 수단으로 기존 MBS 시스템보다 저비용으로 구성이 가능하고 휴대성이 좋으며, 비교적 높은 품질의 데이터를 얻을 수 있는 키넥트를 활용한다면 언급한 문제를 해결하는 데 큰 도움을 줄 수 있다. 관련 연구로는 게임과 키넥트를 결합하여 재활 치료에 활용한 사례들이 보고되었으며,8 Chang 등9은 운동장애를 가진 청소년을 대상으로 키넥트를 이용한 재활 시스템이 동기 유발에 효과적이라 보고하였다.

키넥트 센서(kinect sensor)는 일반적으로 사용되는 색상 카메라와 깊이 카메라(적외선 레이저 프로젝터와 적외선 카메라)로 이루어진다. 이 두 개의 카메라를 이용해 3D 지도를 구성하고 기계 학습(machine learning)에 기반을 둔 랜덤 포레스트(randomized decision forest, RDF) 알고리즘을 통해 신체의 해부학적 위치를 실시간으로 판단하여 제공한다.10 이후 SDK를 이용하여 센서가 읽어들인 정보를 20개의 관절 정보가 있는 뼈대 모형(skeleton model)으로 다룰 수 있다. 키넥트 센서의 데이터에 대한 평가도 다양하게 이루어졌는데, Clark 등11은 키넥트를 이용한 자세 제어 에 관한 타당성 평가를 수행하였다. 또 Yang 은12 키넥트를 이용한 서기균형평가(standing balance test)의 신뢰도와 타당도를 평가하였고, Bonneche’re 등13은 관절 정보를 이용해 환자 기능 평가에서 발생하는 관절 각도와 관절 가동범위의 신뢰도와 타당도에 대해 보고하였다.

살펴본 바와 같이 센서의 데이터에 대한 신뢰도와 타당도, 중재의 효과성에 대한 평가들이 이루어졌지만 동작을 실시간으로 분석하거나 분류해낼 수 있는 가능성에 대한 평가는 미흡하였다. 그리고 한 가지 더 고려할 수 있는 점은 대부분의 연구에서 실험 대상자의 의복이 반팔, 반바지와 같이 신체를 드러내기 쉬운 것을 사용하였다. 키넥트 센서는 착용한 복장이 환자복과 같이 넉넉한 복장이면 정확하게 신체를 구별해 내기가 힘들다. 따라서 동일한 동작을 평가할 때에 센서가 읽어들인 인체 뼈대 모형의 좌표 값에 변화가 생길 수 있다. MLS는 마커를 붙이기 위해 신체를 드러낼 필요가 없으나 의복 착용이 제한된다면 이 시스템의 장점을 효과적으로 활용할 수가 없다.

본 연구에서는 키넥트 센서를 활용한 재활 의료 소프트웨어를 제작할 경우를 가정하고 의복 착용에도 제한을 받지 않는 동작 분류 알고리즘을 기계학습에 기반하여 찾아 보고자 하였다. 본 연구에서 분석할 동작은 PNF 상지 패턴을 선정하였고 D1, D2 패턴을 사용하였다. PNF 기법은 소아마비 환자의 치료로 시작되어 현재는 신경계, 근골격계, 스포츠 손상 등 넓은 범위까지 적용되고 있다.14 PNF 기법은 대상자의 능동적 참여와 교차훈련 효과에 의해 운동단위가 최대로 반응하는 데 효과적이며 이러한 일정 패턴에 기초한 동작은 치료목적으로 사용되기 알맞고 치료사의 중재 효과를 극대화 할 수 있다.15 본 연구에서는 키넥트 센서가 정확하게 신체를 인식하기가 힘든 환자복을 착용하고 동작을 수행한 데이터를 준비하여, 평상복을 착용하고 수행한 실험 데이터와의 분류 성능을 비교할 수 있도록 하였다. 그리고 동작을 분류하기 위한 기계학습에 다양한 알고리즘을 사용하여 효과적인 알고리즘을 실험적으로 평가하였다. 따라서 본 연구의 목적은 의복에 구애 받지 않고 효과적으로 동작을 분류할 수 있는 기계 학습 알고리즘을 확인하고, 키넥트 센서를 활용한 진단 소프트웨어의 가능성을 확인해보고자 하였다.

연구 방법

1. 연구 대상

대상자들은 K대학교에 재학 중인 학생(남학생 6명, 여학생 2명)이었다. 대상자의 일반적인 특성은 평균 나이 26±1.4세, 평균 몸무게 71±12.3 kg, 평균 신장 174±8.6 cm였다. 대상자의 선정기준은 PNF 상지 패턴 운동에 제한이 없는 자로 하였다. 실험 전 대상자들에게 본 실험의 목적과 방법에 대해 충분히 설명하였고 자발적 동의를 얻어 실험을 진행하였다.

2. 실험 방법

1) 실험 장비

실험 도구는 키넥트 센서(Kinect for XBOX 360, Microsoft, USA)를 사용하였고 샘플링 주파수는 30 Hz로 하였다(Figure 1). 키넥트 센서의 신뢰도는 어깨의 ICC는 0.73, 팔꿈치의 ICC는 0.70이었다.13 키넥트 센서의 관절 데이터는 마이크로소프트 Kinect SDK v1.8에서 얻은 데이터를 그대로 사용하였다. 카메라는 제조사의 권장 거리에 해당하는 수직 1.2 m 높이, 피험자로부터 2 m 떨어진 거리에 두었다(Microsoft, 2011). 대상자는 카메라를 향한 상태로 의자에 앉고 오른팔을 PNF 상지 패턴인 D1 extension, D2 extension 상태로 대기하였다. 키넥트 센서가 피험자의 관절 위치를 측정해내면 PNF 패턴 운동을 시작하고 해당하는 3차원(x, y, z 좌표) 데이터를 보조기억장치에 저장하였다.

Figure 1

The Kinect sensor for XBOX360.

2) 실험 동작

대상자는 먼저 편안한 티셔츠를 입고 PNF 상지 패턴을 수행한 다음 실험목표인 키넥트 센서가 쉽게 형상을 구분하기 힘든 환자복을 입고 앞서 수행한 동작들을 반복하였다. PNF 상지 패턴은 D1 패턴과 D2 패턴으로 나누어 먼저 D1 패턴을 2분간 30회 수행하고 2분 휴식 후 D2 패턴을 2분간 30회 수행하였다. D1 flexion 패턴은 어깨관절 굽힘-모음-가쪽돌림으로 끝나고 D1 extension 패턴은 어깨관절 폄-벌림-안쪽돌림으로 끝난다. D2 flexion 패턴은 어깨관절 굽힘-벌림-가쪽돌림으로 끝나고 D2 extension 패턴은 어깨관절 폄-모음-안쪽돌림으로 끝난다.

3) 데이터 수집 및 처리

실험 동작을 수행하기에 앞서 대상자들에게 PNF 상지 패턴에 대해 설명하고 시범을 보인 후 실험자가 동작을 실시하면 정확한 동작으로 교정하였다. 이후 패턴 반복 속도가 최대 3초 이하가 되도록 반복하였다. 데이터 처리는 키넥트 센서가 얻은 3차원 좌표 값 중 오른팔에 해당하는 관절 값만을 이용하였다. 얻어진 데이터는 PNF 상지 패턴의 4개 동작에 따라 분류하였고, 비교를 위해 한 동작의 여러 관절 값들은 좌표 별로 선형 보간하여 40개의 샘플들로 일정하게 처리하였다.

학습을 위한 데이터는 샘플 사이의 관절 값의 차이로 관절의 움직임을 나타내는 벡터를 생성하였다. 이 벡터들을 길이 1로 정규화하였고 미리 지정한 26개의 방향 벡터와 비교하여 가장 가까운 벡터를 선택하여 관절의 움직임을 이산적인 배열로 나타내었다. 이를 간단하게 도식화하면 Figure 2와 같다. 그림에서 실험자는 어깨벌림 동작을 수행하고 있고 이 움직임은 키넥트 센서에 의해 관절 3차원 정보로 변환된다. 이러한 연속적인 움직임을 일정하게 샘플링한다. 이후 좌표점들의 차이값으로 벡터를 만들고 이를 방향 벡터와 비교한다. 가장 가까운 방향 벡터가 선택되면 연속적인 동작을 이산적인 배열 O로 나타낼 수 있다. 이 과정으로 생성된 배열들을 이용하여 기계학습을 진행하며, 학습의 효과를 증가시키기 위해 어깨관절과 팔꿈치 관절의 각도 값을 포함하여 학습을 진행하였다.

Figure 2

The example of the data processing for a shoulder abduction.

4) 학습 과정

관리감독 학습(supervised learning)을 위해 주어진 데이터를 이용해서 940개의 학습 세트를 구성하였다. 이를 이용해서 각 알고리즘마다 10 fold cross-validation test를 진행하였다. 또한 환자복을 입은 데이터를 이용하여 820개의 실험 세트를 구성하였다.

실험 세트의 학습에는 오픈 소스 데이터 마이닝 소프트웨어인 Weka 3.6과 상용 소프트웨어인 Matlab R2014a 를 이용하였다. 학습에 사용한 알고리즘은 Naïve Bayes Classifier (NBC), 의사결정나무(Decision Tree), 다층 신경망(Multilayer Perceptron, MLP), 은닉 마르코프 모델(Hidden Markov Model, HMM)이었다. 그 중 NBC, 의사결정나무, MLP는 Weka 3.6를 이용하여 학습하였고 HMM은 Matlab으로 구현된 알고리즘을 사용하였다(Figure 3). 알고리즘의 상세한 내용은 다음과 같다.

Figure 3

Data flow for machine learning.

(1) Naïve Bayes Classifier (NBC)

NBC는 베이즈 법칙(Bayes rule)에 독립가정을 적용한 확률적 분류기이다. 만약, X=X1, X2 이고 X가 Y를 설명하는 특성이라고 가정하면, 이때 조건부 확률은 다음과 같다.

P(X|Y) =P(X1,X2|Y) =P(X1|X2,Y)P(X2|Y) =P(X1|Y)P(X2|Y)

두 번째 줄은 확률의 기본 성질에 의해 얻어지고, X의 원소가 서로 독립이라고 가정하면 세 번째 줄이 얻어진다. 따라서 X의 모든 원소가 독립이라고 가정하면 다음이 얻어진다.

P(X1...Xn|Y)=i=1nP(Xi|Y)

따라서 우리의 관심사인 X의 확률을 얻기 위해 베이즈 법칙을 적용하면,

P(Y=yk|X1...Xn) =P(Y=yK)iP(Xi|Y=yk)jP(Y=yj)iP(Xi|Y=yJ)

와 같다. 분모의 값은 최대값을 찾는 데 영향을 주지 못하므로,

YargmaxykP(Y=yk)iP(Xi|Y=yk)

NBC가 이와 같이 얻어진다.16 주어진 알고리즘은 이진 변수 값을 가지는 특성들을 대상으로 하였고, 실험에 쓰인 알고리즘은 관절의 값이 연속적이므로 이를 다룰 수 있도록 수정된 알고리즘을 사용하였다.

(2) 의사결정나무

의사결정나무는 의사결정 규칙을 도표화하여 관심대상이 되는 집단을 몇 개의 소집단으로 분류하거나 예측을 수행하는 방법이다. 다른 분석방법에 비해서 도식화를 통해 연구자가 분석과정을 쉽게 이해하고 설명할 수 있는 장점을 지닌다.17 의사결정나무의 대표적인 Interactive Dichotomizer 3 (ID3) 알고리즘은 엔트로피(entropy)를 이용하여 해당 데이터의 비율을 계산하고 정보이득 계산을 통해 의사결정 나무를 생성한다. 엔트로피는 다음과 같다.

H(X)=i=1np(xi)logp(xi)

p(xi)는 전체 데이터 중 분류할 대상의 비율이다. 정보이득(information gain)은 다음과 같은데,

IG(T,a)=H(T)H(T|a)

H(T)는 분류하기 전의 엔트로피이며 a는 분류한 이후의 엔트로피이다. 계산식에서 정보 이득이 최대가 되도록 반복해서 의사결정나무를 완성한다. ID3 알고리즘은 명목형 변수만 분리할 수 있다. 따라서 연속형 변수를 다룰 수 있도록 수정하고 여러 단점을 개선하기 위해 C4.5 알고리즘이 제안되었다. 본 실험에선 관절의 값이 연속형 변수이므로 C4.5 알고리즘을 사용하였다.

(3) 다층 신경망

퍼셉트론(perceptron)은 인공 신경망의 한 종류로 각 노드의 입력치와 가중치를 곱한 것들의 합이 활성함수의 임계치를 넘게 되면 뉴런이 활성화되고 결과값이 1이 출력된다. 이러한 노드들이 입력층, 은닉층, 출력층으로 계층구조를 이루고 있는 신경망을 MLP라 한다. 노드들의 활성함수를 시그모이드(sigmoid) 함수로 설정하면 계단형 함수와 비슷한 특성을 지니며 미분이 가능해져 역전파(backpropagation) 알고리즘을 통해 학습을 가능하게 한다. 역전파 알고리즘은 은닉층에 분포하는 연결강도를 조절하는 것으로 학습을 하는데, 미분을 통해 극소점을 기울기 하강(gradient descent) 방법으로 찾아낸다. 이는 다음과 같은데,

xk+1=xkλkf(xk),k0)

여기서 람다는 알고리즘의 수렴속도를 결정하며 학습속도(learning rate)를 조절한다.

(4) 은닉 마르코브 모델(HMM)

순차 데이터 모델은 시간과 관련된 데이터를 인식하는 데 장점이 있다. 시간성이 있는 데이터는 특징들의 선후관계가 중요한데, 이러한 데이터들이 관측되고 시간에 따라 의존성을 가지는 것을 순차 데이터라고 한다. 이러한 순차 데이터에서 최근 r개의 관측만이 시간 t에서의 관측에 영향을 미친다는 가정하의 확률 추론이 마르코브 모델이다. 이 모델에서는 관측 시에 상태가 드러나 있지만 보다 복잡한 상황 추론에 한계가 있는 단점이 존재한다. HMM은 상태를 숨김으로써 모델링 용량을 키우고, r을 고정하지 않도록 함으로써 과거의 관측도 현재에 영향이 있도록 한다. HMM모델은 다음과 같은 3가지 종류의 문제를 해결할 수 있다.

  • 관측열의 확률을 계산하는 문제, Forward, Backward 알고리즘

  • 최적의 상태열을 선택하는 문제, Viterbi 알고리즘

  • 관측열의 확률을 극대화 시키는 확률분포의 조정, Baum-Welch 알고리즘18

본 실험에 사용된 HMM은 키넥트 데이터에서 추출된 관절의 움직임의 집합으로 학습시키고, 각 모델에서 관측열의 확률을 계산하여 대수 가중합(logarithmic weighted sum)을 구하는 방식으로 동작을 분류하였다(Figure 4).

Figure 4

HMM classifier model.

결과

Weka 3.6을 이용해 NBC, C4.5, MLP의 학습을 진행하고 MATLAB R2014a를 이용해 HMM 학습을 진행한 결과, NBC, C4.5, MLP는 총 80개의 특성을 이용하여 학습되었다. 40개 프레임 사이의 좌표 값 차이 벡터를 계산하여 우측 손목, 우측 팔꿈치 관절에 해당하는 정보를 이용하고, 우측 어깨 관절과 우측 팔꿈치 관절의 각도를 추가적으로 이용하였다. MLP 조건은 은닉층을 42개, 학습 속도(learning rate)를 0.3, 모멘텀(momentum)을 0.2로 주어 학습하였다. HMM은 Left-to-Right 모델을 사용하였고 5개의 은닉 상태를 설정하였다. 최대반복회수(maxiteration)는 1,000으로 설정하였고 허용오차(tolerance)는 1e-06로 설정하였다. 실험 결과는 다음과 같다(Table 1). 실험에 쓰인 알고리즘들 중 HMM이 실험 세트의 분류 성능이 가장 뛰어난 것으로 나타났다. 의사결정나무 알고리즘인 C4.5는 성능이 가장 떨어지는 것으로 평가되었다. 10 fold cross-validation test은 모든 알고리즘이 95% 이상의 성능으로 동작을 잘 분류하였다. 환자복을 입고 측정한 실험 세트의 분류에서는 C4.5를 제외한 알고리즘들은 90% 이상의 성능을 나타내었다. NBC는 10 fold cross-validation test에서는 MLP보다 약간 좋은 결과를 나타냈지만 환자복을 착용한 실험 세트에서는 MLP보다 떨어지는 결과를 보였다.

The results of classifier

고찰

본 연구는 키넥트 센서를 활용한 재활 소프트웨어 개발을 가정하고, 의복 착용에 구애받지 않는 효과적인 동작인식을 위한 알고리즘을 기계학습에 기반하여 찾고자 하였다. 치료적 기법에 관련된 동작으로 PNF 상지 패턴 동작을 선정하여 키넥트 센서로 데이터를 얻고 얻어진 데이터를 기계학습 알고리즘에 적합한 형태로 가공한 뒤, 이를 평가하기 위해서 환자복을 착용하고 학습세트와 별개의 실험세트를 구성하여 학습 알고리즘의 성능을 평가하였다. 본 연구의 데이터 처리과정은 우선 한 동작의 움직임을 일정 단위 시간으로 정규화하고 데이터를 선형 보간 하여 일정한 샘플링 데이터를 얻었다. 이후 방향 벡터와 비교하여 이산적인 배열로 변환하고 이를 학습 데이터로 제공하였다. 분류 결과에서는 순차적인 데이터를 모델링해서 결과를 예측하는 HMM 알고리즘이 가장 좋은 성능을 보여주었다. 이는 다음과 같은 특징으로 때문으로 분석된다. HMM을 제외한 다른 알고리즘들은 배열상의 요소들의 순서의 연관성을 가정하지 않는다. 예를들어 NBC의 경우에는 동작을 나타내는 배열이 모두 동시에 일어났다고 가정하고 단순히 배열상의 동일한 요소의 개수를 셀 뿐이다. 의사결정나무나 다층 신경망의 경우에도 배열의 순서에 따라 확률이 변화하는 것이 아니라 모든 구간의 확률을 동일하게 취급한다. 하지만 HMM은 각 배열의 요소마다 다음 상태로 넘어가는 확률을 구분해서 모델링 하기 때문에, 배열 상에 나타난 요소들의 순서도 중요하게 취급한다. 따라서 시간의 흐름상 나타나는 순차열을 모델링 하는 HMM 알고리즘이 신체의 동작을 분석하는 데 가장 적합한 것으로 생각된다. 앞선 연구들에서도 동작 인식이나 분류를 위한 알고리즘으로 HMM을 많이 사용하였는데, 기울기와 위치 정보를 동시에 고려한 HMM으로 기존의 인식방법보다 성능을 향상시킨 사례가 보고되었다.19 하지만 본 연구에서는 앞선 사례에서와 달리 단순한 숫자인식이 아닌 재활치료에 실질적으로 사용될 수 있는 PNF운동패턴으로 분류를 하였다. 그리고 2차원 평면에서의 움직임을 가정한 것이 아니라, 방향 벡터를 26가지로 설정하여 공간상의 움직임을 정확하게 반영할 수 있도록 하였다. 그리고 동작이 정확히 인식되도록 많은 연구들이 티셔츠와 같은 간편한 복장으로 센서가 정확히 인식할 수 있도록 하였지만, 환자복과 같이 센서 데이터에 오류가 들어가기 쉬운 복장을 입고 동작 인식을 평가함으로써, 마커가 없는 키넥트 시스템의 장점을 최대한 활용할 수 있는 알고리즘을 찾고자 하였다.

연구에 사용된 HMM 모델은 이산적인 순차열뿐만 아니라 연속변수도 입력값으로 사용할 수 있다. 이러한 연속 HMM 모델은 이산 HMM 모델이 확률 값이 이산화 되어 유연성이 떨어진다는 단점을 해결할 수 있다.20 따라서 앞으로의 연구에서 HMM 모델을 연속 변수를 다룰 수 있도록 개선한다면 모델의 유연성을 확보하고, 신체 동작의 중요한 특징 중 하나인 관절의 각도도 확률 모델을 이용하여 학습에 활용할 수 있을 것이다.

본 연구의 한계점은 분류 동작의 개수가 적고 동작이 비교적 간단한 점이다. 본 연구가 상지의 운동에 국한되어 있으므로 하지의 PNF 패턴 운동을 포함시키거나 기타 치료적 목적을 위해 개발된 운동 패턴을 포함시켜 다양한 동작을 분류하는 것이 필요하다고 생각된다. 그리고 실험에 사용된 분류 패턴은 큰 동작을 기준으로 평가하고 있으므로 좀 더 소규모의 패턴운동에 대해서도 분류할 수 있는 데이터 세트와 분류 절차 및 관련 알고리즘이 필요하다. 또한 학습의 성능을 높이기 위해 다른 알고리즘을 도입하는 것을 고려해볼 수 있는데 다차원 데이터 인식에 유리한 서포트 벡터 머신(support vector machine, SVM)이 그 예로, HMM과 비교하여 동작 인식에 적용하였을 때 좀더 우수한 성능을 보이는 것이 보고되었다.21 또 실험자들의 연령층이 편중되어 있어 학습 데이터가 다양하지 못하다. 실제 재활 프로그램의 대상자는 고 연령층일 가능성이 높으므로 이에 맞추어 학습데이터도 다양성을 확보하여야 한다.

본 연구에 사용된 동작뿐만 아닌 다른 치료적 기법에 관한 동작을 추가하여 분류 학습하고 적절한 애플리케이션을 개발한다면 키넥트를 이용한 동작 분석은 치료사의 중재의 유무와 관계없이 재가 치료에서도 효율적인 치료가 될 수 있도록 돕는 유용한 도구가 될 수 있을 것이라 판단된다. 또한 효과적인 동작분류 알고리즘을 이용한 재활 소프트웨어를 활용한다면, 환자의 의복과 같은 부수적인 문제를 신경쓰지 않고, 물리치료사가 환자의 동작에만 집중할 수 있을 것이다. 개발한 소프트웨어가 재가 치료에 활용될 때도 효과적으로 동작인식을 할 수 있으므로, 치료사는 소프트웨어에 기록된 운동 기록을 신뢰할 수 있고 그에 따른 효율적인 중재를 고려할 수 있다. 일반 스트레칭이나 손 동작과 같은 단순한 움직임과 달리 PNF 패턴과 같은 재활 운동을 이용한 동작 분류는 이번이 첫 걸음이며, 이러한 결과를 바탕으로 앞으로 정확한 동작과 운동분석을 연계한 효과적인 분류 알고리즘을 연구할 필요가 있을 것이다. 향후 연구에는 좀 더 다양한 치료적 동작들을 포함시키고, 기존 이산 HMM 모델의 개선과 SVM 등의 다른 기계학습 알고리즘을 도입하여 비교 평가하는 것이 필요하다고 사료된다.

ACKNOWLEDGEMENTS

It was supported by convergence technology development program for bionic arm through the National Research Foundation of Korea (NRF) funded by the Ministry of Science, ICT & Future Planning (2014M3C1B2048632) and the Basic Science Research Program through the National Research Foundation of Korea (NRF) and funded by the Ministry of Education, Science and Technology (MEST 2012-0003901).

References

1. Jeong DH. Reliability and validity of the cap for computer access assessment of persons with physical disabilities. J Kor Phys Ther 2015;27(1):30–7.
2. Zhou H, Hu H. Human motion tracking for rehabilitation—a survey. Biomedical Signal Processing and Control 2008;3(1):1–18.
3. Windolf M, Gotzen N, Morlock M. Systematic accuracy and precision analysis of video motion capturing systems--exemplified on the vicon-460 system. J Biomech 2008;41(12):2776–80.
4. Della Croce U, Leardini A, Chiari L, et al. Human movement analysis using stereophotogrammetry. Part 4: Assessment of anatomical landmark misplacement and its effects on joint kinematics. Gait Posture 2005;21(2):226–37.
5. Rohr K. Incremental recognition of pedestrians from image sequences. Computer Vision and Pattern Recognition 1993. Proceedings CVPR ’93., 1993 IEEE Computer Society Conference on 1993 :8–13.
6. Park SD, Kim JY, Yu SH, et al. Comparison of balance and fall efficacy of virtual reality program in elderly women with fall experience. J Kor Phys Ther 2014;26(6):430–5.
7. Lee GH. Effects of virtual reality exercise program on balance in multiple sclerosis patients. J Kor Phys Ther 2015;27(1):61–7.
8. Pastor I, Hayes HA, Bamberg SJM. A feasibility study of an upper limb rehabilitation system using kinect and computer games. Engineering in Medicine and Biology Society (EMBC), 2012 Annual International Conference of the IEEE 2012;:1286–9.
9. Chang YJ, Chen SF, Huang JD. A kinect-based system for physical rehabilitation: A pilot study for young adults with motor disabilities. Res Dev Disabil 2011;32(6):2566–70.
10. Shotton J, Fitzgibbon A, Cook M, et al. Real-time human pose recognition in parts from single depth images. Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on 2011;:1297–304.
11. Clark RA, Pua YH, Fortin K, et al. Validity of the microsoft kinect for assessment of postural control. Gait Posture 2012;36(3):372–7.
12. Yang Y, Fang P, Yan L, et al. Reliability and validity of kinect rgb-d sensor for assessing standing balance. Sensors Journal, IEEE 2014;14(5):1633–8.
13. Bonnechere B, Jansen B, Salvia P, et al. Validity and reliability of the kinect within functional assessment activities: Comparison with standard stereophotogrammetry. Gait Posture 2014;39(1):593–8.
14. Hwang SS. Basic concept of pnf and its approach for sports injury. KINESIOLOGY 2002 2002;1:140–3.
15. Lim CG. The effects of proprioceptive neuromuscular facilitation (pnf) pattern exercise using the sprinter and the skater on balance and gait function in the stroke patients. J Kor Phys Ther 2008;26(4):249–56.
16. Vikramkumar B V, Trilochan . Bayes and naive bayes classifier. ArXiv e-prints 2014;1404:933.
17. Son J, Kim SB. Rule selection method in decision tree models. The Proceedings of KIIE 2013 2013. 1113–23.
18. Rabiner L. A tutorial on hidden markov models and selected applications in speech recognition. Proceedings of the IEEE 1989. 77(2)257–86.
19. Kim JH, Park YW, Han KP. An implementation of real-time numeral recognizer based on hand gesture using both gradient and positional information. KIPS Transactions on Software and Data Engineering 2013;2(3):199–204.
20. Sin BK. Hmm toolbox development and analysis and comparison of hmm types. The Proceedings of KMMS 2010 2010. 29–10.
21. Lee KM. Dynamic gesture recognition using svm and its application to an interactive storybook. The Journal of the Korea Contents Association 2013;13(4):64–72.

Article information Continued

Figure 1

The Kinect sensor for XBOX360.

Figure 2

The example of the data processing for a shoulder abduction.

Figure 3

Data flow for machine learning.

Figure 4

HMM classifier model.

Table 1

The results of classifier

Algorithm 10 fold cross validation test Gown

Correct classification frequency (%)
NBC 922 (98.08) 746 (90.98)
C4.5 893 (95) 578 (70.49)
MLP 919 (97.77) 760 (92.68)
HMM 930 (98.94) 802 (97.80)

NBC, Naïve bayes classifier; MLP, Multilayer perceptron; HMM, Hidden markov model.