사전 학습 모델로 하드 네거티브 POI를 찾는다 — 체크인 시퀀스 기반 next POI 추천의 네거티브 샘플링 (ASK'23, 제1저자·우수논문상)

한눈에 보기

ASK 2023 춘계학술발표대회에서 발표해 우수논문상을 받은 제1저자 논문이다.

이 논문을 한 문장으로 요약하면 이렇다. 기존 next POI 추천 연구들은 모델 학습 시 사용자의 네거티브 POI에 관한 정교한 샘플링 없이 선호도를 추론해 왔는데, 이 논문은 사전 학습된 별도의 선호도 추론 모델로 네거티브 POI로서 쉽게 분류되기 어려운 하드 네거티브 POI를 찾고 이를 위주로 샘플링하는 방법을 제안해, 랜덤 샘플링 대비 recall@5 기준 최대 16.4%의 추천 정확도 향상을 확인했다.

문제 배경 — next POI 추천에서 네거티브 샘플링은 왜 필요한가

모든 미방문 POI를 학습에 쓸 수 없기 때문에 샘플링이 들어가고, 그 샘플링이 그동안 방치되어 있었다.

POI 추천 시스템은 크게 둘로 나뉜다. 사용자가 방문했던 장소 셋(set)을 기반으로 체크인한 적 없는 POI 중 사용자가 선호할 법한 것을 찾는 POI 추천, 그리고 사용자의 체크인 시퀀스(sequence)를 이용해 현재 방문지 다음에 방문할 법한 POI를 찾는 next POI 추천이다. 이 논문은 후자에 초점을 둔다.

Next POI 추천은 “사용자의 최근 방문이 다음 방문에 영향을 미친다”는 직관을 바탕으로 시퀀스 내 방문 패턴을 분석한다. 학습은 다음과 같이 이루어진다.

• 사용자별 체크인 시퀀스 내 각 POI에 대해 next POI를 예측하도록 학습한다.
• 실제로 다음에 방문한 POI(포지티브 POI)의 예측점수는 높아지도록 학습한다.
• 방문하지 않은 나머지 POI(네거티브 POI)의 예측점수는 낮아지도록 학습한다.

문제는 시퀀스 내 각 POI마다 모든 네거티브 POI를 학습하면 시간이 지나치게 많이 걸린다는 점이다. 그래서 기존 연구들은 네거티브 POI 중 일부만 뽑아 학습하는 네거티브 샘플링을 적용해 이 문제를 우회했다. 즉 네거티브 샘플링은 next POI 추천 모델 학습의 필수 구성 요소인데, 정작 “어떤 POI를 뽑을 것인가”는 정교하게 다루어지지 않았다.

기존 네거티브 샘플링 방법의 지형 (표 1)

랜덤·인기도·거리·카테고리 네 갈래 모두 사용자와 이전 POI에 무관한 휴리스틱이다.

표 1을 읽을 때 두 가지 사실을 함께 봐야 한다.

• 인기도 기반은 next POI에서 실패했다. GeoSAN[3]은 “모든 사용자의 체크인 횟수가 많은 인기 아이템은 사용자가 알고 있음에도 선택하지 않은 아이템일 확률이 높다”는 가정의 인기도 기반 샘플링[8]을 next POI 추천에 적용해 봤지만, 오히려 성능이 떨어지는 것을 확인했다.
• 거리는 '제외'의 논리로 쓰였다. GeoSAN[3]과 ATST-LSTM[4]은 현재 위치에서 멀리 떨어져 있어 방문하지 않았을 뿐 실제로는 선호할 수 있는 POI가 네거티브로 학습되는 것을 막기 위해, 포지티브 POI와 가까운 POI 중에서 네거티브를 선택했다.

그러나 이들 모두 공통된 한계를 가진다. 사용자 및 이전 POI별로 네거티브로 학습해야 하는 중요한 POI를 구별해 샘플링하지 못한다. 사용자와 이전 POI에 따라 모델이 예측한 네거티브 POI의 예측점수는 서로 다른데, 기존 방법의 샘플링 확률은 그 예측점수와 아무런 관계가 없다.

관찰 — '선호도는 낮은데 예측점수가 높은 POI'가 하드 네거티브다

이 논문의 출발점이 되는 한 문장의 관찰.

네거티브 POI 중 사용자의 선호도가 낮은데도 불구하고 예측점수가 높게 평가된 POI가 있다면, 그것은 사용자의 네거티브 POI로서 쉽게 분류되기 어려운 하드 네거티브 POI임을 의미한다. 이러한 샘플들을 위주로 네거티브 샘플링을 수행해 모델을 학습하면 더 정확한 사용자 선호도 추론이 가능해질 것이다.

따라서 제안 방향은 명확해진다. 사전 학습된 추천 모델에서 예측점수가 높은 POI일수록 샘플링 확률을 더 높게 주는 것이다. 이때 '예측점수가 높다'는 판단의 기준이 되는 모델을 어디서 가져오는지가 설계의 핵심이 된다.

관련 연구 — DNS [7]와 무엇이 다른가

'학습 중인 모델의 매 에폭 점수'가 아니라 '사전 학습된 별도 모델의 점수'를 쓴다.

하드 네거티브를 쓰겠다는 발상 자체는 협업 필터링 쪽에 선례가 있다. Dynamic Negative Sampling(DNS, SIGIR 2013 [7])은 학습 중인 모델의 각 에폭마다 예측점수가 높은 네거티브 아이템을 네거티브 샘플로 선택한다.

즉 차이는 두 축이다. 첫째, 점수를 학습 중인 모델에서 읽는지 미리 학습해 둔 다른 모델에서 읽는지. 둘째, 상위 아이템을 결정론적으로 고르는지 확률적으로 가중하는지. 이 논문은 후자 쪽을 택했다.

제안 방안 (1) — 거리 기반 후보 제한, N = 10km

먼 POI는 '싫어서' 안 간 게 아니라 '멀어서' 안 간 것일 수 있다.

제안 방안의 첫 단계는 포지티브 POI와 거리가 먼 네거티브 POI를 네거티브 샘플 후보에서 제외하는 것이다. GeoSAN[3]과 ATST-LSTM[4]의 연구를 따라, 일정 거리 이상 떨어진 POI를 후보에서 빼낸다.

• 근거: 현재 위치에서 멀리 떨어져 있어 방문하지 않았을 뿐, 실제로는 사용자가 선호할 수 있는 POI가 네거티브로 학습되는 것을 방지한다. 이런 POI를 네거티브로 학습하면 잘못된(false) 부정 신호를 주게 된다.
• 실험 설정: 거리 필터링 기준은 N = 10km다.

이 단계는 '무엇을 뽑을까'가 아니라 '무엇을 후보에서 지울까'를 결정한다. 뒤이어 오는 확률 계산은 이렇게 걸러진 후보 집합 안에서만 이루어진다. 참고로 이 거리 필터는 후속 WWW'24 연구에서 곱셈 요인(DoP 내부의 (1 − d))으로 바뀌는데, 이 논문 단계에서는 이진(binary) 필터로만 쓰였다.

제안 방안 (2) — 사전 학습 모델의 예측점수 사분위로 샘플링 확률 계산

1분위 대비 2·3·4분위에 각각 +5%, +10%, +15%의 샘플링 확률을 준다.

두 번째 단계가 이 논문의 실질적 기여다. 절차는 다음과 같다.

• 학습하고자 하는 추천 모델과 동일한 별도의 모델을 준비하고, 랜덤 샘플링을 이용해 사전 학습시킨다.
• 사전 학습이 완료되면, 그 모델에서 사용자 및 이전 POI에 따라 예측한 네거티브 POI의 예측점수를 산출한다. 즉 점수는 전역 상수가 아니라 (사용자, 이전 POI) 문맥마다 달라진다.
• 산출한 예측점수를 사분위수에 따라 네 개의 그룹으로 나눈다.
• 예측점수가 높을수록 더 높은 확률로 샘플링되도록, 1분위수 안의 네거티브 POI 대비 2·3·4분위수 POI의 샘플링 확률이 각각 5%, 10%, 15% 더 높도록 설정한다.

가중치가 +5/10/15%로 완만한 이유는, 하드 네거티브만 결정론적으로 뽑아 버리면 학습이 특정 POI에 치우치기 때문이다. 확률적 가중은 랜덤 샘플링의 다양성을 유지하면서 하드 네거티브의 비중만 끌어올리는 절충안이다.

제안 방안 (3) — Warm-up 이후부터 적용 (K = 30 / 50)

충분히 학습되지 않은 모델의 점수를 근거로 하드 네거티브를 고르면 학습이 망가진다.

세 번째 단계는 적용 시점이다. 일정 K 에폭까지는 랜덤 샘플링으로 추천 모델을 학습시켜 warm-up하고, warm-up이 끝난 추천 모델에 대해 이후 에폭부터 (2)에서 설정한 샘플링 확률에 따라 네거티브 샘플을 선택해 학습한다.

이 설정은 임의로 정한 값이 아니라, 4절 실험에서 없으면 성능이 떨어진다는 것이 직접 확인된 조건이다. 학습 초기에는 모델이 아직 사용자 선호도를 제대로 표현하지 못하므로 '예측점수가 높다'는 신호 자체가 신뢰할 수 없고, 그 상태에서 하드 네거티브 위주로 학습하면 잘못된 방향으로 강하게 밀리게 된다.

그림 1 워크스루 — 하나의 예시로 본 세 단계

논문 그림 1이 서울 체크인 시퀀스 예시로 전체 파이프라인을 한 장에 담았다.

그림 1의 예시는 다음과 같이 읽는다.

• 입력 시퀀스: 서울 레스토랑 A → 서울 카페 B → 서울 골프장 C → 서울 레스토랑 A → 서울 카페 B → 서울 레스토랑 A → “?”. 마지막 시점의 포지티브 POI는 B다.
• 사전 학습된 모델의 예측점수: 서울 골프장 D 0.7, 서울 노래방 E 0.4, 서울 지하철 F 0.3, 서울 학교 G 0.2, 강원 카페 H 0.7.
• (1) 거리 필터링: 거리가 N km보다 큰 강원 카페 H는 네거티브 샘플에서 제외된다. H는 예측점수가 D와 같은 0.7이지만, 멀어서 방문하지 않았을 가능성이 높으므로 애초에 후보가 아니다. 이 예시가 거리 필터의 필요성을 그대로 보여 준다.
• (2) 예측점수에 따른 샘플링: 남은 D·E·F·G 중 예측점수가 가장 높은 D에 가장 높은 샘플링 확률이 배정된다(그림 표기: D / E 0.95 / F 0.9 / G 0.85).
• 학습 효과: D를 네거티브 샘플로 선택해 학습하면 D의 예측점수가 0.7 → 0.4(↓)로 내려가고, E 0.4 / F 0.3 / G 0.2와의 서열이 교정된다. 즉 “점수가 높은데 방문하지 않은 POI”의 점수를 우선적으로 끌어내리는 것이 목표다.
• (3) 적용 시점: 이 (2)의 샘플링은 warm-up된 추천 모델에 대해서만 적용한다.

실험 설정 — 데이터셋과 프로토콜 (표 2)

Foursquare NYC·TKY, 시간순 70/10/20 분할, 베이스 모델은 STAN.

실세계 데이터셋인 Foursquare 뉴욕(NYC)·도쿄(TKY) 데이터셋을 사용했다. 두 데이터셋의 성격 차이가 결과 해석에 중요하다. TKY는 사용자가 절반(500명)인데 POI는 더 많고(7,872개) 체크인은 더 적어(100,128건), 사용자당 시퀀스가 짧고 POI 공간은 넓은 더 어려운 조건이다.

비교한 조건은 다섯 가지다.

• 랜덤 샘플링 — 기존 방식, 기준선
• 하드 네거티브 샘플링 (warm-up X) — 예측점수가 높을수록 확률↑, 처음부터 적용
• 하드 네거티브 샘플링 (warm-up O) — 제안 방안
• 이지 네거티브 샘플링 (warm-up X) — 예측점수가 낮아 네거티브로 분류하기 쉬운 POI 위주
• 이지 네거티브 샘플링 (warm-up O) — 거리 필터는 동일하게 적용

이지 네거티브 조건이 중요하다. 거리 필터링을 동일하게 두고 예측점수의 방향만 뒤집었으므로, 성능 차이를 '거리 필터의 효과'가 아니라 '하드 네거티브를 골랐다는 사실'에 귀속시킬 수 있게 하는 대조군이다.

결과 — NYC 데이터셋 (표 3)

제안 방안이 12개 지표 전부에서 랜덤 샘플링을 앞선다.

표 3의 값에서 직접 계산한 상대 향상률(랜덤 샘플링 기준)은 다음과 같다.

순위 민감 지표(M@5, G@5)의 향상 폭이 recall@5보다 크다는 점이 눈에 띈다. 하드 네거티브를 눌러 준 결과가 단순히 정답을 상위 5개 안에 넣는 것에 그치지 않고, 상위 구간 내부의 순서까지 개선했다는 뜻이다.

결과 — TKY 데이터셋 (표 4)

향상 폭은 NYC보다 작고, 작은 k에 집중된다.

표 4에서 직접 계산한 상대 향상률(랜덤 샘플링 기준)은 다음과 같다.

TKY에서는 k가 커질수록 이득이 빠르게 줄어든다(R@5 +7.8% → R@20 +1.7%). 사용자 수는 절반인데 POI는 7,872개로 더 많아 후보 공간이 넓고 시퀀스가 짧으므로, 사전 학습 모델의 예측점수 자체가 NYC보다 덜 신뢰할 만한 신호였을 가능성이 크다. TKY의 warm-up 에폭 K를 50(총 60에폭 중 50)으로, NYC의 30(총 50에폭 중 30)보다 훨씬 길게 잡아야 했던 것도 같은 방향의 정황이다.

결과 해석 — 세 가지 결론

warm-up의 필수성, 하드 > 이지, 그리고 '거리 필터만으로는 안 된다'는 확인.

① 사전 학습 모델을 이용하면 향상된다

랜덤 샘플링 대비 recall@5 기준 NYC +16.4%, TKY +7.8% 향상했다.

② 사전 학습 모델 없이 적용하면 오히려 하락한다

하드 네거티브 위주 샘플링을 사전 학습 모델(warm-up) 없이 적용하면 랜덤 샘플링 대비 recall@5 기준 NYC −12.2%, TKY −11.5%의 성능 하락을 보였다. 즉 '하드 네거티브를 쓴다'는 아이디어 자체가 항상 이득인 것이 아니라, 점수를 매기는 모델이 충분히 학습되어 있어야 한다는 전제가 붙는다. 이것이 이 논문에서 가장 실용적인 발견이다.

③ 하드 네거티브가 이지 네거티브보다 좋다

거리 필터링은 동일하게 적용하고 예측점수가 낮아 네거티브로 분류하기 쉬운 이지 네거티브 위주로 샘플링했을 때와 비교하면, 사전 학습 모델 이용 시 하드 네거티브 샘플링이 NYC 기준 +7.2%, TKY 기준 +7.2% 높았다. 거리 필터라는 공통 요인을 통제한 뒤에도 격차가 남았으므로, 향상분이 거리 필터가 아니라 예측점수 기반 가중에서 왔다는 뜻이다.

왜 warm-up 이후여야 하는가 — 다섯 조건을 한 표로

표 3·4의 R@5를 랜덤 샘플링 기준 상대값으로 정리하면 다음과 같다(계산값).

이 표를 세로로 읽으면 warm-up의 효과가 방향(하드/이지)과 무관하게 일관적임을 알 수 있다. warm-up이 없으면 네 조건 모두 랜덤보다 나쁘고, warm-up이 있으면 두 조건 모두 랜덤보다 좋다. 그 위에서 하드가 이지보다 한 단계 더 좋다. 다시 말해 warm-up은 '무엇을 고를지'와 독립적인 필요조건이고, 하드 네거티브는 그 위에 얹히는 개선이라는 구조가 드러난다.

우수논문상

한국정보처리학회 ASK 2023 춘계학술발표대회 우수논문상.

이 논문은 한국정보처리학회가 주최한 ASK 2023 학술발표대회에서 발표되어, 논문 심사위원회의 엄정한 심사를 거쳐 우수논문상으로 선정되었다. 상장 정보는 다음과 같다.

WWW'24로의 확장 — 무엇을 남기고 무엇을 바꿨는가

예비 연구에서 확인한 골격은 유지하고, '하드 네거티브를 판정하는 방식'과 '적용 절차'를 전면 교체했다.

ASK'23은 아이디어의 존재 증명(proof of concept)에 해당한다. 베이스 모델 1종, 데이터셋 2종, 그리고 사전 학습 모델이라는 다소 무거운 장치가 필요했다. 후속 WWW'24 연구는 이 세 지점을 모두 손봤다.

남긴 것

• “예측점수가 높은데 방문하지 않은 POI가 곧 하드 네거티브”라는 정의
• 거리를 반드시 고려해야 한다는 제약 — 멀어서 안 간 POI를 부정 예시로 학습하면 안 된다
• 하드 네거티브를 결정론적으로 뽑지 않고 확률적으로 가중한다는 설계

바꾼 것

• 사전 학습 모델을 없앴다. ASK'23은 별도 모델을 랜덤 샘플링으로 끝까지 학습시켜야 했으므로 학습 비용이 사실상 두 배였다. WWW'24는 학습 중인 모델을 그대로 채점자로 써서 이 비용을 제거했다.
• warm-up 의존을 동적 샘플링으로 흡수했다. ASK'23은 K를 데이터셋마다 손으로 찾아야 했다(NYC 30, TKY 50). 매 시점 다시 고르는 방식으로 바꾸면서 이 조건 탐색의 부담이 줄었다.
• 거리를 필터에서 점수로 승격시켰다. 10km 이진 컷은 정보 손실이 크다. (1 − d)를 곱셈 요인으로 넣어 “가까울수록 하드 네거티브로서의 가치가 크다”를 연속적으로 표현했다.
• 사분위 +5/10/15%라는 임의성을 DoP 하나로 정식화했다.

성과 측면에서도 연결된다. ASK 2023 우수논문상 → WWW 2024 게재(공동 제1저자) → 「Next-POI 추천을 위한 네거티브 POI 샘플링 방법 및 그 시스템」 국내·국제 특허 출원으로 이어졌다.

이 연구의 위치 — KCC'22에서 WWW'24까지

세 편이 하나의 질문을 이어서 다룬다.

본인의 기여는 제1저자로서 문제 정의, 제안 방안 설계, STAN 재현과 제안 기법 구현, 데이터셋 전처리와 실험 수행, 논문 작성 및 학술대회 발표 전 과정이다.

한계와 남은 질문

3쪽 분량의 예비 연구가 남긴 빈칸들 — 대부분이 WWW'24의 작업 목록이 되었다.

• 베이스 모델 1종. STAN 하나에서만 검증했으므로, 향상이 STAN의 특정 구조(공간-시간 어텐션)에 의존하는지 판별할 수 없다. WWW'24에서 5종으로 확장한 이유다.
• 하이퍼파라미터의 근거 부족. 사분위 가중치 +5/10/15%, 거리 필터 N = 10km, warm-up 에폭 K = 30/50에 대한 민감도 분석이 없다. 특히 K가 NYC 30(총 50) / TKY 50(총 60)으로 크게 다른데, 그 차이를 설명하는 분석은 논문에 포함되지 않았다.
• 사전 학습 비용. 동일 구조의 별도 모델을 랜덤 샘플링으로 끝까지 학습시켜야 하므로 총 학습 비용이 사실상 두 배다. 시간 복잡도 분석은 이 논문에 없다.
• 거리 필터의 이진성. 10km 컷은 9.9km와 10.1km를 전혀 다르게 취급한다. 거리를 연속 값으로 쓰는 것이 자연스러운데, 이 논문에서는 검증하지 않았다.
• 지표 이름의 표기. 표 3·4는 R/M/G로만 표기되어 있어, M과 G의 정식 지표명이 본문에 명시되지 않았다.

배운 것을 한 줄로

“어려운 예시로 학습하면 좋다”는 직관은 그 자체로는 성립하지 않는다. 무엇이 어려운 예시인지를 판정하는 주체가 얼마나 믿을 만한가가 먼저다. warm-up 없이 적용했을 때의 −12.2% / −11.5%가 그 사실을 가장 분명하게 보여 준 숫자였고, 이 관찰이 다음 논문의 설계를 결정했다.

논문 초록과 서론의 출발점 — 실서비스에서 온 문제

논문 첫 두 단락은 네이버 스마트 어라운드·포스퀘어라는 실제 서비스에서 문제를 끌어온다.

논문의 국문 요약(요약)은 다음과 같다.

최근 위치 기반 장소(POI) 추천 서비스가 많이 사용되면서, 사용자의 이전 방문지들에 대한 체크인 시퀀스를 기반으로 현재(다음으로) 방문할 법한 POI를 찾아 사용자에게 추천하는 next POI 추천 시스템에 관한 연구가 활발히 진행되고 있다. 하지만, 기존 연구들의 경우 next POI 추천을 위한 모델 학습 시, 사용자의 네거티브 POIs에 관한 정교한 샘플링 없이 사용자 선호도를 추론해왔다. 본 연구에서는, 사전 학습된 별도의 사용자 선호도 추론 모델을 통해 사용자의 네거티브 POI로서 쉽게 분류되기 어려운 하드 네거티브 POIs를 찾고, 이들을 위주로 수행되는 하드 네거티브 샘플링 방법을 새롭게 제안한다. 우리는 실 세계 데이터셋을 이용한 실험을 통해, 제안 방안이 기존 연구들에서 사용되어 온 랜덤 네거티브 샘플링 방법 대비 recall@5 기준, 최대 16.4%까지 추천 정확도를 향상시킬 수 있음을 확인하였다.

서론은 학술적 정의에서 시작하지 않고 실제로 쓰이는 서비스에서 시작한다.

• 최근 네이버 스마트 어라운드, 포스퀘어(Foursquare) 등 위치 기반 장소 추천 서비스의 사용이 증가하고 있다.
• 이러한 서비스에서 사용자는 자신이 방문했던 장소들에 대한 체크인 기록을 저장한다.
• 그리고 저장된 체크인 기록 및 현 위치를 바탕으로, 방문할 법한 장소(Point-Of-Interest, POI)를 추천받는다.

이 세 줄이 뒤에 오는 설계를 그대로 예고한다. '체크인 기록'이 있으므로 시퀀스 모델(next POI 추천)이 성립하고, '현 위치'가 추천의 입력이므로 지리적 거리를 무시한 네거티브 샘플링은 서비스의 전제와 어긋난다. 제안 방안의 첫 단계가 거리 기반 후보 제한(N = 10km)인 이유가 여기서 나온다. 실험 데이터셋으로 Foursquare NYC·TKY를 쓴 것도 서론에서 언급한 서비스와 같은 계열이다.

또한 서론은 기존 next POI 추천 연구 전반을 [1,2,3,4,5]로 묶어 인용하면서, 그중 랜덤 샘플링을 쓰는 계열은 [1, 2, 6], 포지티브 POI와 지리적 거리가 짧은 POI를 고르는 계열은 [3]으로 세분한다. 즉 표 1의 분류는 서론 단계에서 이미 인용 번호로 구조화되어 있다.

참고문헌 [1]~[8] 서지 정보

본문 인용 번호가 어떤 논문인지 — 학회·개최지·연도·페이지까지.

이 논문이 기대고 있는 문헌은 여덟 편이다. 인용 번호와 본문에서의 역할을 함께 정리하면 다음과 같다.

이 목록을 보면 문헌의 성격이 두 갈래로 나뉜다. [1]~[6]은 next POI 추천 모델 자체(WWW·SIGKDD·ICDE·TSC·Information Sciences)이고, [7]·[8]은 네거티브 샘플링 방법론(SIGIR·ICLR)이다. 이 논문의 위치는 정확히 그 사이 — next POI 추천 모델의 학습 절차 안으로 일반 추천 분야의 샘플링 방법론을 끌어오는 자리다. 참고로 본문에서 '인기도 기반 샘플링[8]'의 원래 문제 설정은 아이템 구매(“알고 있음에도 불구하고 구매하지 않은 아이템”)였고, 그 가정이 체크인 도메인에서는 성립하지 않았다는 것이 [3]의 관찰이다.

서지 정보와 연구비 지원

논문집 페이지, 저자 이메일, 5절 구성, 그리고 감사의 글에 명시된 연구과제 3건.

서지 정보

감사의 글 — 연구비 지원 3건

논문 감사의 글에는 세 개의 국가 연구과제가 명시되어 있다.

세 과제의 조합이 석사 과정의 연구 환경을 그대로 보여 준다. RS-2022-00155586은 하이퍼그래프 마이닝 SW스타랩 과제로, 추천·그래프 계열 연구의 본류에 해당한다. 2020-0-01373은 소속 학과(인공지능학과)의 AI 대학원 지원 과제다. 그리고 SR202104001은 지능형 개인맞춤 재활운동 서비스 기술개발 — 즉 이 시기에 추천 시스템 연구와 재활운동/헬스케어 응용 과제를 동시에 수행하고 있었다는 기록이다.