김예빈Yebeen Kim

포트폴리오 · 산학·서비스 개발

학교장 역량 진단검사(PCI) 온라인 자가진단 서비스

73문항 6점 척도 응답 하나로 8개 상위역량·22개 세부역량·리더십 유형까지 — 웹 결과지와 16쪽 PDF 리포트를 자동으로 돌려주는 진단 서비스의 프론트/백엔드 전체 구현

기간
서울대학교 기술지주회사 ㈜앱티마이저 2023.12 – 현재
역할
프론트엔드·백엔드 단독 개발 (랜딩/설문/결과지 화면, API, Excel 채점엔진 연동, 리포트 생성·메일 발송 파이프라인)
발표·산출
진단도구 원저: 서울대학교 한국인적자원연구센터 학교장 역량 진단도구(PCI)
날짜
2023.12 – 현재
목차 15개 절
목차
  1. 1. 무엇을 만들었나
  2. 2. 이 진단은 평가가 아니라 자가진단이다
  3. 3. 역량 모형 — 8개 상위역량 · 22개 세부역량
  4. 4. 73문항 6점 척도 — 문항 설계와 과장응답 확인 문항
  5. 5. 점수를 매기는 기준 — T점수, 5단계 판정, 과장응답 구간
  6. 6. 설문 화면 — 8섹션 구조와 1문항 1화면
  7. 7. 아키텍처 — 채점 산식이 워크북 안에 있었다
  8. 8. 웹 결과지 — 하나의 긴 페이지, 8종 차트
  9. 9. 리더십 유형분석 — 8개 행동 준거와 준거집단 산점도
  10. 10. 16쪽 PDF 결과보고서 자동 생성·발송
  11. 11. 데모 응답으로 본 결과지 실제 수치
  12. 12. 운영에서 걸린 문제들
  13. 13. 전체 흐름 — 랜딩부터 결과지까지
  14. 14. 같은 시기의 부수 작업
  15. 랜딩 페이지 한 장 전체
요약
  • 서울대학교 한국인적자원연구센터가 역량모델링으로 개발한 학교장 역량 진단도구(PCI)를 온라인 자가진단 서비스로 구현했다. 73문항 6점 척도, 소요시간 약 20~30분이다.
  • 기초역량 4개 + 직무역량 4개, 합계 8개 상위역량과 22개 세부역량을 채점하고, 과업지향/관계지향 두 축으로 리더십 유형까지 판정한다.
  • 응답이 저장되는 순간 채점이 시작되어, 응답자는 별도 요청 없이 웹 결과지를 즉시 보고 16쪽 PDF 결과보고서를 메일로 받는다.
  • 점수는 절대점수가 아니라 T = Z × 10 + 80(평균 80·표준편차 10) 표준점수이며, 모든 수치를 '나의 점수 / 준거집단 전체평균 / 상위 20% 점수' 세 값과 나란히 제시한다.
  • 채점 산식이 이미 연구팀의 매크로 워크북 안에 있었기 때문에, 산식을 다시 구현하는 대신 워크북을 요청마다 사본으로 복제해 값을 주입·재계산하고 그 결과를 웹 차트 8종으로 다시 그리는 구조를 만들었다.
  • 웹 결과지 경로와 메일 PDF 경로가 서로 다른 워크북을 쓰고 있어 같은 응답에 다른 점수가 나오는 문제를 발견해 기록해 두었다(총점 78.6 vs 65.8).
주요 수치
73문항진단 문항6점 척도 · 약 20~30분 · 1문항 1화면
8 + 22분석 역량상위역량 8개(기초 4·직무 4), 세부역량 22개
16페이지결과보고서DOCX 생성 → PDF 변환 → 메일 자동 발송
8종웹 결과지 차트막대·레이더·그룹막대·산점도 (ECharts 5)
T = Z × 10 + 80표준점수평균 80 · 표준편차 10, 5단계 수준 판정
약 4분 / 건결과 산출 시간워크북 사본을 열어 전체 재계산하는 비용

1. 무엇을 만들었나

연구팀의 역량모형을 '지금 내가 실제로 어떤 행동을 하고 있는지'로 바꿔 돌려주는 온라인 진단 서비스.

이 프로젝트는 서울대학교 한국인적자원연구센터가 역량모델링(competency modeling)으로 개발한 학교장 역량 진단도구(PCI, Principal Competency Inventory)를 온라인 자가진단 서비스로 옮긴 작업이다. 종이·엑셀로 운영되던 진단을 웹에서 응답받고, 채점과 리포트 생성을 자동화해 응답자가 별도 요청 없이 결과를 받아보게 만드는 것이 목표였다. 프론트엔드(랜딩·설문·결과지)와 백엔드(응답 저장, 채점 엔진 연동, 리포트/PDF 생성, 메일 발송)를 모두 맡았다.

서비스를 한 문장으로 정리하면 이렇다. 학교장·예비학교장이 자신의 행동 수준을 스스로 진단하고, 강점과 보완영역을 행동 언어와 상대적 수준으로 확인하는 온라인 진단 서비스. 응답이 끝나면 별도 요청 없이 웹 결과지와 PDF 리포트를 받아본다.

항목내용
기반서울대학교 한국인적자원연구센터 학교장 역량 진단도구(PCI)
진단 대상예비교장 · 신임교장 · 중견교장 (학교장·예비학교장의 자가진단)
진단 문항역량모형 기반 73문항 · 6점 척도 · 약 20~30분
분석 항목기초역량·직무역량 8개 상위역량, 22개 세부역량, 리더십 유형
결과 산출웹 결과지 즉시 확인 + 16페이지 PDF 리포트 메일 발송
진단 프로그램 책임자오헌석 교수(서울대학교 교육학과), 문의 담당 서동인 박사(서울대 한국인적자원연구센터)

랜딩 페이지는 진단도구 소개 → 학교장 역량 모형 → 진단 흐름 4 Step → 결과 안내 → 도입 및 운영 문의까지 한 페이지에 담고, 상단 '시작하기'로 설문에 바로 진입한다. 전체 세로 길이는 10,434px이다.

랜딩 페이지 히어로 영역 — '학교장 역량 진단검사'
랜딩 페이지 히어로 영역 — '학교장 역량 진단검사'
진단도구 소개 섹션 — '학교장 역량 진단검사란?'
진단도구 소개 섹션 — '학교장 역량 진단검사란?'
진단 흐름 4 Step — 온라인 자기진단 → 역량모형 이해 → 결과 확인 → 실행계획 수립
진단 흐름 4 Step — 온라인 자기진단 → 역량모형 이해 → 결과 확인 → 실행계획 수립

2. 이 진단은 평가가 아니라 자가진단이다

설계 전제가 화면 문구·검증 로직·결과 해석문 전체를 규정했다.

서비스에서 가장 중요한 전제는 이 검사가 평가·선발 도구가 아니라는 점이다. 설문 첫 화면(검사 안내)에 그 전제가 그대로 적혀 있다.

  • 자가진단(Self Assessment) 도구이며 평가가 아니다. 결과는 평가 도구로 활용되지 않으며 어떠한 불이익도 없다.
  • 의견조사(설문)가 아니다. 본인의 생각이 아닌, 실제 수행했던 행동을 기준으로 응답해야 한다.
  • 직관적 응답이 아니라 충분한 시간을 들여 정확히 응답한다.
  • 교육전문직원의 경우 최종 근무학교를 기준으로 작성한다.

진단 대상은 예비교장·신임교장·중견교장 세 층이고, 결과보고서 첫 장에 명시된 목적도 각각 다르다. ① 잠재력 평가 및 성장지원, ② 우수교장이 되기 위한 개발 가이드라인 제공, ③ 좋은 학교를 만들기 위한 자기혁신의 준거점 제공. 결과지 전체가 "당신은 몇 점"이 아니라 "어떤 행동이 부족한지"를 말하도록 문구가 구성된 것도 이 전제 때문이다.

진단 이전과 이후의 차이를 정리하면 다음과 같다.

진단 이전 — 막연한 자기 인식진단 이후 — 행동 단위의 진단 결과
내가 어떤 역량이 부족한지 구체적으로 모름22개 세부역량까지 쪼개어 강한 영역과 약한 영역을 구분
'잘하고 있다'는 느낌만 있고 비교 기준이 없음준거집단 평균·상위 20%와 비교한 상대적 위치 제시
역량이라는 말이 추상적이라 무엇을 바꿔야 할지 불분명역량을 행동 언어로 풀어 무엇을 바꿔야 하는지 안내
개발이 필요한 영역의 우선순위를 정하기 어려움강점 2개·약점 2개를 근거 점수와 함께 우선순위로 제시
자기 응답이 과장되었는지 스스로 알기 어려움과장응답 점수로 결과 해석의 신뢰 수준까지 안내
설문 섹션 1 — 검사 안내. 자가진단·비평가·행동 기준 응답 원칙을 먼저 고정한다
설문 섹션 1 — 검사 안내. 자가진단·비평가·행동 기준 응답 원칙을 먼저 고정한다
랜딩 결과 안내 — 행동지표 기반 강점·보완영역과 상대적 수준
랜딩 결과 안내 — 행동지표 기반 강점·보완영역과 상대적 수준

3. 역량 모형 — 8개 상위역량 · 22개 세부역량

학생 성장을 최종 목표로 기초역량 4개(세부 8개)와 직무역량 4개(세부 14개)가 유기적으로 연결된 구조.

학교장 역량모형은 학생 성장을 최종 목표로 두고, 기초역량(학교장이 직무역량을 수행하거나 직무역량의 지속적 개발·향상에 기반이 되는 역량)과 직무역량(학교장의 다차원적 직무를 원활하게 수행하기 위해 필수적으로 요구되는 역량)으로 나뉜다. 세부역량마다 행동지표 문항이 배정되어 있어, 점수는 '행동을 얼마나 실제로 수행하는가'를 기준으로 산출된다.

기초역량 — 4개 상위역량 · 8개 세부역량

상위역량세부역량정의
1. 학생중심 사고학생의 성장과 발달을 최우선으로 사고하는 역량
1.1. 학생과 직접적 관계형성학생과 직접적인 관계를 맺고 상호작용하는 능력
1.2. 취약층 중심 사고취약층 학생들에게 관심을 갖고 정서적, 사회적 발달을 지원하는 능력
2. 변화 추진학교의 상황에 대해 분석적으로 사고하여 변화를 추진하고 관리하는 역량
2.1. 상황인식 및 분석적 사고학교의 상황을 파악하고 현존 문제와 잠재적 문제에 관한 정보를 획득하고 분석하는 능력
2.2. 혁신적 사고 및 위험감수학교운영과 관련된 기존의 방식을 탈피하여 새로운 관점으로 바라보고 다양한 혁신을 추진하는 능력
3. 민주적 관리민주적 절차를 통해 다양한 구성원의 의견을 수렴하여 의사결정하고 설득하는 역량
3.1. 민주적 의사결정민주적 절차를 통해 다양한 구성원의 의견을 수렴하여 의사결정하는 능력
3.2. 권한위임교직원이 자발적으로 참여하여 주인의식을 갖고 자신의 역할과 임무를 수행할 수 있도록 지원하는 능력
4. 자기개발자신의 전문성 신장을 위해 지속적으로 관리하고 개발하는 역량
4.1. 지속적인 학습끊임없이 학습하고 연구하는 태도 및 자세
4.2. 자기성찰자기 자신을 객관적으로 바라보고 평가, 반성하는 능력

직무역량 — 4개 상위역량 · 14개 세부역량

상위역량세부역량정의
5. 교사 전문성 신장교사 개인 및 팀이 전문성을 개발하고 유지하도록 지원하는 역량
5.1. 교사 수업능력개발교사의 수업과정과 활동의 문제점을 분석하고 개선을 위한 방향을 제시하는 능력
5.2. 교사 연구지원교사들이 수업에 대해 연구하고 학습할 수 있도록 독려하고 지원하는 능력
5.3. 교사 경력 코칭 및 멘토링교사가 실력을 향상시키고 경력 목표를 성취할 수 있도록 지도하고 조언하는 능력
6. 교육과정 운영 및 관리학교여건에 맞는 비전과 목표를 수립하고 이를 내실있게 운영하는 역량
6.1. 교육비전 제시학교 교육의 방향을 설정하고 비전을 개발하여 학교구성원과 효과적으로 소통하는 능력
6.2. 교육목표 및 실천전략 수립학교 구성원과 함께 교육 목표와 실천 전략을 수립하는 능력
6.3. 학교 여건에 맞는 교육과정 개발 및 운영지역과 학교의 특성에 맞는 교육과정을 개발하고 운영하는 능력
6.4. 교육과정 평가 및 개선교육활동에 대해 평가하고 교육과정 개선을 지원하는 능력
7. 화합문화 구축서로 협력하고 화합하는 공동체 문화를 형성하는 역량
7.1. 교직원과의 신뢰관계 구축교직원과 상호신뢰하며 우호적 관계를 형성하고 유지하는 능력
7.2. 설득 및 협력 획득다른 의견을 가진 학교 구성원을 설득하거나, 타협점을 찾아 합의를 도출하는 능력
7.3. 구성원 소통 촉진 및 관리학교 구성원 간의 의사소통과 협업이 원활히 이루어질 수 있도록 지원하고 관리하는 능력
8. 지원환경 구축학부모 및 지역사회와의 협력관계를 구축하여 다양한 지원관계를 형성하는 역량
8.1. 학부모와의 파트너십 구축학부모와의 적극적 소통을 통해 긴밀한 협조체제를 형성하는 능력
8.2. 학부모 갈등 및 민원관리학부모와 학교 사이에 발생하는 갈등과 민원의 원인을 찾아 신속, 적절하게 해결하는 능력
8.3. 지역사회와의 파트너십 구축지역사회와 바람직한 관계를 형성하고 협력을 이끌어 내는 능력
8.4. 자원확보 및 배분학교사업을 위한 자원을 확보하고 적절히 배분하는 능력

이 22개 세부역량 정의표는 결과지와 PDF 결과보고서 p5~p6에 동일한 내용으로 실려 있다. 결과지에서 강점·약점을 서술할 때 "이 역량은 …이기 때문에 중요합니다"라는 문장의 뒷부분이 바로 이 정의문이다.

랜딩 페이지의 학교장 역량 모형 도식 (기초역량 / 직무역량)
랜딩 페이지의 학교장 역량 모형 도식 (기초역량 / 직무역량)
결과지 상단 — 학교장 역량모형 도식
결과지 상단 — 학교장 역량모형 도식
결과지 기초역량 소개 — 상위·세부역량 정의표
결과지 기초역량 소개 — 상위·세부역량 정의표
결과지 직무역량 소개 — 14개 세부역량 정의표
결과지 직무역량 소개 — 14개 세부역량 정의표

4. 73문항 6점 척도 — 문항 설계와 과장응답 확인 문항

문항은 생각이 아니라 행동을 묻고, 그 사이에 응답 신뢰도를 재는 문항 7개가 섞여 있다.

73개 문항은 세 묶음(20 · 20 · 33개)으로 나뉘어 1~73번 순서가 고정되어 있고, 응답값은 1~6이다. 모든 문항이 "나는 …한다" 형태의 행동 서술이다. 실제 문항 예시는 다음과 같다.

  • 1번 — 나는 평상시 학생 개개인에게 학교생활에 대해 수시로 물어본다.
  • 11번 — 나는 교사들의 혁신적 아이디어를 자주 채택하여 실행에 옮긴다.
  • 17번 — 나는 학교 업무의 중요한 부분을 최대한 교사들이 결정할 수 있도록 권한을 위임한다.
  • 50번 — 나는 학생의 변화와 성장을 분석하기 위해 정량적 자료와 함께 학생과 학부모의 설문 및 면담과 같은 정성적 자료도 종합적으로 분석해서 학교 교육과정 운영에 반영한다.
  • 71번 — 나는 교육청 또는 외부기관 등의 공모사업에 참여하여 학교에 필요한 예산을 마련한다.

여기에 과장응답 확인 문항이 섞여 있다. 검사 안내에도 "본 검사에는 과장된 응답 확인용 문항이 일부 포함되어 있습니다"라고 명시되어 있고, 채점 매핑에도 7개 슬롯이 22개 세부역량 뒤에 붙어 있다. 문항 문면상 이 7개로 읽히는 항목은 다음과 같다 — 모두 '전혀 없다 / 모두 / 완벽하게 / 한명도 빠짐없이'처럼 사회적으로 바람직하지만 현실적으로 불가능한 진술이다.

번호문항
13나는 학교운영에서 발생 가능한 문제를 사전에 모두 찾아낼 수 있다.
18나는 학교장으로서의 역할을 수행하는데 약점이 전혀 없다.
23나는 일을 추진하는 과정에서 시행착오가 전혀 없다.
37나는 교사들의 어려움을 모두 알아차리고 완벽히 해결한다.
45우리 학교의 교육과정은 모든 면에서 완벽하다.
56나는 모든 교사들의 갈등을 완벽하게 해결해 준다.
64우리 학교의 학부모는 한명도 빠짐없이 모두 나를 신뢰한다.

6점 척도의 라벨은 '매우 그렇지 않다 / 그렇지 않다 / 조금 그렇지 않다 / 조금 그렇다 / 그렇다 / 매우 그렇다'이다. 초기 운영에서 외부 설문 도구로 수집한 응답을 처리하기 위해, 이 라벨을 숫자로 환산하는 변환도 따로 두었다.

역량 문항 화면 — 1문항 1화면, 가로 6점 척도. 양끝에 '전혀 그렇지 않다 / 매우 그렇다'
역량 문항 화면 — 1문항 1화면, 가로 6점 척도. 양끝에 '전혀 그렇지 않다 / 매우 그렇다'

5. 점수를 매기는 기준 — T점수, 5단계 판정, 과장응답 구간

원점수가 아니라 준거집단(현직 교장) 안에서의 상대적 위치를 표준점수로 환산한다.

결과지의 모든 점수는 원점수가 아니라 표준점수(T점수)다. Z점수를 평균 80·표준편차 10인 분포로 전환한다.

T = Z × 10 + 80

이 T점수를 다섯 구간으로 잘라 수준을 판정한다.

나의 점수해석기준
약 90점 이상매우 우수
약 85점 이상 90점 미만우수
약 80점 이상 85점 미만보통
약 75점 이상 80점 미만미흡
약 75점 미만매우 미흡

단 역량마다 다른 기준이 적용되기 때문에 실제 판정에는 차이가 있을 수 있다는 주의문이 함께 붙는다. 과장응답 점수는 별도의 3구간이다.

과장응답 점수해석기준
60점 미만"양호" 수준으로 과장된 응답의 비율이 적음을 의미한다.
60~80점"보통" 수준으로 과장된 응답이 일부 포함되어 있음을 의미한다. 결과해석에 주의가 필요하다.
80점 이상"주의" 수준으로 과장된 응답이 다수 포함되어 있음을 의미한다. 결과해석에 각별한 주의가 필요하다.

그리고 결과지의 모든 점수는 반드시 세 값을 나란히 놓고 제시한다 — 나의 점수 / 준거집단 전체평균 / 상위 20% 점수. 준거집단 전체평균은 표준점수 정의상 8개 상위역량 모두 80.0으로 고정되고, 상위 20% 점수는 역량마다 다르다(예시 응답 기준 기초역량 87.1~89.7, 직무역량 87.7~88.2).

채점 스키마 초안은 서비스 안에도 남아 있다. 세부역량별 문항 배정도 들어 있는데, 기초역량 8개 세부역량에 각 4문항(1~32번), 직무역량 14개 세부역량에 각 3문항(33~73번, 마지막 '자원 확보 및 배분'만 2문항)으로 되어 있다. 다만 실제 운영 경로에서 점수를 산출하는 것은 이 초안이 아니라 연구팀의 매크로 워크북이다.

결과지 '다. 진단점수 해석방법' — 5단계 판정표, T점수 정의, 과장응답 점수 해석기준
결과지 '다. 진단점수 해석방법' — 5단계 판정표, T점수 정의, 과장응답 점수 해석기준

6. 설문 화면 — 8섹션 구조와 1문항 1화면

73문항을 한 화면에 늘어놓지 않고, 한 문항씩 노출하고 선택 즉시 다음으로 넘긴다.

설문은 총 8개 섹션으로 구성된다.

섹션내용
1검사 안내 — 자가진단 성격, 응답 원칙, 검사 개요(73문항·20~30분), 진단도구 개발 정보
2개인정보 수집·이용 동의 — '아니오' 선택 시 프로파일 제공 불가
3기본 인적정보 — 15개 항목
4학교장 역량모형 개요 — 기초역량/핵심역량 설명과 모형 도식
5~7역량 문항 73개 — 1문항 1화면, 6점 척도
8응답 완료 · 제출

문항 섹션(5~7)의 동작은 이렇게 만들었다.

  • 1문항 1화면. 선택 즉시 다음 문항으로 자동 이동한다.
  • 진행바. 상단 4px 바는 문항 섹션에서만 문항 진행도를 보여주고 나머지 섹션에서는 0%로 둔다.
  • 미응답 검증. 제출 시 첫 미응답을 찾아, 알림 후 해당 문항이 있는 섹션·위치로 되돌린다.
  • 응답 상태. 이전에 선택한 값이 있으면 '이전에 선택한 값이 적용되어 있습니다' 힌트를 띄운다.
  • 다음 버튼 활성화 조건은 섹션마다 다르다. 섹션 2는 동의 여부, 섹션 3은 클릭 시 검증, 5~7은 현재 문항 응답 여부.

인적정보 15개 항목은 이름, 나이(만), 성별, 총 교직경력(년), 최종학력(학사/석사/박사졸), 현재 학교(근무기관)명, 학교급(초/중/고/기타), 설립형태(국공립/사립), 학생 인원, 교사 인원, 교감 경력(개월), 교장 경력(개월), 현재 학교 복무기간(개월), 교육전문직 복무 경력(있음/없음), e-mail 주소다. 제출된 응답은 서버에서 73문항이 모두 채워졌는지와 개인정보 수집·이용 동의 여부를 다시 검증한다.

섹션 2 — 개별 프로파일 제공을 위한 개인정보 수집·이용 동의
섹션 2 — 개별 프로파일 제공을 위한 개인정보 수집·이용 동의
섹션 3 — 기본 인적정보 15개 항목
섹션 3 — 기본 인적정보 15개 항목
섹션 4 — 학교장 역량모형 개요와 도식
섹션 4 — 학교장 역량모형 개요와 도식
섹션 8 — 응답 완료 · 제출
섹션 8 — 응답 완료 · 제출

7. 아키텍처 — 채점 산식이 워크북 안에 있었다

채점 산식이 이미 매크로 워크북 안에 있었기 때문에, 워크북을 계산 엔진으로 감싸는 구조를 택했다.

이 프로젝트에서 가장 큰 제약은 채점 산식이 연구팀의 매크로 워크북 안에 있었다는 점이다. 준거집단 통계, 세부역량 합산, 절단점 판정, 자동 해석문 문장 조립까지 모두 수식과 표로 구현되어 있었고, 이를 파이썬으로 다시 옮기면 검증 비용과 산식 불일치 위험이 컸다. 그래서 워크북을 파이썬으로 다시 쓰지 않고, 워크북을 그대로 계산 엔진으로 감싸는 구조를 택했다.

전체 흐름은 다음과 같다.

  • 제출 시점에는 73개 값과 인적정보만 기록하고 응답 식별자를 돌려준다. 이 단계에서는 워크북을 건드리지 않는다. 응답자는 곧바로 결과지 화면으로 이동한다.
  • 결과지가 결과를 요청하면 워크북 사본을 열어 값을 주입하고 전체를 재계산한 뒤, 점수와 그래프 데이터, 산점도 배경점을 함께 돌려준다.
  • 같은 요청이 결과보고서 생성 작업을 백그라운드로 함께 띄운다. PDF 작업이 끝나면 응답자 메일로 첨부 발송된다.

워크북을 서버에서 쓸 때 정한 원칙은 하나다. 원본은 절대 열지 않는다. 요청마다 원본을 사본으로 복제하고, 계산 경로마다 스프레드시트 애플리케이션 인스턴스를 따로 띄워 사본만 다룬 뒤, 성공하든 실패하든 워크북을 닫고 애플리케이션을 종료하고 사본을 삭제한다. 워크북에 응답 한 건을 새 행으로 추가할 때 파생 계산 열의 수식이 항상 따라오지 않아서, 직전 행의 수식을 열 단위로 복사해 내려쓰는 보정도 필요했다. 결국 이 연동에서 손이 많이 간 부분은 채점 논리가 아니라 동시성과 격리, 그리고 계산이 언제 끝났는지를 판정하는 대기였다.

워크북은 두 개를 쓴다. 웹 결과지용과 메일 리포트용이 서로 다른 파일이고, 이 분리가 뒤에서 점수 불일치 문제를 만들었다.

8. 웹 결과지 — 하나의 긴 페이지, 8종 차트

진단도구 소개부터 리더십 유형분석까지 스크롤 하나로 이어지는 세로 22,230px 페이지.

결과지는 별도 페이지 이동 없이 하나의 긴 페이지(캡처 기준 세로 22,230px)로 구성했고, 순서는 다음과 같다.

#영역내용
01진단도구 소개진단 대상·목적, 기초·직무 역량모형 도식과 22개 세부역량 정의, 진단점수 해석방법
02가. 학교장 역량종합점수 · 역량군(기초/직무) 점수 · 과장응답 점수와 자동 해석문
03나. 기초역량상위역량 4개 레이더 · 세부역량 8개 점수분포 · 수준 분석 · 강점/약점
04다. 직무역량상위역량 4개 레이더 · 세부역량 14개 점수분포 · 수준 분석 · 강점/약점
05리더십 유형분석과업·관계 지향 행동 점수, 준거집단 산점도 위 나의 위치, 4가지 리더십 유형

그려지는 차트는 8종이다.

ID형태내용
1단일 막대 + 기준선학교장 역량 총점 — 준거집단 평균과 상위 20% 가이드선
2막대 2개기초역량 / 직무역량
3레이더기초역량 상위역량 4축 — 자기개발·민주적관리·학생중심사고·변화추진 순으로 재배열
4그룹 막대기초 세부역량 8개, 그룹 크기 [2,2,2,2]
5레이더직무역량 상위역량 4축 — 교사 전문성 신장·교육과정 운영 및 평가·화합 문화 구축·지원 환경 구축
6그룹 막대직무 세부역량 14개, 그룹 크기 [3,4,3,4]
10레이더리더십 8개 행동 준거 (과업·관계 평균 축은 제외하고 카드로 뽑음)
11산점도준거집단 배경점 위에 나의 좌표, 사분면 라벨 + 절단선

디테일로 챙긴 것들.

  • 세 계열의 구분. 나의 점수는 채운 실선, 준거집단 평균과 상위 20%는 각각 다른 색의 파선으로 둔다. 레이더에서 준거 계열은 면색을 투명으로 둬 내 점수 영역이 가려지지 않게 했다.
  • 세부역량 그룹 색상은 상위역량 4개에 색을 고정해 그래프4·6 사이에서 같은 그룹이 같은 색으로 읽히게 했다.
  • 모바일 대응. 좁은 화면에서는 세부역량 막대를 가로 방향으로 전환하고, 값 표도 세로 피벗한다. 긴 해석문 행은 표에서 떼어내 별도 블록으로 옮긴다. 라벨은 줄바꿈·줄간격을 강제한다.
  • 계열 이름 추론. 워크북에서 넘어오는 계열 이름이 일정하지 않아, 이름에서 나 · 평균 · 상위 20% 중 어느 계열인지를 추정해 맞춘다. 계열 길이가 라벨 개수와 맞지 않으면 라벨 개수에 맞춰 채운다.
  • 진단 영역. 결과지 하단에 어느 그래프의 어떤 계열이 비었는지 바로 보이는 점검 영역을 붙여 두었다. 워크북 산식이 바뀔 때 원인을 찾는 시간을 가장 크게 줄여준 장치다.
  • 서버 데이터가 비면 경고 문구("서버 데이터가 없어 기본 축만 표시합니다")와 함께 축만 그리고 해당 값 표는 숨긴다.

결과지에는 자동 요약 문단도 붙는다. 종합점수·준거·상위 20%, 기초·직무 점수, 세부 해석문, 수준분석, 리더십 유형과 과업·관계 평균, 과장응답 점수와 해석을 재료로 넣어 언어모델이 요약을 쓰게 했다. 프롬프트는 표·불릿 금지, 4~6개 문단, 수치는 '78.6점(준거 80, 상위20% 86.3)' 형태로 병기, 실행 루틴·KPI·체크리스트 제안 금지 같은 제약을 명시했다. 생성이 실패하면 요약 박스는 숨긴다.

가. 학교장 역량 — 종합점수 · 역량군 점수 · 과장응답 점수
가. 학교장 역량 — 종합점수 · 역량군 점수 · 과장응답 점수
나. 기초역량 — 상위역량 4개 레이더(준거평균·상위 20% 중첩)와 수준 분석
나. 기초역량 — 상위역량 4개 레이더(준거평균·상위 20% 중첩)와 수준 분석
나. 기초역량 — 세부역량 8개 점수분포와 나의 강점/약점
나. 기초역량 — 세부역량 8개 점수분포와 나의 강점/약점
다. 직무역량 — 상위역량 4개 레이더와 수준 분석
다. 직무역량 — 상위역량 4개 레이더와 수준 분석
다. 직무역량 — 세부역량 14개 점수분포와 나의 강점/약점
다. 직무역량 — 세부역량 14개 점수분포와 나의 강점/약점
기초역량·직무역량 영역은 동일 구조 — 상위역량 레이더 / 세부역량 분포 / 강점·약점 / 수준 분석
기초역량·직무역량 영역은 동일 구조 — 상위역량 레이더 / 세부역량 분포 / 강점·약점 / 수준 분석

9. 리더십 유형분석 — 8개 행동 준거와 준거집단 산점도

과업 지향 4행동·관계 지향 4행동의 평균으로 두 축을 만들고, 준거집단 분포 위에 나를 찍는다.

리더십 유형분석은 결과지의 마지막 영역이자 가장 손이 많이 간 차트다. 학교장의 리더십은 8가지 행동특성에 따라 과업지향적 리더십과 관계지향적 리더십으로 나뉜다.

과업 지향적 행동관계 지향적 행동
목표 설정조직화구체적 지시정기적 보고과업 평균지원 및 격려의사 소통상호 작용 조장능동적 관심관계 평균
62.865.661.581.167.760.966.366.867.365.3

(수치는 PDF 결과보고서 샘플 기준. 8개 행동 점수와 두 축의 평균이 함께 산출된다.)

구현은 두 단계다. 그래프10은 과업·관계 평균 두 축을 뺀 8개 행동 준거만 레이더로 그리고, 평균 두 값은 카드로 따로 뽑는다. 그래프11은 그 좌표를 산점도에 찍는다.

  • 배경점은 준거집단 응답자 전체의 과업·관계 좌표다. 회색 작은 점으로 깔고 개별 점의 강조는 끈다.
  • 나의 좌표는 그보다 큰 붉은 점 하나다.
  • 축 범위는 x·y 모두 60~100으로 고정하고, 80 지점에 양방향 화살표 십자선을 그린다(표준점수 평균 80이 기준선이 된다).
  • 사분면 라벨은 좌상·좌하·우상·우하에 라운드 박스로 지시형·위임형·코치형·참여형을 표시한다.

유형별 특징과 구성원 적합성 안내는 결과보고서 마지막 표를 그대로 쓴다. 리더십 유형은 구성원의 성숙도에 따라 적합성이 달라진다는 전제로 해석한다.

유형특징구성원 적합성
지시형 리더십리더가 구체적인 지시와 명령을 내리고 업무 수행을 면밀하게 감독하는 리더십수행능력은 낮지만, 열정과 의욕이 있는 구성원에게 적합
코치형 리더십리더가 계속 지시와 명령을 내리고 업무 수행을 면밀하게 감독하지만, 결정 사항에 대해서는 설명하고 구성원의 제안을 받아들여 전진할 수 있도록 원조하는 리더십수행능력과 열정, 의욕이 낮은 구성원에게 적합
참여형 리더십리더가 업무 달성을 향해 구성원의 노력을 촉구하고 지원하며 의사결정에 관한 책임을 구성원과 나누는 리더십수행능력은 높지만, 열정과 의욕이 낮은 구성원에게 적합
위임형 리더십리더가 의사결정과 문제 해결의 책임을 구성원에게 맡기는 리더십이지만, 전적으로 위임할 경우 방임형이 될 수 있으므로 주의가 필요함수행능력과 열정, 의욕이 함께 높은 구성원에게 적합

판정 결과에는 유형별 해설문이 붙는다. 예를 들어 샘플 응답의 '위임형' 판정에는 "수행해야 할 업무에 대한 구성원들의 합의가 이루어지면 직무 수행 방법의 결정과 직무 책임을 구성원들에게 위임할 수 있다는 장점"과 함께 "자칫 수행능력이 낮거나 열정, 의욕이 떨어지는 구성원을 방치할 수 있기 때문에 적절한 관심을 유지하기 위한 노력이 필요"하다는 경고가 함께 서술된다.

리더십 유형 — 과업·관계 지향 8개 행동 준거 점수와 두 축 평균
리더십 유형 — 과업·관계 지향 8개 행동 준거 점수와 두 축 평균
리더십 유형 — 준거집단 산점도 위 나의 상대 위치와 4가지 유형 안내
리더십 유형 — 준거집단 산점도 위 나의 상대 위치와 4가지 유형 안내
리더십 유형분석 요약 — 두 축 점수화 → 유형 판정 → 산점도 상대 위치 → 구성원 적합성
리더십 유형분석 요약 — 두 축 점수화 → 유형 판정 → 산점도 상대 위치 → 구성원 적합성

10. 16쪽 PDF 결과보고서 자동 생성·발송

응답 완료 → 자동 채점 → 보고서 작성 → PDF 변환 → 메일 발송까지 사람 손이 들어가지 않는다.

웹 결과지와 같은 내용을 16페이지 결과보고서로 만들어 응답자 메일로 보낸다. 응답자가 결과지를 보고 있는 동안 백그라운드에서 진행된다.

단계는 이렇다.

  • ① 메일용 워크북 사본과 별도 인스턴스. 결과지 계산과 완전히 격리된다.
  • ② 값 주입과 전체 재계산. 결과지 경로와 동일한 주입 절차를 재사용한다.
  • ③ 출력 리소스 준비. 문서 템플릿을 요청별 사본으로 복제하고 출력 폴더를 새로 만든 뒤, 워크북에 응답 식별자와 템플릿·출력 위치를 써 넣는다.
  • ④ 출력 매크로 실행. 워크북에 들어 있는 출력 매크로가 문서를 채운다.
  • ⑤ 문서 생성 대기. 파일이 생겼는지만 보면 반쯤 쓰인 문서를 다음 단계로 넘기게 된다. 그래서 파일 크기가 안정화될 때까지(같은 크기가 두 번 연속 관측될 때까지) 기다린다.
  • ⑥ 문서 → PDF 변환. 이 단계는 매크로에 맡기지 않고 서버 쪽에서 처리한다. 문서 편집기를 직접 구동해 내보내고, 실패하면 다른 변환 경로로 한 번 더 시도한다.
  • ⑦ 메일 발송. PDF를 첨부해 응답자 주소로 보낸다. 제목에 응답자 이름과 학교가 들어간다.
  • ⑧ 정리. 실패해도 워크북 사본과 임시 파일이 쌓이지 않게 마지막에 반드시 삭제한다.

16페이지 구성은 표지 · 보고서 구성 · 진단도구 소개 · 역량모형 소개(기초/직무) · 진단점수 해석방법 · 학교장 역량 진단결과 · 기초역량(상위·세부) · 직무역량(상위·세부) · 리더십 유형분석(1)(2) · 4가지 리더십 유형 · '나의 실천 약속' 작성 페이지 순이다. 마지막 페이지는 강점을 유지하고 보완영역을 실행 과제로 옮기도록 응답자가 직접 적는 칸이다.

이 파이프라인은 여러 세대를 거쳤다. (a) 문서 생성부터 변환까지 전부 워크북 매크로에 맡기는 초기 버전, (b) 스프레드시트와 문서 편집기를 서버 코드가 직접 조종하는 버전, (c) 워크북의 차트 도형을 이미지로 캡처하거나 같은 차트를 서버에서 다시 그려 넣는 버전, (d) 데스크톱 오피스가 없는 환경에서 문서를 채우는 버전(한글 폰트 등록 포함), (e) 클라우드 변환 서비스로 도형·차트를 이미지로 받아 문서에 삽입하는 버전이 차례로 있었다. 최종적으로 안정적이었던 조합이 워크북 매크로가 문서까지 만들고, PDF 변환과 메일 발송은 서버 쪽이 맡는 지금 구조다.

결과보고서 표지 (p1)
결과보고서 표지 (p1)
학교장 역량 진단결과 — 총점 막대와 역량군 도넛 차트 (p8)
학교장 역량 진단결과 — 총점 막대와 역량군 도넛 차트 (p8)
기초역량 세부역량 점수분포 — 막대그래프와 강점/약점 (p10)
기초역량 세부역량 점수분포 — 막대그래프와 강점/약점 (p10)
학교장 리더십 유형분석 — 4분면 매트릭스 (p13)
학교장 리더십 유형분석 — 4분면 매트릭스 (p13)

11. 데모 응답으로 본 결과지 실제 수치

포트폴리오 캡처는 데모 응답을 채점 파이프라인에 그대로 태워 만든 실제 계산 결과다.

포트폴리오용 캡처는 실제 응답자 데이터를 쓰지 않고, 데모 응답(김서연 / 한빛중학교 / demo@example.com)을 새로 만들어 채점 파이프라인을 그대로 통과시킨 결과다. 슬라이드와 캡처에 나오는 모든 수치는 이 응답의 계산 결과다.

웹 결과지 경로

항목
학교장 역량 종합78.63 (보통)
기초역량 / 직무역량77.28 / 79.99
과장응답 점수73.81 (보통)
리더십 유형과업지향적 리더십 — 지시형 (과업 80.03 / 관계 73.19)
세부역량 강점 예시혁신적 사고 및 위험감수 88.9
세부역량 약점 예시학생과 직접적 관계형성 61.3

PDF 결과보고서 경로 (동일 응답)

총점·역량군 표는 다음과 같이 출력됐다.

구분기초역량직무역량역량 총점
나의 점수66.165.565.8
준거집단 전체평균80.080.080.0
상위 20% 점수86.687.086.3
해석매우 미흡매우 미흡매우 미흡

여기에 붙는 자동 해석문은 점수·상대위치·다음 행동을 한 문단으로 조립한다. "김서연님의 학교장 역량 보유수준은 65.8점으로 '매우 미흡' 수준입니다. … 기초역량에 비해 직무역량의 수준이 낮으므로 직무역량을 조금 더 보완한다면 더욱 급격한 성장을 기대할 수 있습니다." 과장응답은 61.9점 '보통'으로, "이를 염두에 두고 진단 결과를 해석하시기 바랍니다"가 함께 나온다.

기초역량 상위역량

구분학생중심사고변화 추진민주적관리자기개발
나의 점수69.863.262.169.2
준거집단 전체평균80.080.080.080.0
상위 20% 점수87.189.787.888.4
해석미흡매우 미흡매우 미흡미흡

직무역량 상위역량

구분교사 전문성 신장교육과정 운영 및 평가화합문화 구축지원환경 구축
나의 점수65.264.165.967.0
준거집단 전체평균80.080.080.080.0
상위 20% 점수87.988.287.788.1
해석매우 미흡매우 미흡매우 미흡매우 미흡

세부역량 강점 2개 · 약점 2개

결과지는 역량군마다 세부역량 중 강점 2개와 약점 2개를 근거 점수와 역량 정의를 붙여 서술한다.

역량군구분세부역량점수
기초역량강점학생과 직접적 관계형성76.1
기초역량강점지속적인 학습69.9
기초역량약점권한 위임58.6
기초역량약점혁신적 사고 및 위험감수61.9
직무역량강점교육과정 평가 및 개선77.7
직무역량강점교사 연구 지원76.3
직무역량약점학부모 갈등 및 민원 관리51.3
직무역량약점교육 목표 및 실천전략 수립53.7

강점 뒤에는 "이러한 강점을 유지하고 지속 개발하시길 권장합니다", 약점 뒤에는 "위 약점은 현재 가장 미흡한 역량이므로 우선적으로 보완할 필요가 있습니다"가 붙는다. 강점·약점은 절대 기준이 아니라 그 사람 안에서의 상대 순위로 뽑히기 때문에, 이 샘플처럼 전체 수준이 낮으면 강점으로 뽑힌 역량도 "준거집단 평균점수보다 상대적으로 낮게 나타났습니다"라고 서술된다.

① 학교장 역량 종합 — 웹 결과지 기준 종합 78.6(보통), 기초 77.3 / 직무 80.0, 과장응답 73.8(보통)
① 학교장 역량 종합 — 웹 결과지 기준 종합 78.6(보통), 기초 77.3 / 직무 80.0, 과장응답 73.8(보통)

12. 운영에서 걸린 문제들

스프레드시트를 계산 엔진으로 쓰는 대가와, 그 대가를 감수하고도 남는 이유.

① 스프레드시트를 계산 엔진으로 쓰면 동시성을 포기해야 한다

결과 조회가 데스크톱 스프레드시트 애플리케이션을 실제로 구동하기 때문에, 개발 서버를 반드시 단일 스레드로 띄워야 한다. 여러 스레드에서 동시에 호출하면 애플리케이션 연결 초기화가 되지 않아 실패한다.

백그라운드 PDF 작업은 별도 인스턴스와 사본으로 완전히 격리했고, 작업 스레드마다 연결을 따로 초기화하도록 만들어 두었다.

② 한 건당 약 4분

결과 조회는 워크북 사본을 열어 전체를 재계산하므로 한 건에 약 4분 걸린다. 캡처 작업 때는 한 번 받은 결과를 저장해 두고 재사용하는 방식으로 우회했다. 실제 서비스에서는 결과지 화면을 먼저 띄우고 결과를 기다리는 전체 화면 로더로 사용자 체감을 관리한다. 구조적으로는 채점을 제출 시점에 넘기고 결과를 캐시하는 방향이 맞는데, 현재는 결과지 조회 시점에 계산하는 형태다.

③ 웹 결과지와 PDF 리포트의 점수 불일치

포트폴리오를 정리하다 발견한 문제다. 동일한 73문항 응답인데 두 산출물의 점수가 달랐다.

지표웹 결과지PDF 리포트
학교장 역량 총점78.63 (보통)65.8 (매우 미흡)
기초역량 / 직무역량77.28 / 79.9966.1 / 65.5
과장응답 점수73.8161.9

원인은 두 경로가 서로 다른 워크북을 쓰기 때문이다. 웹 결과지용 워크북과 메일 리포트용 워크북의 채점 산식 또는 준거집단 표가 갈라진 상태다. 어느 쪽이 맞는지 정하고 워크북을 일치시켜야 한다. 채점 로직을 외부 파일에 두면 코드 리뷰·테스트·버전 관리의 사정권 밖으로 나간다는 것을 가장 비싸게 배운 지점이다.

④ 채점 명세가 세 곳에 흩어져 있다

문항→세부역량 배정이 최소 세 군데에 있다. 22개 세부역량 × 3문항 + 과장응답 7문항 = 73으로 잡은 채점 매핑, 기초 8개 × 4문항 + 직무 14개 × 3문항 내외 = 73으로 잡은 채점 스키마 초안, 그리고 워크북 내부 수식. 세 정의가 서로 맞지 않고, 실제 계산은 워크북이 담당한다. 진단 도구를 서비스로 옮길 때 단일 채점 명세(single source of truth)를 먼저 확정해야 한다는 게 이 프로젝트의 가장 큰 교훈이다.

13. 전체 흐름 — 랜딩부터 결과지까지

화면을 이어붙여 보면 서비스가 사용자에게 어떤 순서로 정보를 주는지 한눈에 보인다.

랜딩 페이지(세로 10,434px)와 결과지(세로 22,230px)를 각각 3분할·5분할해 가로로 이어붙인 캡처다. 결과지는 실제로 하나의 긴 페이지이며, 소개·역량모형 → 학교장 역량 종합 → 기초역량 → 직무역량 → 리더십 유형분석 순으로 스크롤이 이어진다.

캡처는 실제 응답자 데이터를 쓰지 않고, 서비스를 로컬에 띄워 데모 응답으로 촬영했다.

랜딩 페이지 전체를 3분할해 이어붙인 이미지 — 히어로·진단도구 소개 / 역량모형·진단 흐름 / 결과 안내·도입 문의
랜딩 페이지 전체를 3분할해 이어붙인 이미지 — 히어로·진단도구 소개 / 역량모형·진단 흐름 / 결과 안내·도입 문의
결과지 전체를 5분할해 이어붙인 이미지 — 소개·역량모형 → 종합 → 기초역량 → 직무역량 → 리더십 유형분석
결과지 전체를 5분할해 이어붙인 이미지 — 소개·역량모형 → 종합 → 기초역량 → 직무역량 → 리더십 유형분석
결과지 전체 흐름 — 5개 영역이 한 페이지에서 이어진다
결과지 전체 흐름 — 5개 영역이 한 페이지에서 이어진다
결과지 전체 (세로 22,230px)
결과지 전체 (세로 22,230px) (세로가 긴 전체 캡처 — 상자 안에서 스크롤하거나 눌러서 크게 보세요)
도입 및 운영 문의 섹션
도입 및 운영 문의 섹션

14. 같은 시기의 부수 작업

진단 서비스 외에 재직 중 처리한 데이터 수집 작업도 함께 있었다.

PCI 서비스와 별개로, 대학입학정보 포털에서 대학별 전형 정보를 수집하는 크롤러도 만들었다. 대학 목록 페이지에서 대학코드를 수집한 뒤 상세 전형 페이지로 이동해 표를 파싱하고, 정제한 결과를 두 형태의 스프레드시트로 저장한다.

PCI 서비스와 직접 연결되지는 않지만, '기존에 사람이 손으로 정리하던 자료를 스크립트로 자동화한다'는 성격은 같다. 이 시기의 작업들은 대체로 그 축에 있었다.

랜딩 페이지 한 장 전체

소개부터 문의까지 한 페이지에 담고, 상단 ‘시작하기’로 설문에 바로 들어가게 했다.

랜딩 페이지는 진단도구 소개 → 학교장 역량 모형 → 진단 흐름 4단계 → 결과 안내 → 도입·운영 문의를 한 페이지에 쌓아 두고, 상단 ‘시작하기’로 설문에 바로 진입하게 했다. 아래는 그 한 페이지 전체다.

PCI 랜딩 페이지 전체 — 진단도구 소개 → 학교장 역량 모형 → 진단 흐름 4 Step → 결과 안내 → 도입·운영 문의.
PCI 랜딩 페이지 전체 — 진단도구 소개 → 학교장 역량 모형 → 진단 흐름 4 Step → 결과 안내 → 도입·운영 문의. (세로가 긴 전체 캡처 — 상자 안에서 스크롤하거나 눌러서 크게 보세요)

여기서 배운 것

  1. 도메인 로직이 이미 존재하는 산출물(스프레드시트 워크북) 안에 있을 때, 그것을 다시 구현하는 대신 '계산 엔진으로 감싸는' 선택이 초기 검증 비용을 크게 줄여준다. 대신 그 로직은 코드 리뷰·테스트·버전 관리의 사정권을 벗어나며, 그 대가가 결국 웹 결과지와 PDF 리포트의 점수 불일치(78.6 vs 65.8)로 드러났다. 측정 도구를 서비스로 옮길 때는 단일 채점 명세를 먼저 확정해야 한다.
  2. 심리측정 결과를 사용자에게 전달할 때 점수 하나만으로는 정보가 되지 않는다. 이 서비스가 모든 수치를 '나의 점수 / 준거집단 전체평균 / 상위 20%' 세 값과 나란히 놓고, 22개 세부역량까지 쪼개고, 강점 2·약점 2를 역량 정의와 근거 점수와 함께 서술하는 구조를 택한 이유가 그것이다. 해석 가능성(interpretability)은 모델뿐 아니라 리포팅의 문제이기도 하다.
  3. 자기보고식 응답의 신뢰도를 같은 도구 안에 내장한 설계(사회적 바람직성 확인 문항 7개 → 과장응답 점수 → 3구간 해석 유의사항)는, 라벨 노이즈나 응답 편향을 별도 지표로 함께 보고하는 접근과 같다. 결과를 내는 것과 결과가 얼마나 믿을 만한지를 함께 내는 것을 분리하지 않았다.
  4. 외부 문서 애플리케이션을 서버 파이프라인에 넣는 일은 대부분 동시성·격리·대기 문제로 귀결된다. 요청마다 원본 대신 사본을 만들고, 계산 경로마다 애플리케이션 인스턴스를 따로 띄우고, 산출 파일이 완성됐는지를 크기가 안정될 때까지 확인한 뒤 다음 단계로 넘기고, 실패해도 사본과 임시 파일이 남지 않게 정리하는 것이 실제로 안정성을 만들었다.
  5. 오차가 어디서 나는지 화면에서 바로 볼 수 있어야 디버깅이 가능하다. 결과지 하단에 어느 그래프의 어떤 계열이 비었는지 바로 드러나는 진단 영역을 붙인 것이, 워크북 산식이 바뀔 때마다 원인을 찾는 시간을 가장 크게 줄여줬다.
  6. 응답 피로를 줄이는 UI 결정(1문항 1화면, 선택 즉시 자동 진행, 문항 섹션에서만 진행바 노출, 미응답 지점으로 되돌리기)이 73문항 20~30분 검사의 완료율에 직접 영향을 준다. 측정 설계와 인터랙션 설계는 분리되지 않는다.