CASE
SUPER-SUB
생활체육 영상 기반 AI 자세 분석 에이전트
- 기간
- 2026.08.20 – 10.27 (10주)
- 규모
- 팀 프로젝트 · 4명
- 담당
- AI 영상 분석 에이전트
Wanted AI Championship 2026
원티드랩 · 메인 파트너 KRAFTON
접수 8.24–9.18 · 구현 마감 9.20 · 예선 9.21–10.5 · 데모데이 10.17
출품

실측
측정한 값만 적었습니다. 측정하지 않은 칸은 비워 둡니다.
- 담당 영역 커밋
- 290
- 테스트
- 575
- 판정 시간
- 18.7초
- 최대 GPU 점유
- 2.4GB
- 결정론
- 3/3
- 임계값 검증
- 0/11
agent/ 경로 · 실측 2026-10-06
pytest 수집 기준
5항목 · 27.0초에서 줄였다
두 모델을 교대로 올린다 · 8GB 안
같은 영상 3회 반복 모두 55점 C
전부 지도자 검수 전 — 화면이 그 사실을 말한다
왜 만들었나
아마추어 축구에서 용병을 구할 때 가장 큰 불신은 실력을 확인할 방법이 없다는 것입니다. 자기 신고 등급은 검증이 안 되고, 후기는 표본이 적을 때 한 사람의 인상에 좌우됩니다. 영상은 이미 누구나 찍고 있는데, 그 영상을 재현 가능한 근거로 바꿔 주는 도구가 없었습니다.
네 명이 함께한 플랫폼에서 저는 영상 한 편을 넣으면 자세를 수치로 재고 등급을 매겨 근거 문장까지 만드는 에이전트를 맡았습니다. 영상 → 사람 검출 → 키포인트 → 지표 → 등급 → 문장까지 전 구간을 하나의 파이프라인으로 만들고, GPU 인스턴스에 올려 플랫폼의 작업 큐에 붙였습니다.
설계의 중심은 측정과 판단의 분리입니다. 언어 모델은 수치를 만들지도, 등급을 정하지도 않습니다. 이건 취향이 아니라 실측 결과입니다 — 소형 언어 모델은 「무릎각 141.7도가 140~165도 안인가」라는 단순 비교를 3회 반복 모두 틀렸습니다.
더 어려운 조건이 하나 더 있었습니다. 자세 평가에는 지도자가 라벨을 달아 준 데이터셋이 없습니다. 정답이 없는 상태에서 「정확도를 높였다」고 말하는 것 자체가 성립하지 않습니다. 그래서 모든 개선 회차를 합격/불합격 기준을 수치로 먼저 고정한 뒤 실행하고, 결과를 보고 기준을 바꾸지 않았습니다.
업무 분담
팀 작업이라 적어 둡니다. 아래 도면에서 제 몫이 아닌 칸은 「팀원 담당」으로 표시했습니다.
- 박민호
- 팀장 · 요구사항·일정 · QA · 제품 판단
- 백성검
- 프론트 · 웹 — 앱 UI/UX, 선수 카드·분석 화면
- 정어진
- 백엔드 · 파이프라인 — DB·API, 작업 큐, 배포
- 정상호
- AI 에이전트 — 포즈 추정 · 등급 판정 · 근거 문장 · GPU 배포
기술 흐름
도면 4장입니다. 왼쪽 세로선을 따라 위에서 아래로 흐르고, 나란한 칸은 동시에 일어나는 일입니다. 빨간 줄이 붙은 칸은 그 자리에서 빠져나가는 길 — 반려·보류·폴백입니다.
- 코드
- 결정론 코드 — 같은 입력이면 같은 출력
- 모델
- 언어·비전 모델
- 저장
- 저장소
- 외부
- 외부 서비스·공개 소스
- 관문
- 관문 — 통과 못 하면 빠진다
- 산출
- 사람이 보는 산출물
도 01
영상 한 편이 선수 카드가 되기까지
플랫폼 전체 경로. 이 도면에서 제 몫은 분석 워커 안쪽이고, 앱·웹·백엔드·큐 규격은 팀원 담당입니다.
외부영상 업로드
- Flutter 앱 · Next.js 웹
- 팀원 담당
외부백엔드 API
- 영상은 저장소로, 작업은 큐로
- 팀원 담당
둘로 나뉘어 간다
저장S3 videos/
저장작업 큐
- analysis_job
claim
코드분석 워커
- EC2 g4dn.xlarge (T4) · systemd가 띄워 두고 꺼지면 살린다
- job_type에 따라 분석/검출로 갈린다
폴링 45초 → 5초 (claim 요청량 9배를 백엔드에 미리 알렸다)
리포트 JSON
저장S3 reports/
산출선수 카드
- 항목별 등급 · 칭호 · 장단점 · 근거 문장
- IAM 역할이 AI 버킷의 세 접두사만 허용해 이 인스턴스가 팀 데이터를 읽지 못합니다. 계정은 팀과 공유하므로 「완전 분리」가 아니고, 런북에 무엇이 공유되고 무엇이 분리되는지를 표로 적었습니다.
- 워커 안쪽이 도 02입니다. 아래 도면 셋은 전부 그 안에서 일어나는 일입니다.
도 02
워커 안쪽 — 측정과 판단의 분리
등급은 코드가 정합니다. 모델은 이미 정해진 등급에 대한 근거 문장만 씁니다. 이 구조는 취향이 아니라 실측 결과입니다.
코드프레임 샘플링
- OpenCV 디코딩 · 목표 30fps
- 원본 fps에 가장 가까운 정수 간격으로 고른다
- 15fps에서는 임팩트 프레임이 격자에 아예 없는 경우가 많았다
4K 25fps 10.2초(255프레임) → 128프레임
모델RT-DETR 사람 검출
- 사람 후보 목록을 낸다
- 화면에서 찍은 정규화 박스를 닻으로 받아 그 사람을 추적한다
다인 영상 10건 전수 · 초기 닻 10/10 적중
모델ViTPose 키포인트
- 17점
- Apache-2.0 — 상업적으로 써도 되는 모델만 골랐다
포즈 추출 33.1초 · peak VRAM 643MB (RTX 3050)
관문품질 게이트 · 종목 게이트
- 키포인트 신뢰도가 기준 미만이면 반려
- 축구가 아닌 영상은 거절
축구 19편 오거절 0건 · 야구 39편 거절 69%
두 사유를 종료 코드로 나눈다
반려와 비축구가 다른 번호입니다. 한 번호로 합치면 「왜 안 됐는지」를 호출한 쪽이 가를 수 없습니다.
포즈 모델을 해제하고 캐시를 비운다
코드지표 산출
- 좌표 정규화 · 동작 구간 분할(준비·백스윙·임팩트·팔로스루)
- 관절각 · 각속도 · 축 회전량
- 검출 실패 프레임은 계산에서 배제한다
측정값이 둘로 갈린다
코드등급 판정
- 루브릭 수치 구간으로 0·1·2 등급
- 구간은 양끝 포함 · 2→1→0 순으로 먼저 맞는 등급
- 등급 정의가 이미 수치 구간이라 추론이 필요 없다
모델근거 문장
- EXAONE 4.0 1.2B · 스키마로 출력 형식을 강제한다
- 해당 항목의 지표만 골라 넣는다
- 문장에 등급이 들어가지 않는다
5항목 18.7초(항목당 3.7초) · 적재 4.6초
합친다
코드합산
- 가중합 · 오버롤 등급 · 칭호
- 장점은 2등급 且 구간 경계에서 폭의 20% 이상 안쪽 · 배점 상위 2개
- 등급 표기를 붙이는 자리는 여기 한 곳뿐이다
같은 영상 3회 반복 모두 55점 C (결정론)
산출리포트
- 항목별 등급 · 칭호 · 근거 문장 · 장점 · 단점 · 보완 필요
- 등급을 모델에게 맡기지 않은 이유는 실측입니다. EXAONE 4.0 1.2B는 무릎각 141.7도가 2등급 기준 140~165도 안이라는 비교를 3회 반복 모두 같은 오답으로 틀렸습니다. 스키마 필드 순서를 고쳐 추론 칸을 넣어도 경계값은 안 고쳐졌습니다.
- 부수 효과로 판정 시간이 27.0초 → 18.7초로 줄었습니다. 모델이 쓸 토큰이 줄어든 결과입니다.
- 경계에 걸린 값을 장점이라 부르면 다음 클립에서 뒤집힙니다. 무릎각 141.7도는 하한 140에서 여유가 0.07뿐이라 장점이 아니라 「보완 필요」로 갑니다. 개수를 2개로 끊는 것은, 단점이 셋 이상 나열되면 선수 카드가 아니라 진단서가 되기 때문입니다.
- 측정 실패는 감점이 아닙니다. 물리적으로 불가능한 값·미검출 프레임·도구가 안 보이는 항목은 0점이 아니라 미측정으로 빠지고 남은 항목으로 재정규화합니다. 촬영 조건으로 선수를 감점하지 않습니다.
도 03
8GB 안에 넣기 — GPU 예산
소비자용 8GB GPU에서 전 구간이 돌아야 했습니다. 그 제약이 「판정을 수치만으로 한다」를 정했습니다.
관문제약 — 8GB
- 비전-언어 모델을 올릴 수 없다
- 포즈 모델과 판정 모델을 동시에 올릴 수 없다
개발 GPU RTX 3050 · 8,192 MiB
그래서 판정을 수치만으로 한다
영상을 모델에 직접 보여 주지 않습니다. 그 결과 지표를 뽑는 코드의 범위가 품질을 좌우합니다 — 제약이 설계를 정한 자리입니다.
교대로 올린다
모델포즈 단계
- RT-DETR + ViTPose
peak 643MB
모델을 해제하고 캐시를 비운다
모델판정 단계
- EXAONE 4.0 1.2B · bf16
- 양자화하지 않는다 — 4bit가 오히려 느렸다
- 4bit 적재 44.2초·11.5 tok/s ↔ bf16 7.5초·24.4 tok/s
적재 후 2,449MB — 최대 점유는 이쪽 2.4GB다
배포는 설정이 다르다
외부T4 16GB (EC2)
- vLLM으로 판정 모델을 상주시킨다
- GPU 점유를 0.35로 묶는다 — 기본값 0.9면 포즈 추출이 OOM으로 죽는다
- T4는 bfloat16을 못 써서 float16으로 고정한다
- 판정 백엔드가 두 갈래입니다. 기본은 로컬 적재이고 환경변수가 있을 때만 vLLM HTTP를 씁니다. vLLM에 맡기면 판정 쪽 GPU 사용이 상수가 되고 남는 자리를 포즈 모델이 씁니다.
- vLLM을 에이전트와 같은 가상환경에 넣지 않았습니다. vLLM 휠은 자기가 빌드된 torch에만 맞는 확장을 들고 오는데 이쪽은 torch를 고정하고 있어서, 같은 환경에 넣었을 때 실제로 둘 다 깨졌습니다.
- 모델 가중치를 이름이 아니라 리비전으로 고정했습니다. 이름만으로 적재하면 업스트림이 갈아 끼울 때 조용히 바뀌고, 로컬 캐시가 살아 있는 동안은 드러나지도 않습니다. 테스트가 이 규칙을 강제합니다.
- 검수용 오버레이에 쓴 YOLO 가중치는 AGPL-3.0이라 서비스 경로와 배포 환경에서 뺐습니다. AGPL 코드에 링크한 채 네트워크 서비스를 제공하면 소스 공개 의무가 생깁니다.
도 04
측정을 믿을 수 있게 만든 장치
네 장치 전부 **실제로 잘못된 결과가 나온 뒤** 만들어졌습니다. 사고가 먼저고 규칙이 나중입니다.
코드측정값 하나
- 관절각 · 회전량 · 각속도
① 구간의 양끝이 닫혀 있는가
관문밴드 상한 검사
- 위가 열린 상위 등급은 측정 오류를 만점으로 만든다
실제로 겪은 사고
좌우 라벨이 뒤바뀌어 부풀려진 골반 회전 181.1도가 「40도 이상」 구간에 걸려 **최고 등급 장점**으로 표시됐습니다.
② 물리적으로 가능한 값인가
관문범위 검사
- 범위 밖이면 0등급이 아니라 미측정으로 뺀다
0등급으로 떨어뜨리면
촬영 실패가 실력 감점이 됩니다. 측정이 깨진 것을 「못한 것」으로 채점하게 됩니다.
③ 좌우 두 점을 잇는 선인가
코드축으로 다룬다
- 벡터가 아니라 축이다
- 몸이 돌아 좌/우 라벨이 뒤바뀌면 각도가 180도 점프한다
정면 구간 분리각 81.2도 ↔ 축이 제대로 보이는 프레임 49.9도
④ 검출된 프레임인가
코드미검출 마스킹
- 미검출 프레임의 관절각은 NaN이고, 최댓값 찾기가 NaN을 최댓값으로 본다
실제로 겪은 사고
앞 11프레임이 미검출인 클립에서 임팩트가 그 첫 프레임으로 잡혀 「동작 전후가 잘린 영상」이라는 오진을 냈습니다.
넷을 통과한 값만
코드등급 판정
산출검수 상태 표기
- 루브릭이 검수 대기인 동안 결과 봉투에 「잠정」이 붙는다
- 화면이 그 값을 읽어 「검수 전」 배지를 그린다
임계값 출처·검증 상태 11건 전부 미검증
- 지도자 검수를 확보하지 못했고, 중반에 검수 없이 진행하기로 결정했습니다. 그 대신 산출물이 스스로 상태를 말하게 했습니다.
- 「검수 완료 전까지 점수를 대외에 노출하지 않는다」고 적어 뒀던 규칙은 정정했습니다. 서비스가 이미 돌고 있어 그 문장이 지켜지지 않고 있었습니다. 못 지킬 규칙을 적어 두면 지켜지는 줄 압니다.
- 정답 라벨이 없는 영역입니다. 샘플링을 15fps에서 30fps로 올렸을 때 밴드 적중률이 31.8% → 49.8%로 올랐지만, 이것은 정확해진 것이 아니라 다른 프레임을 고르게 된 것입니다. 얻은 것은 정확도가 아니라 측정 타당성이었습니다.
정한 것과 거부한 것
만든 것보다 안 만든 것이 설계입니다. 왜 그렇게 정했는지를 함께 적었습니다.
- 01
측정과 판단을 분리한다
측정은 코드, 등급 판정도 코드, 합산도 코드입니다. 모델의 몫은 확정된 등급에 대해 선수에게 보여 줄 근거 문장을 쓰는 것뿐입니다. 루브릭의 등급 정의가 이미 수치 구간이라 판정에 추론이 필요 없습니다. 부수 효과로 같은 영상은 몇 번을 돌려도 같은 점수가 나옵니다.
- 02
MediaPipe를 쓰지 않았다
라이선스와 모델 고정 가능성 때문입니다. 사람 검출과 키포인트를 둘 다 Apache-2.0 모델로 잡고, 가중치를 이름이 아니라 리비전으로 고정했습니다. 이름만으로 적재하면 업스트림이 가중치를 갈아 끼울 때 조용히 바뀌고, 로컬 캐시가 살아 있는 동안은 드러나지도 않습니다.
- 03
양자화하지 않았다
1.2B는 bf16으로도 2.4GB뿐이고, 4bit는 역양자화 오버헤드로 적재 44.2초·11.5 tok/s였습니다 — bf16의 7.5초·24.4 tok/s보다 오히려 느립니다. 작은 모델에서 양자화가 늘 이득이라는 가정을 실측으로 깨고 기본값을 정했습니다.
- 04
상류 변경에 깨지는 경로를 피했다
EXAONE 3.5는 원격 코드를 싣는데 그 코드가 특정 transformers 버전 창에만 맞습니다. 팀 전원이 재현해야 하는 환경에서는 그런 경로를 쓰지 않는 것이 맞다고 판단해, 라이브러리에 네이티브로 통합된 4.0을 골랐습니다. 8GB에 들어가면서 네이티브인 것은 1.2B뿐이었습니다.
- 05
측정 실패를 감점으로 만들지 않는다
물리적으로 불가능한 값, 검출되지 않은 프레임, 도구가 안 보이는 항목은 0점이 아니라 미측정으로 빠지고 남은 항목으로 재정규화합니다. 촬영 조건으로 선수를 감점하지 않습니다.
- 06
검증되지 않은 값이 스스로를 밝힌다
지도자 검수를 확보하지 못한 채 진행하기로 결정했습니다. 그 대신 임계값 11건의 출처와 검증 상태를 파일로 들고 있고, 전부 미검증인 동안 결과에 「잠정」이 붙고 화면이 「검수 전」 배지를 그립니다.
이 프로젝트에서 쓴 것
실제로 돌아가는 것만 적었습니다. 각 기술이 어디에 쓰이는지는 위 도면이 말합니다.
- 언어
- Python 3.12
- 비전
- RT-DETRViTPoseOpenCVNumPySciPy
- 언어모델
- EXAONE 4.0 1.2BHugging Face TransformersPyTorch (CUDA 12.6)vLLMOutlines
- 서버
- FastAPIuvicornpytestuv
- 인프라
- AWS EC2 g4dn.xlarge (T4)AWS S3IAMVPCsystemdffmpeg
아직 못 한 것
- 임계값 11건 전부 지도자 검수 전입니다. 그래서 점수는 잠정값이고, 화면이 그 사실을 배지로 말합니다. 숨기지 않는 것이 지금 할 수 있는 최선이었습니다.
- 정답 라벨이 없습니다. 이 영역에서 「정확도 몇 %」라고 말하는 것은 성립하지 않고, 그래서 이 페이지에도 그 숫자가 없습니다. 대신 재현성(3회 반복 동일)과 측정 타당성을 적었습니다.
- 종목 게이트는 야구 영상 39편 중 69%를 거릅니다 — 나머지는 통과합니다. 축구 19편에서 오거절이 0건이라 잘못 막는 쪽은 없지만, 걸러야 할 것을 다 걸러내지는 못합니다.
- 포트폴리오에 연결된 데모는 목업입니다. GPU도 에이전트도 없어 누가 무엇을 올려도 같은 리포트가 가고, 그래서 결과 첫 줄에 「본보기 결과」가 붙습니다. 실제 분석은 팀 운영 환경에서 돌고 그쪽은 로그인 뒤에 있습니다.
- 이 영역의 코드는 팀 저장소에 있고 이 포트폴리오 저장소에는 없습니다. 위 수치는 그 저장소와 결과보고서에서 옮긴 실측값입니다.