SANGHO JEONG

SUPER-SUB

생활체육 영상 기반 AI 자세 분석 에이전트

기간
2026.08.20 – 10.27 (10주)
규모
팀 프로젝트 · 4명
담당
AI 영상 분석 에이전트
출품

Wanted AI Championship 2026

원티드랩 · 메인 파트너 KRAFTON

접수 8.24–9.18 · 구현 마감 9.20 · 예선 9.21–10.5 · 데모데이 10.17

출품

SUPER-SUB 서비스 첫 화면 — 초록 배경 위의 SUPERSUB 워드마크

실측

측정한 값만 적었습니다. 측정하지 않은 칸은 비워 둡니다.

담당 영역 커밋
290

agent/ 경로 · 실측 2026-10-06

테스트
575

pytest 수집 기준

판정 시간
18.7초

5항목 · 27.0초에서 줄였다

최대 GPU 점유
2.4GB

두 모델을 교대로 올린다 · 8GB 안

결정론
3/3

같은 영상 3회 반복 모두 55점 C

임계값 검증
0/11

전부 지도자 검수 전 — 화면이 그 사실을 말한다

왜 만들었나

아마추어 축구에서 용병을 구할 때 가장 큰 불신은 실력을 확인할 방법이 없다는 것입니다. 자기 신고 등급은 검증이 안 되고, 후기는 표본이 적을 때 한 사람의 인상에 좌우됩니다. 영상은 이미 누구나 찍고 있는데, 그 영상을 재현 가능한 근거로 바꿔 주는 도구가 없었습니다.

네 명이 함께한 플랫폼에서 저는 영상 한 편을 넣으면 자세를 수치로 재고 등급을 매겨 근거 문장까지 만드는 에이전트를 맡았습니다. 영상 → 사람 검출 → 키포인트 → 지표 → 등급 → 문장까지 전 구간을 하나의 파이프라인으로 만들고, GPU 인스턴스에 올려 플랫폼의 작업 큐에 붙였습니다.

설계의 중심은 측정과 판단의 분리입니다. 언어 모델은 수치를 만들지도, 등급을 정하지도 않습니다. 이건 취향이 아니라 실측 결과입니다 — 소형 언어 모델은 「무릎각 141.7도가 140~165도 안인가」라는 단순 비교를 3회 반복 모두 틀렸습니다.

더 어려운 조건이 하나 더 있었습니다. 자세 평가에는 지도자가 라벨을 달아 준 데이터셋이 없습니다. 정답이 없는 상태에서 「정확도를 높였다」고 말하는 것 자체가 성립하지 않습니다. 그래서 모든 개선 회차를 합격/불합격 기준을 수치로 먼저 고정한 뒤 실행하고, 결과를 보고 기준을 바꾸지 않았습니다.

업무 분담

팀 작업이라 적어 둡니다. 아래 도면에서 제 몫이 아닌 칸은 「팀원 담당」으로 표시했습니다.

박민호
팀장 · 요구사항·일정 · QA · 제품 판단
백성검
프론트 · 웹 — 앱 UI/UX, 선수 카드·분석 화면
정어진
백엔드 · 파이프라인 — DB·API, 작업 큐, 배포
정상호
AI 에이전트 — 포즈 추정 · 등급 판정 · 근거 문장 · GPU 배포

기술 흐름

도면 4장입니다. 왼쪽 세로선을 따라 위에서 아래로 흐르고, 나란한 칸은 동시에 일어나는 일입니다. 빨간 줄이 붙은 칸은 그 자리에서 빠져나가는 길 — 반려·보류·폴백입니다.

  1. 도 01영상 한 편이 선수 카드가 되기까지
  2. 도 02워커 안쪽 — 측정과 판단의 분리
  3. 도 038GB 안에 넣기 — GPU 예산
  4. 도 04측정을 믿을 수 있게 만든 장치
코드
결정론 코드 — 같은 입력이면 같은 출력
모델
언어·비전 모델
저장
저장소
외부
외부 서비스·공개 소스
관문
관문 — 통과 못 하면 빠진다
산출
사람이 보는 산출물

도 01

영상 한 편이 선수 카드가 되기까지

플랫폼 전체 경로. 이 도면에서 제 몫은 분석 워커 안쪽이고, 앱·웹·백엔드·큐 규격은 팀원 담당입니다.

  1. 외부영상 업로드

    • Flutter 앱 · Next.js 웹
    • 팀원 담당
  2. 외부백엔드 API

    • 영상은 저장소로, 작업은 큐로
    • 팀원 담당
  3. 둘로 나뉘어 간다

    저장S3 videos/

    저장작업 큐

    • analysis_job
  4. claim

    코드분석 워커

    • EC2 g4dn.xlarge (T4) · systemd가 띄워 두고 꺼지면 살린다
    • job_type에 따라 분석/검출로 갈린다

    폴링 45초 → 5초 (claim 요청량 9배를 백엔드에 미리 알렸다)

  5. 리포트 JSON

    저장S3 reports/

  6. 산출선수 카드

    • 항목별 등급 · 칭호 · 장단점 · 근거 문장
  • IAM 역할이 AI 버킷의 세 접두사만 허용해 이 인스턴스가 팀 데이터를 읽지 못합니다. 계정은 팀과 공유하므로 「완전 분리」가 아니고, 런북에 무엇이 공유되고 무엇이 분리되는지를 표로 적었습니다.
  • 워커 안쪽이 도 02입니다. 아래 도면 셋은 전부 그 안에서 일어나는 일입니다.

도 02

워커 안쪽 — 측정과 판단의 분리

등급은 코드가 정합니다. 모델은 이미 정해진 등급에 대한 근거 문장만 씁니다. 이 구조는 취향이 아니라 실측 결과입니다.

  1. 코드프레임 샘플링

    • OpenCV 디코딩 · 목표 30fps
    • 원본 fps에 가장 가까운 정수 간격으로 고른다
    • 15fps에서는 임팩트 프레임이 격자에 아예 없는 경우가 많았다

    4K 25fps 10.2초(255프레임) → 128프레임

  2. 모델RT-DETR 사람 검출

    • 사람 후보 목록을 낸다
    • 화면에서 찍은 정규화 박스를 닻으로 받아 그 사람을 추적한다

    다인 영상 10건 전수 · 초기 닻 10/10 적중

  3. 모델ViTPose 키포인트

    • 17점
    • Apache-2.0 — 상업적으로 써도 되는 모델만 골랐다

    포즈 추출 33.1초 · peak VRAM 643MB (RTX 3050)

  4. 관문품질 게이트 · 종목 게이트

    • 키포인트 신뢰도가 기준 미만이면 반려
    • 축구가 아닌 영상은 거절

    축구 19편 오거절 0건 · 야구 39편 거절 69%

    두 사유를 종료 코드로 나눈다

    반려와 비축구가 다른 번호입니다. 한 번호로 합치면 「왜 안 됐는지」를 호출한 쪽이 가를 수 없습니다.

  5. 포즈 모델을 해제하고 캐시를 비운다

    코드지표 산출

    • 좌표 정규화 · 동작 구간 분할(준비·백스윙·임팩트·팔로스루)
    • 관절각 · 각속도 · 축 회전량
    • 검출 실패 프레임은 계산에서 배제한다
  6. 측정값이 둘로 갈린다

    코드등급 판정

    • 루브릭 수치 구간으로 0·1·2 등급
    • 구간은 양끝 포함 · 2→1→0 순으로 먼저 맞는 등급
    • 등급 정의가 이미 수치 구간이라 추론이 필요 없다

    모델근거 문장

    • EXAONE 4.0 1.2B · 스키마로 출력 형식을 강제한다
    • 해당 항목의 지표만 골라 넣는다
    • 문장에 등급이 들어가지 않는다

    5항목 18.7초(항목당 3.7초) · 적재 4.6초

  7. 합친다

    코드합산

    • 가중합 · 오버롤 등급 · 칭호
    • 장점은 2등급 且 구간 경계에서 폭의 20% 이상 안쪽 · 배점 상위 2개
    • 등급 표기를 붙이는 자리는 여기 한 곳뿐이다

    같은 영상 3회 반복 모두 55점 C (결정론)

  8. 산출리포트

    • 항목별 등급 · 칭호 · 근거 문장 · 장점 · 단점 · 보완 필요
  • 등급을 모델에게 맡기지 않은 이유는 실측입니다. EXAONE 4.0 1.2B는 무릎각 141.7도가 2등급 기준 140~165도 안이라는 비교를 3회 반복 모두 같은 오답으로 틀렸습니다. 스키마 필드 순서를 고쳐 추론 칸을 넣어도 경계값은 안 고쳐졌습니다.
  • 부수 효과로 판정 시간이 27.0초 → 18.7초로 줄었습니다. 모델이 쓸 토큰이 줄어든 결과입니다.
  • 경계에 걸린 값을 장점이라 부르면 다음 클립에서 뒤집힙니다. 무릎각 141.7도는 하한 140에서 여유가 0.07뿐이라 장점이 아니라 「보완 필요」로 갑니다. 개수를 2개로 끊는 것은, 단점이 셋 이상 나열되면 선수 카드가 아니라 진단서가 되기 때문입니다.
  • 측정 실패는 감점이 아닙니다. 물리적으로 불가능한 값·미검출 프레임·도구가 안 보이는 항목은 0점이 아니라 미측정으로 빠지고 남은 항목으로 재정규화합니다. 촬영 조건으로 선수를 감점하지 않습니다.

도 03

8GB 안에 넣기 — GPU 예산

소비자용 8GB GPU에서 전 구간이 돌아야 했습니다. 그 제약이 「판정을 수치만으로 한다」를 정했습니다.

  1. 관문제약 — 8GB

    • 비전-언어 모델을 올릴 수 없다
    • 포즈 모델과 판정 모델을 동시에 올릴 수 없다

    개발 GPU RTX 3050 · 8,192 MiB

    그래서 판정을 수치만으로 한다

    영상을 모델에 직접 보여 주지 않습니다. 그 결과 지표를 뽑는 코드의 범위가 품질을 좌우합니다 — 제약이 설계를 정한 자리입니다.

  2. 교대로 올린다

    모델포즈 단계

    • RT-DETR + ViTPose

    peak 643MB

  3. 모델을 해제하고 캐시를 비운다

    모델판정 단계

    • EXAONE 4.0 1.2B · bf16
    • 양자화하지 않는다 — 4bit가 오히려 느렸다
    • 4bit 적재 44.2초·11.5 tok/s ↔ bf16 7.5초·24.4 tok/s

    적재 후 2,449MB — 최대 점유는 이쪽 2.4GB다

  4. 배포는 설정이 다르다

    외부T4 16GB (EC2)

    • vLLM으로 판정 모델을 상주시킨다
    • GPU 점유를 0.35로 묶는다 — 기본값 0.9면 포즈 추출이 OOM으로 죽는다
    • T4는 bfloat16을 못 써서 float16으로 고정한다
  • 판정 백엔드가 두 갈래입니다. 기본은 로컬 적재이고 환경변수가 있을 때만 vLLM HTTP를 씁니다. vLLM에 맡기면 판정 쪽 GPU 사용이 상수가 되고 남는 자리를 포즈 모델이 씁니다.
  • vLLM을 에이전트와 같은 가상환경에 넣지 않았습니다. vLLM 휠은 자기가 빌드된 torch에만 맞는 확장을 들고 오는데 이쪽은 torch를 고정하고 있어서, 같은 환경에 넣었을 때 실제로 둘 다 깨졌습니다.
  • 모델 가중치를 이름이 아니라 리비전으로 고정했습니다. 이름만으로 적재하면 업스트림이 갈아 끼울 때 조용히 바뀌고, 로컬 캐시가 살아 있는 동안은 드러나지도 않습니다. 테스트가 이 규칙을 강제합니다.
  • 검수용 오버레이에 쓴 YOLO 가중치는 AGPL-3.0이라 서비스 경로와 배포 환경에서 뺐습니다. AGPL 코드에 링크한 채 네트워크 서비스를 제공하면 소스 공개 의무가 생깁니다.

도 04

측정을 믿을 수 있게 만든 장치

네 장치 전부 **실제로 잘못된 결과가 나온 뒤** 만들어졌습니다. 사고가 먼저고 규칙이 나중입니다.

  1. 코드측정값 하나

    • 관절각 · 회전량 · 각속도
  2. ① 구간의 양끝이 닫혀 있는가

    관문밴드 상한 검사

    • 위가 열린 상위 등급은 측정 오류를 만점으로 만든다

    실제로 겪은 사고

    좌우 라벨이 뒤바뀌어 부풀려진 골반 회전 181.1도가 「40도 이상」 구간에 걸려 **최고 등급 장점**으로 표시됐습니다.

  3. ② 물리적으로 가능한 값인가

    관문범위 검사

    • 범위 밖이면 0등급이 아니라 미측정으로 뺀다

    0등급으로 떨어뜨리면

    촬영 실패가 실력 감점이 됩니다. 측정이 깨진 것을 「못한 것」으로 채점하게 됩니다.

  4. ③ 좌우 두 점을 잇는 선인가

    코드축으로 다룬다

    • 벡터가 아니라 축이다
    • 몸이 돌아 좌/우 라벨이 뒤바뀌면 각도가 180도 점프한다

    정면 구간 분리각 81.2도 ↔ 축이 제대로 보이는 프레임 49.9도

  5. ④ 검출된 프레임인가

    코드미검출 마스킹

    • 미검출 프레임의 관절각은 NaN이고, 최댓값 찾기가 NaN을 최댓값으로 본다

    실제로 겪은 사고

    앞 11프레임이 미검출인 클립에서 임팩트가 그 첫 프레임으로 잡혀 「동작 전후가 잘린 영상」이라는 오진을 냈습니다.

  6. 넷을 통과한 값만

    코드등급 판정

  7. 산출검수 상태 표기

    • 루브릭이 검수 대기인 동안 결과 봉투에 「잠정」이 붙는다
    • 화면이 그 값을 읽어 「검수 전」 배지를 그린다

    임계값 출처·검증 상태 11건 전부 미검증

  • 지도자 검수를 확보하지 못했고, 중반에 검수 없이 진행하기로 결정했습니다. 그 대신 산출물이 스스로 상태를 말하게 했습니다.
  • 「검수 완료 전까지 점수를 대외에 노출하지 않는다」고 적어 뒀던 규칙은 정정했습니다. 서비스가 이미 돌고 있어 그 문장이 지켜지지 않고 있었습니다. 못 지킬 규칙을 적어 두면 지켜지는 줄 압니다.
  • 정답 라벨이 없는 영역입니다. 샘플링을 15fps에서 30fps로 올렸을 때 밴드 적중률이 31.8% → 49.8%로 올랐지만, 이것은 정확해진 것이 아니라 다른 프레임을 고르게 된 것입니다. 얻은 것은 정확도가 아니라 측정 타당성이었습니다.

정한 것과 거부한 것

만든 것보다 안 만든 것이 설계입니다. 왜 그렇게 정했는지를 함께 적었습니다.

  1. 01

    측정과 판단을 분리한다

    측정은 코드, 등급 판정도 코드, 합산도 코드입니다. 모델의 몫은 확정된 등급에 대해 선수에게 보여 줄 근거 문장을 쓰는 것뿐입니다. 루브릭의 등급 정의가 이미 수치 구간이라 판정에 추론이 필요 없습니다. 부수 효과로 같은 영상은 몇 번을 돌려도 같은 점수가 나옵니다.

  2. 02

    MediaPipe를 쓰지 않았다

    라이선스와 모델 고정 가능성 때문입니다. 사람 검출과 키포인트를 둘 다 Apache-2.0 모델로 잡고, 가중치를 이름이 아니라 리비전으로 고정했습니다. 이름만으로 적재하면 업스트림이 가중치를 갈아 끼울 때 조용히 바뀌고, 로컬 캐시가 살아 있는 동안은 드러나지도 않습니다.

  3. 03

    양자화하지 않았다

    1.2B는 bf16으로도 2.4GB뿐이고, 4bit는 역양자화 오버헤드로 적재 44.2초·11.5 tok/s였습니다 — bf16의 7.5초·24.4 tok/s보다 오히려 느립니다. 작은 모델에서 양자화가 늘 이득이라는 가정을 실측으로 깨고 기본값을 정했습니다.

  4. 04

    상류 변경에 깨지는 경로를 피했다

    EXAONE 3.5는 원격 코드를 싣는데 그 코드가 특정 transformers 버전 창에만 맞습니다. 팀 전원이 재현해야 하는 환경에서는 그런 경로를 쓰지 않는 것이 맞다고 판단해, 라이브러리에 네이티브로 통합된 4.0을 골랐습니다. 8GB에 들어가면서 네이티브인 것은 1.2B뿐이었습니다.

  5. 05

    측정 실패를 감점으로 만들지 않는다

    물리적으로 불가능한 값, 검출되지 않은 프레임, 도구가 안 보이는 항목은 0점이 아니라 미측정으로 빠지고 남은 항목으로 재정규화합니다. 촬영 조건으로 선수를 감점하지 않습니다.

  6. 06

    검증되지 않은 값이 스스로를 밝힌다

    지도자 검수를 확보하지 못한 채 진행하기로 결정했습니다. 그 대신 임계값 11건의 출처와 검증 상태를 파일로 들고 있고, 전부 미검증인 동안 결과에 「잠정」이 붙고 화면이 「검수 전」 배지를 그립니다.

이 프로젝트에서 쓴 것

실제로 돌아가는 것만 적었습니다. 각 기술이 어디에 쓰이는지는 위 도면이 말합니다.

언어
Python 3.12
비전
RT-DETRViTPoseOpenCVNumPySciPy
언어모델
EXAONE 4.0 1.2BHugging Face TransformersPyTorch (CUDA 12.6)vLLMOutlines
서버
FastAPIuvicornpytestuv
인프라
AWS EC2 g4dn.xlarge (T4)AWS S3IAMVPCsystemdffmpeg

아직 못 한 것

다른 프로젝트