01 / PORTFOLIO THESIS

데모가 아니라, 실시간으로 현장에서 돌아가는 AI를 만듭니다.

의료 실시간 영상 AI, 6채널 엣지, 시뮬레이션·자율, 멀티모달 VideoAgent — 모두 실시간·온디바이스 제약에서 작동시키고 검증해왔습니다. 다음은 실시간·온디바이스로 게임을 인지하고 판단·행동하는 에이전트입니다.

Case 01 Medical AI Head of Development으로 ENAD를 200+ 병원에 제품화.

Case 02 Edge Vision Jetson Xavier 6채널 실시간 추론 파이프라인.

Case 03 Simulation 시뮬레이터 객체·장면 생성과 USV 자율 연구.

Case 04 VideoAgent 멀티모달 5-VLM 앙상블을 Agent Harness로 재설계.

Record Research · IP peer-reviewed 논문 8, 특허 10건(등록7), 해커톤·TRAE 입상.

02 / WHO I AM · 오늘의 순서

현실 제약 안에서 작동·검증한 AI를 만드는 사람.

12년 — 미사일·환자·엣지·영상, 전부 ‘제약 속 작동·검증’. 오늘 이 4 케이스로 보여드립니다.

CASE 01 · 의료

실시간 영상 AI 제품화

ENAD — 200+ 병원 실배포 · 실시간

CASE 02 · 엣지

6채널 온디바이스 추론

Jetson Xavier — 서버 없이 실시간

CASE 03 · 자율

시뮬레이션 · USV 자율

시뮬레이터 객체생성 — sim→real

CASE 04 · 에이전트

멀티모달 VideoAgent

5-VLM 앙상블 — KRAFTON 해커톤

발표 순서 — 위 4 케이스 → 기록 → 왜 나 → 기여(KRAFTON) → 마무리. 부록(논문 8 · 특허 10)은 질문 시 펼침.

4case studies
8publications
7+3patents 등록·출원
21 win · 1 finalist

03 / CASE 01 — ENAD, 한눈에

ENAD: 내시경 라이브 영상에서 병변을 실시간으로 찾는 AI.

왜 실시간 AI인가 — 내시경에서도 의사는 병변을 놓칩니다. 대장 선종 미탐률 ≈26%(Gastroenterology 2019 메타분석)·위 조기암 ≈10%. AI가 라이브로 다시 봅니다.

무엇을대장·위 내시경 검사 중 폴립·암 등 병변을 화면에 표시 (CADe·CADx)

왜 실시간의사가 스코프를 움직이는 라이브 영상 → 프레임 안에서 즉시 판단해야 의미

제약기존 내시경 장비에 그대로 · 일반 PC · 60fps — 놓치면 환자 위험

같은 화면, 다른 결과 — 의사 단독은 놓치고, ENAD는 라이브로 잡는다.

≈26%대장 선종 미탐률(놓침)
CADe·CADxdetect + classify
60 fpsreal-time budget
200+institutions

04 / CASE 01 — MEDICAL AI PRODUCTION (ENAD)

내부 벤치마크 점수는 높았지만, 현장 의사는 “못 쓰겠다”고 했습니다.

Head of Development으로서 모델·SW 패키징·MFDS 규제 대응·병원 설치·임상검증까지 한 루프로 이끌었습니다.

문제테스트셋으로 성능↑·업데이트해도 현장 의사는 ‘못 쓰겠다’. 내부 점수 ≠ 현장 신뢰.

이유 · 5가지장비 다양성 · 영상 노이즈 · 의사 워크플로 · 병변 다양성 · 장 정결도 — 한둘이 아니었습니다.

그래서하나씩 니즈를 파악해 현장에서 쓰이는 제품으로 → 다음 장.

현장 피드백이 가혹했던 이유는 한둘이 아니었습니다 — 장비·노이즈·워크플로·병변·정결도.

200+medical institutions
Head of Devmodel to deployment
MFDSregulatory submission
Real-timeendoscopy video AI

05 / CASE 01 — ENAD: 현장 제품화 & 글로벌

5가지를 하나씩 풀어, 현장에서 진짜 쓰이는 제품으로 — 그리고 글로벌.

현장 변수를 분해해 하나씩 해결하고, 병원별 환경을 반영한 현장 벤치마크 셋으로 검증했습니다. → 현장 벤치마크는 KRAFTON Orak 같은 에이전트 평가의 원형.

조치 · 하나씩장비 강건성 · 노이즈 보정 · 워크플로 반영 · 병변 커버리지 · 정결도 대응.

검증병원별 현장 벤치마크 셋 + 지표로 개선을 정량 측정 (제품 개선 루프).

효과 · 글로벌현장에서 쓰이는 제품 → 200+ 병원 → 해외 확장(글로벌화).

Field benchmark construction: multiple hospitals into collect and curate into field benchmark set and metrics into measure improvement — 현장 변수를 반영한 벤치마크로 개선을 측정 → 현장에서 쓰이는 제품 → 글로벌.

5현장 변수 해결
Benchmarkfield set + metrics
200+병원 (제품)
Global해외 확장

06 / CASE 01 — ENAD REAL-TIME OPTIMIZATION

검출·분류를 동시에 돌리면서, 일반 PC 한 대로 60fps를 지켜야 했습니다.

ENAD는 기존 내시경 장비에 그대로 연결돼야 했고, 실시간 60fps를 유지해야 했으며, 큰 워크스테이션을 둘 수 없었습니다. → 일반 PC 60fps = Smart Zoi 온디바이스 서빙과 같은 제약.

문제검출·분류 동시 구동 + Olympus·Fujifilm·Pentax 주요 기종 연동 + 일반 PC 60fps (발열·비용 제약).

조치최적 HW 구성 선정 · 발열(thermal) 관리 · 추론 파이프라인 SW 최적화 → 60fps 유지.

효과비싼 워크스테이션 없이 일반 PC에서 끊김 없는 60fps 실시간 구동.

Real-time optimization: endoscopy tower into a standard PC under thermal and cost constraints, producing real-time 60 fps, with software optimization — Real-time 60fps on a standard PC — no oversized workstation.

60 fpsreal-time, no drop
Standard PCno big workstation
Thermalheat + power budget
Multi-vendorOlympus·Fujifilm·Pentax 주요 기종

07 / CASE 02 — REAL-TIME EDGE VISION (Hanwha Systems)

서버도 클라우드도 없이, 엣지 기기 한 대에서 6채널을 실시간으로 돌려야 했습니다.

클라우드 없이 기기 안(온디바이스)에서 6채널을 실시간 처리 — 서버도 여유 지연도 없는 제약에서. → 온디바이스 멀티스트림 예산 = CPC 온디바이스 추론과 같은 결.

문제6개 스트림의 디코딩·추론·추적·출력이 한정된 Jetson 자원을 동시에 다투는 스케줄링 병목으로, FPS·지연·GPU·전력이 함께 무너졌습니다.

조치DeepStream multi-stream으로 단계 통합 + 구성별 성능 비교 → 런타임 예산에 맞는 구성 선정.

효과엣지 장비 1대에서 6채널 실시간 추론을 구현하며, 온디바이스·실시간 예산(지연·전력·메모리) 안에서 모델을 굴리는 감각을 확보했습니다.

Edge vision pipeline: six video streams into a Jetson Xavier box with decode, stream mux, inference, tracking, output, under an FPS latency GPU power runtime budget — Multi-stream object detection under Jetson Xavier runtime constraints.

6chmulti-stream input
DeepStreamobject detection pipeline
Jetson Xavier512-core Volta · 32 TOPS · ~30W
BudgetFPS · latency · GPU · power

08 / CASE 03 — SIMULATION & AUTONOMY (Hanwha Systems)

현실에서 못 모으는 위험 상황은, 시뮬레이터로 만들어 학습시켰습니다.

무인수상정(USV) 자율 연구에서 Unity 시뮬레이터 + 강화학습으로 정책을 다루고, 희귀·위험 상황은 시뮬레이터로 생성해 학습. → 게임 환경에서 RL 에이전트 학습과 같은 sim 활용.

문제해상 자율(USV)은 희귀·위험 상황의 실데이터가 부족했고, 단일 센서 기반 자동 도킹은 불안정했습니다.

조치Unity 시뮬+RL로 자율 정책 학습 · 시뮬레이터로 객체·장면 생성해 데이터 보강 · 복합 센서 융합 USV 자율도킹 · 모델 구조는 NAS로 자동 탐색(아래 그림 — 구조 설계 자동화).

효과데이터 부족 → ‘생성’, 단일 센서 한계 → ‘센서 융합’. USV 자율도킹(등록)·시뮬레이터 객체생성(출원).

시뮬레이터로 위험 상황을 학습(상단) · 모델 구조는 NAS가 자동 설계(하단) — 사람의 수작업 튜닝을 대체.

USVautonomy research
Simulatorobject-generation patent
3granted patents (자율·시뮬)
2020–2021Hanwha Systems

09 / CASE 04 — VIDEOAGENT v3 · 파이프라인 (1/2, BUILT)

15분 안에 영상 20개를 풀어야 했고, 한 모델로는 부족했습니다.

KRAFTON AI R&D 해커톤 결선에서, 세 모델 패밀리(GPT · Gemini · Claude)를 결합한 비디오 QA 앙상블을 구현했습니다.

문제15분 안에 20개 영상 × 최대 26지선다를 풀어야 했고, 단일 모델·단일 호출로는 약했습니다.

조치질문을 9유형으로 분류 → 유형별 적응형 프레임 추출 → 5개 모델 병렬 호출 → 5-way 투표로 답을 선택했습니다.

효과멀티모달 VLM을 실제 운영 제약(시간·토큰) 안에서 통합한 시스템으로 해커톤 6위에 입상했습니다.

v3(BUILT) — 9유형 분류 → 적응형 프레임 추출 → 5모델 병렬 → 5-way 투표.

5VLM models ensembled
9question types routed
20 / 15mvideos · runtime limit
6thKRAFTON hackathon

10 / CASE 04 — VIDEOAGENT v3 · 왜 이렇게 만들었나 (2/2)

운영 제약(15분·토큰)이 설계를 정했습니다 — 핵심 결정 3가지.

단일 모델·단일 호출로는 약했습니다. 리포트로 검증된 3가지 결정으로 정확도를 끌어올렸습니다.

① 모델 다양성

같은 모델 = 같은 실수

→ 서로 다른 GPT·Gemini·Claude 3 패밀리로 (상관 오류 회피)

② 적응형 프레임

프레임 과다 → 빈 답

→ 질문 유형별로 꼭 필요한 프레임만 (토큰 예산 절약)

③ 5-way 투표

5개 답 → 1개 선택

→ 과반·우선순위로 (GPT합의→Claude합의→fallback)

왜 다양성이 결정적이었나 — 26지선다에선 단일 모델이 90%대 → ~50%로 무너집니다. (전부 KRAFTON 해커톤 리포트로 기록·검증)

3families · 5 models
9question types
Vote5-way priority
Report리포트로 검증

11 / TRACK RECORD

논문도, 특허도, 수상도 — 전부 실시간으로 인지·판단·행동하는 AI였습니다.

의료 실시간 영상 AI부터 USV 자율·강화학습 시뮬레이터·멀티모달 VideoAgent까지 — 검증 가능한 기록. + 정부 R&D 과제 제안·발표, MIL-STD 신뢰성 검증 경험.

Publications국제 저널 6편 peer-reviewed + 국내 학회 2(KICS·국방) = 논문 8편.

Patents (7+3)USV 자율도킹(센서퓨전) · 실물→3D 시뮬 객체생성(딥러닝) · 실시간 폴립 검출 · 드론 안티해킹.

AwardsKRAFTON AI R&D 해커톤 6위 · Build with TRAE @Seoul 최우수상 (ByteDance).

One record, three domains: real-time AI, autonomy, game AI.

8publications
7granted Korean patents
3filed applications
21 win · 1 finalist

12 / WHY GAMES · WHY NOW · WHY ME

12년간 한 가지를 해왔습니다 — 제약 안에서 ‘진짜 도는’ AI.

미사일·환자·엣지·영상 — 도메인은 달랐지만 문제는 같았습니다. AI가 데모→제품·클라우드→온디바이스·인지→행동으로 가는 지금, 그 경험이 가장 필요해졌습니다.

한 줄기 경력한화 유도무기(MIL-STD)→의료 ENAD(MFDS·200+)→6채널 엣지→VideoAgent. 전부 ‘제약 속 작동·검증’.

스스로 택함KRAFTON 해커톤 결선·Build with TRAE 최우수상, 딥러닝 자율주행차까지 직접 — 시키지 않아도 에이전트·자율 AI를 만듦.

시대의 요구온디바이스 SLM 에이전트(Smart Zoi)·Physical AI·에이전트 평가(Orak) — ‘현실에서 도는 AI’가 핵심인 시대.

곁다리 — 시키지 않아도 만든다 집에서 직접 만든 딥러닝 자율주행차 (TensorFlow). 업무 밖에서도 ‘인지→행동’ AI를 만듦.

12yr제약 속 실시간 AI
3자발적 제작 (해커톤·TRAE·자율주행차)
On-deviceSLM agent 시대
Physical AI인지→행동

13 / KRAFTON에서 할 일

게임 에이전트에서 Physical AI까지, 제가 바로 붙을 수 있는 세 가지.

KRAFTON이 지금 푸는 문제 — Agent Harness(Planning·Memory·Tool Use·Loop·Evaluation)와 게임 너머 Physical AI — 에, 제가 현장에서 이미 해본 것을 바로 붙입니다. 데모가 아니라 제품으로, 점수가 아니라 쓸모로.

① CPC 제품화CPC = 사람과 함께 플레이하는 캐릭터(인지·판단·행동). PUBG Ally·Smart Zoi(0.5B SLM 온디바이스)의 ‘데모→제품’ 서빙을 ENAD 60fps·6채널 엣지 실배포로.

② 제약 인식 평가KRAFTON Orak(게임 에이전트 벤치마크·MCP)에 제 현장 벤치마크 방식 — 지연·비용·온디바이스 예산 하 성능 + 실패 분석 — 을 더해, ‘리더보드 점수’가 아니라 ‘게임에 넣을 만한가’를 측정합니다.

③ Sim→Real 브릿지게임 시뮬에서 키운 에이전트를 현실(Physical AI)로 넘길 때, USV 자율·시뮬레이터 객체생성 특허·MIL-STD 경험으로 현실 제약과 안전을 책임집니다.

Three concrete contributions I would make at KRAFTON.

4agent-ready case studies
8publications
7granted Korean patents
200+medical institutions deployed

14 / CLOSING THESIS

KRAFTON에서, 데모가 아니라 실제로 돌아가는 에이전트를 만들겠습니다.

도메인은 달랐지만 방식은 같았습니다 — 실패를 재현하고, 근거를 남기고, 다음 실행이 더 좋아지게. 첫 과제로 CPC 평가 하니스(제약 인식 + 실패 분석)부터 붙이겠습니다.

문제재현되지 않는 실패는 개선되지 않습니다. Agent 연구도 실제 환경의 실패 조건을 먼저 잡아야 합니다.

조치시뮬레이션, 현장 피드백, 실시간 멀티모달 추론, verifier를 연결해 온디바이스·실시간 제약 안에서 판단 근거가 남는 루프를 만들었습니다.

효과Tool Use, Memory, Evaluation을 갖춘 Agent Harness를 더 빠르게 실험하고 검증할 수 있습니다.

Closing operating model: reproduce failures, verify evidence, keep improving.

Day 1온디바이스·실시간 서빙
Eval제약 인식 평가 (Orak)
Sim→RealPhysical AI
HarnessTool·Memory·Loop

15 / APPENDIX A — PUBLICATIONS (8)

논문 8편 — 대부분 실시간 인지·판단 AI, 기반은 신호처리.

국제 저널 6 + 국내 학회 2 — 의료 영상 실시간 검출이 핵심, 신호처리(석사)가 토대. 각 카드: 무엇을 했나 · 왜 KRAFTON과 연결되나.

실시간 영상

Colorectal Polyp Optical Diagnosis

Gut and Liver · 2026

① 실시간 폴립 광학진단 AI를 임상에 통합

② 실시간 영상 인지 = 게임 화면 인지의 원형

오탐 해결

Specular-Reflection Data Augmentation

Biomedical Eng. Letters · 2026

① 빛 반사 재현 증강으로 오탐↓

② 노이즈 강건성 = 에이전트 인지 견고성

미탐 해결

Borrmann Type 4 Gastric Cancer Detection

Cancer · 2025

① 퍼지는 침윤형 위암(미탐) 검출

② 어려운 edge-case 검출 = 평가·안전

실시간 영상

Pathologic Outcome Prediction (EGC)

Gastric Cancer · 2024

① 내시경 영상 → 병리 결과 예측

② 인지 → 판단(추론) 파이프라인

실시간 영상

Real-World Gastric Atypia / Neoplasm

J. Gastric Cancer · 2024

① 실제 임상환경 다기관 검출

② 벤치 점수 아닌 실배포 성능

foundations

Pragmatic Analog Network Coding (OFDM)

IEEE Trans. Wireless Comm. · 2014

① 다중중계 OFDM 신호처리 (석사)

② 시스템·신호 최적화 기반기

국내 · 엣지

DeepStream 다중 영상처리 객체검출 성능비교

한국통신학회(KICS) · 2021

① 엣지 다중스트림 객체검출 성능 비교

② 온디바이스 실시간 멀티스트림 = 게임 인지 예산

국내 · 국방

사전훈련 모델 기반 한국어 임베딩 성능 비교

한국국방기술학회 논문지 · 2020 (Vol.2)

① BERT 등 사전훈련 모델 파인튜닝 — 한국어 임베딩·감성분류 성능 비교

② 트랜스포머·전이학습 경험 — LLM·에이전트 기반 기술

16 / APPENDIX B — PATENTS · 실시간 영상 인지 (의료)

특허 ①축 — 실시간 영상으로 인지·판단 (등록 4 · 출원 2).

게임 에이전트의 실시간 화면 인지와 같은 결: 검출·분류·안정화·커버리지.

실시간 영상

폴립 검출 + 깜빡임 제거

KR102641489B1 · 등록

① 시간적 일관성으로 오탐·깜빡임 안정화

② 실시간 영상 인지의 정수 = 게임 에이전트

실시간 영상

내시경 영상 자동 인식·분석

KR102641492B1 · 등록

① 병변을 자동 인식·분석

② 실시간 인지 자동화

실시간 영상

내시경 영상분석 서비스

KR102841476B1 · 등록

① 검출+분류+품질평가+리포트 자동

② 인지 → 판단 → 산출 풀스택

실시간 영상

검사 커버리지 맵

KR102889999B1 · 등록

① 본/안 본 구역 실시간 색지도

② 실시간 커버리지 = 에이전트 상태추적

온디바이스

웨어러블 건강 모니터링

KR10-2024-0105250 · 출원

① 웨어러블로 개인 맞춤 건강 모니터링

② 온디바이스 실시간 센싱

실시간 영상

내시경 영상 AI 출원

KR10-2024-0053966 · 출원

① 내시경 영상 AI 관련 출원 (Ainex)

② 실시간 영상 인지 IP 확장

17 / APPENDIX B — PATENTS · 자율·시뮬레이션 (국방)

특허 ②축 — 인지한 뒤 자율로 판단·행동 (등록 3 · 출원 1).

시뮬레이터 객체생성(sim→real)은 KRAFTON 시뮬·Physical AI와 가장 직결되는 카드.

Sim→Real ★

시뮬레이터 객체 생성 (딥러닝)

KR20230072001A · 출원

① 실물 사진 → 자동 3D 시뮬 객체

② sim→real = KRAFTON Physical AI 직결

자율

USV 자율 도킹 (센서퓨전)

KR102364611B1 · 등록

① 복합센서로 무인선 자동 접안

② 센서퓨전 + 실시간 제어 = 자율

자율·보안

드론 안티해킹

KR102480380B1 · 등록

① 재밍·스푸핑 감지 → 자동 복귀

② 이상 감지 → 자율 행동(안전)

엣지 센싱

항만 컨테이너 보안 (UWB)

KR102562882B1 · 등록

① UWB 정밀위치 + 암호키 무열쇠 통제

② 저전력 엣지 센싱

한 줄 요약 — 두 축 모두 “실시간으로 인지하고 자율로 판단·행동”. 그래서 KRAFTON의 게임 에이전트·Physical AI와 같은 문제입니다.