AI 에이전트 품질 보증 시스템
AI 에이전트 8명이 코드를 수정하는 회사.
품질은 어떻게 보장하는가?
6개 버전에 걸쳐 진화한 하네스 엔지니어링 시스템이 답합니다
227+
의사결정
9
AI 에이전트
6
버전 진화
3계층 품질 보증 아키텍처
각 계층은 독립적으로 동작하며, 중첩 방어(Defense in Depth) 전략을 구현합니다
L0
L0 — Safety Net
pre-commit hook 기반 자동 방어
- 비밀정보 보호 (protect-secrets)
- 위험 명령 차단 (block-dangerous-commands)
- Edit/Write 도구 감시
L1
L1 — Enablement
Custom Subagent Architecture
- agent.md 도구 권한 매트릭스
- core SKILL.md + references/ 분리 구조
- 7개 에이전트 SKILL 경량화 완료
L2
L2 — Traceable Ops
run_id 기반 추적 가능한 운영
- run_id 추적 시스템
- 로그 수집 파이프라인
- KPI 측정 및 2회차 리뷰
에이전트 권한 매트릭스
7개 에이전트 × Write/Edit · Bash · 코딩 모델 권한
| 에이전트 | Write/Edit | Bash | 코딩 모델 |
|---|---|---|---|
| CEO Agent | 차단 | allowlist | — |
| Fullstack Dev | 차단 | 오픈 | 하청 (codex) |
| QA Engineer | 차단 | 오픈 | 하청 (codex) |
| DevOps Engineer | 허용 | 오픈 | 직접 수정 |
| Board Advisor | 차단 | 제한 | 하청 (codex) |
| Historian | 허용 | 제한 | 직접 수정 |
| Content Writer | 허용 | 제한 | 직접 수정 |
버전 히스토리
v1.0에서 v5.1까지, 6개 버전의 진화
v1.0 — 초기 안전망
hooks 기반 비밀정보 보호 및 위험 명령 차단 시작
v2.0 — 역할 정의 시스템
SKILL.md 도입으로 에이전트별 역할과 행동 규칙 명세화
v3.0 — Safety Net 강화
protect-secrets, block-dangerous-commands L0 계층 완성
v4.0 — Custom Subagent Architecture
agent.md 기반 도구 권한 매트릭스, 역할 인지율 100% 달성
v5.0 — Traceable Operations
run_id 추적 시스템, 로그 수집, KPI 측정 체계 구축 완료
v5.1 — SKILL Diet
core SKILL.md + references/ 분리 구조 도입. 680줄→134줄 경량화, 7개 에이전트 전원 완료. .claude/skills/ 경로 이전
KPI — 내부 검증 기준
모든 수치는 내부 스모크 테스트 및 Sprint D 기준입니다
0건
오탐률
SKILL Diet 완료 기준 (2026-03-19)
100%
E2E 파이프라인 성공률
v4.0 Phase 1B-2 검증 기준
100%
역할 인지율
v4.0 스모크 테스트 기준