교차 시스템 · 품질 게이트¶
이 장은 NERV 산출물에 적용되는 공통 품질 정책의 설계 계약을 정의한다. 어떤 역할이 만든 결과든 같은 척도로 점수를 매기고, 메트릭별 임계값과 비교하며, 작업 단계에 따라 정해진 정책을 적용하도록 규정한다. 다만 컴포넌트별 실제 집행 범위는 다르며, 자동 MAGI 핸드오프 executor는 현재 미구현이다(NON-GOAL). magi_gate.enabled는 2026-07-26 true가 됐으나, 이는 결정론 게이트 3종 등록부의 가동 선언이지 executor 구현을 뜻하지 않는다. 현재 실제 교차 검증은 운영 순찰 magi-patrol과 PI가 명시 호출하는 agent-council로 수행된다. 공통 게이트를 규정해 두는 목적은, 에이전트가 늘어나도 품질 기준이 흩어지지 않게 하려는 것이다.
점수 스케일¶
모든 품질 점수는 0.0~1.0 범위로 정규화해 저장한다. 10점 척도나 100점 척도는 사용하지 않는다. 다만 저장 범위를 통일한다고 해서 서로 다른 메트릭의 값이 서로 직접 비교 가능한 양이 되는 것은 아니다(예: DOI 신뢰도 0.8과 재현성 0.8은 의미·난이도·오차분포가 다르다). 판정은 메트릭별 정의와 임계값에 따라 개별적으로 수행하며, 범위 통일은 임계값 판정 로직을 단일하게 유지하기 위한 것이다.
임계값 표¶
각 품질 메트릭에는 통과해야 할 최소값이 정해져 있다. 산출물의 점수가 해당 메트릭의 최소값에 미치지 못하면 게이트가 작동한다.
| 메트릭 | 최소값 | 의미 |
|---|---|---|
conversion_quality |
0.7 | 문서 변환 품질 |
doi_confidence |
0.8 | DOI 매칭 신뢰도 |
style_score |
0.8 | 학술 문체 점수 |
relevance |
0.7 | 검색 결과 관련성 |
reproducibility |
0.6 | 재현성 점수 |
thematic_saturation |
0.7 | 주제 포화도 |
coding_reliability |
0.7 | 코딩 신뢰도 |
triangulation_coverage |
0.6 | 삼각 검증 커버리지 |
신뢰도가 중요한 메트릭(DOI 매칭, 학술 문체)은 0.8로 더 엄격하게, 탐색적 성격이 강한 메트릭(재현성, 삼각 검증 커버리지)은 0.6으로 다소 완화하여 균형을 맞췄다.
3계층 정책¶
같은 점수라도 작업이 어느 단계에 있느냐에 따라 처리 방식이 달라진다. 초기 탐색에서는 관대하게, 최종 출판에서는 엄격하게 다루는 3계층 구조다.
| 단계 | 정책 | 설명 |
|---|---|---|
explore (탐색) |
warn_and_continue |
품질 미달 시 경고만 남기고 계속 진행 |
produce (생산) |
warn_and_flag |
품질 미달 시 경고와 함께 manual_review 플래그 설정 |
publish (출판) |
block |
품질 미달 시 차단 |
탐색 단계에서는 아이디어를 빠르게 펼치는 것이 우선이라 경고 후 계속 진행하고, 생산 단계에서는 사람이 다시 들여다볼 수 있도록 검토 플래그를 남기며, 출판 단계에서는 기준에 미달하는 산출물이 바깥으로 나가지 못하도록 아예 차단한다.
게이트 적용 흐름¶
에이전트가 산출물을 만들면 먼저 작업 단계가 판정되고, 그 단계에 맞는 임계값과 비교한다. 점수가 임계값 이상이면 정상 통과한다. 미달한 경우 탐색 단계에서는 경고 후 계속 진행하고, 생산 단계에서는 검토 플래그를 달아 사람의 확인을 유도하며, 출판 단계에서는 산출물을 차단한다. 출판 차단 경로는 정상 통과 경로와 합류하지 않는다. 단계가 뒤로 갈수록 게이트가 단단해지는 구조가 NERV 품질 관리의 뼈대다.