새김 AI — 개인 데이터 RAG
RAGPASS56 runsLIVE최신 실행·스케줄·대상 claude-haiku-4-5 · gpt-4o-mini·심판 교차 채점(서로 채점)·threshold 0.18·09-02 10:01
정답지 없이(reference-free) LLM 심판이 RAG 품질을 검색 계층과 답변 계층으로 나눠 채점한다. 아래는 검색 threshold를 낮춰가며 튜닝한 실제 실행 기록이다.
Context Recall
4/4
100%
Context 충분성
8/8
100%
Faithfulness
100%
날조 0 · 과단정 0
심판 건강 (control)
2/2
심은 환각 잡음
평균 응답
1.404s
답변 생성
토큰
25,277
생성+심판
비용
$0.0226
claude만 · gpt 단가 미정
95%
게이트 빌드 판정
53/56
성능 추이 (x: threshold)
recallfaithfulness
recall은 threshold를 낮추자 회복됐고, faithfulness는 내내 평평 — 회귀가 검색 계층에서 났음을 보여준다.
모델 비교
model-sweep · RAG 고정(threshold 0.18)네 모델 모두 faithfulness 100% — 품질이 같으니 속도·비용으로 고른다.
모델
Faithfulness
응답 시간
비용 / 실행
claude-opus-4-8
100%
2.525s
$0.0146
claude-haiku-4-5
100%
1.527s
$0.0032
gpt-5.5
100%
1.58s
미정
gpt-4o
100%
0.767s
미정
비용은 claude만 실측(gpt 단가 미정). 최속 gpt-4o 0.767s, 최저가 haiku $0.0032.
실행 이력 (수동 실험 · 매일 스케줄 통합)
수동스케줄코드변경
| 시각 | 동작 | threshold | recall | 충분성 | faithfulness | 게이트 |
|---|---|---|---|---|---|---|
| 09-02 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 09-01 11:53 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-30 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-28 11:20 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-27 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-26 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 97% | PASS |
| 08-25 10:17 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-24 10:24 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-23 10:21 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-22 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 98% | PASS |
| 08-21 10:06 | 스케줄 | 0.18 | 4/4 | 8/8 | 98% | PASS |
| 08-20 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 97% | PASS |
| 08-19 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-18 10:14 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-17 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-16 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-15 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-14 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 97% | PASS |
| 08-13 10:00 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-12 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-11 10:51 | 스케줄 | 0.18 | 4/4 | 8/8 | 98% | PASS |
| 08-10 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-09 14:45 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-08 10:18 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-05 10:05 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-04 10:14 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-03 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 98% | PASS |
| 08-02 10:05 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 08-01 10:11 | 스케줄 | 0.18 | 4/4 | 8/8 | 97% | PASS |
| 07-31 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 97% | PASS |
| 07-30 11:14 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-29 10:52 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-28 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-27 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-26 12:02 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-25 10:04 | 스케줄 | 0.18 | 4/4 | 8/8 | 98% | PASS |
| 07-24 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-23 10:01 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-22 10:40 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-21 11:26 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-20 10:30 | 스케줄 | 0.18 | 4/4 | 8/8 | 100% | PASS |
| 07-18 10:04 | 스케줄 | 0.18 | 12/12 | 24/24 | 95% | PASS |
| 07-17 10:04 | 스케줄 | 0.18 | 12/12 | 24/24 | 96% | PASS |
| 07-16 10:03 | 스케줄 | 0.18 | 12/12 | 24/24 | 95% | PASS |
| 07-15 11:12 | 스케줄 | 0.18 | 12/12 | 24/24 | 95% | PASS |
| 07-14 11:37 | 스케줄 | 0.18 | 12/12 | 24/24 | 95% | PASS |
| 07-13 10:04 | 스케줄 | 0.18 | 12/12 | 24/24 | 97% | PASS |
| 07-12 18:57 | 스케줄 | 0.18 | 12/12 | 24/24 | 96% | PASS |
| 07-11 10:01 | 스케줄 | 0.18 | 2/2 | 4/4 | 100% | PASS |
| 07-10 10:01 | 스케줄 | 0.18 | 2/2 | 4/4 | 100% | PASS |
| 07-09 13:17 | 스케줄 | 0.18 | 2/2 | 4/4 | 100% | PASS |
| 07-09 03:43 | 수동 | 0.18 | 2/2 | 4/4 | 100% | PASS |
| 07-09 03:42 | 수동 | 0.22 | 2/2 | 4/4 | 100% | PASS |
| 07-09 03:41 | 수동 | 0.25 | 1/2 | 2/4 | 100% | FAIL |
| 07-09 03:40 | 수동 | 0.3 | 1/2 | 2/4 | 100% | FAIL |
| 07-09 03:39 | 수동 | 0.35 | 1/2 | 2/4 | 100% | FAIL |
매일 모니터링 (최근 5주)
PASSFAIL
최근 결과
PASS
연속 PASS
51
누적 P / F
51 / 0
실험 비교 (Diff)
A (기준)
B (비교)
| 지표 | A | B | Δ |
|---|---|---|---|
| Context Recall | 50% | 100% | +50%p |
| Context 충분성 | 50% | 100% | +50%p |
| Faithfulness | 100% | 100% | 0%p |
| 게이트 | FAIL | PASS | FAIL→PASS |
| 평균 응답 | 2.088s | 2.076s | -0.01s |
| 토큰 | 13,378 | 15,764 | +2,386 |
| 비용 | $0.0645 | $0.0735 | +$0.0090 |