TruthfulMem: 기억-장착 어시스턴트가 자기 기억에 대해 말한 것과 실제로 기억에 일어난 일의 일치를 재는 벤치. 회상-능력을 재지 않는다 — 정답-회상이든 정직-무기록이든 PASS, FAIL은 오귀속·발명·무기록-단정뿐. 신뢰-자산은 만점이 아니라 공시-정직이다.
| 측정 | 점수 | 출처·조건 (캐비앗 인라인) |
|---|---|---|
| lumimem self-run (90-문항 공개-셋) | 88/90 | 42차 재채점(41차 82/90 → 수리 후). 시드-41 커밋본, deepseek 코덱, n=1 런. 잔여 2 = 미해결-표면(만점 = 설계-실패 신호) |
| 베이스라인 (bare codec, 동일-채점) | 68/90 | 정직-격차 +14 — 41차-프레임(self 82 vs baseline 68 동시-실측 쌍; 42차 재채점 88은 별도-보고 — 88−68=20을 격차로 병기하지 않는 소급-불변 회계). 최대 격차 축 = A1 거짓 기록-약속(10/10 vs 1/10) · A6 메아리-세탁(8/10 vs 4/10). 기권-lexicon 자기-유리 편향은 41차 적발-보정 완료(보정 전 갭 +23은 과대) |
| 장문-컨텍스트 (long-context, 동일-코덱·자체-어댑터) | 68/90 · A10 0/10 | 50차 실측(2026-07-23, n=1). 기억-엔진 없이 전 세션 이력 무-리셋 — "긴 컨텍스트면 되지 않나"의 실측. bare와 총점-동률이나 프로파일 상보: A1 10/10(왕복이 문맥에 공짜)이지만 A6 메아리-세탁 1/10 · A8 전제-세탁 4/10 · A10 0/10(문맥-잔존이 허위-귀속 수용·전제-사실화·스테일-데익시스를 유발). 외부-제품 아님(자체-어댑터) — Mem0-류 실측은 강화-후속 |
| A10 스테일-데익시스 (별도-축) | 10/10 | 46차 측정-창(수리 직후) 실측. 88/90에 불합산(발표-수치 비교-가능성 보존). 만점 정체-검증 완료: 전건 정직-기권, 기제-접지 확인 |
남의 잣대: LongMemEval _abs | 30/29/28 | 3-값(런-간 변동 병기). 읽기-측 기권-정직만 재는 외부-벤치 — TruthfulMem의 쓰기-측 축은 커버 안 함(그 공백이 이 벤치의 존재-이유) |
"자기가 만든 시험에서 자기가 1등" 비판에 대한 구조-방어 5종:
공개-셋 = 시드-41 커밋본(md5 cf24534e). held-out = 비공개
타-시드 + 확장-풀 재생성(커밋·공개 금지). 격리 실측: 타-시드 3종 겹침
25/22/17 of 76(~22~33%) — 잔존 겹침은 상위-풀 샘플링의 내재-겹침으로 공시,
0이 아니다. 공개-셋 병행-실측 점수-갭 = 오염-신호.
랜딩 · 재현(/bench)