IDEAS
2026.1021건
- 10.26제안 모델과 검증 모델이 달라도 되는 구성이라, saegim-eval 심판 점수로 사람이 직접 볼 케이스만 고르는 문턱 계산에 실험해볼 여지
새김 EvalAI 결정 중 사람이 감사할 몫만 골라내는 온라인 감사 알고리즘 제안
- 10.25도구 응답에서 사실 하나를 빼고 같은 과제를 다시 돌리는 구성이라, 법령 BMT 위임 사슬 채점에 증거 누락 케이스를 끼워 넣어볼 여지
도구 응답에서 사실 하나를 빼면 에이전트가 금지된 행동을 한다는 벤치마크 제안
- 10.24도구 호출형 평가에 올릴 후보 모델이 하나 늘어난 셈이라, 법령 BMT 회귀 게이트의 비교 대상에 넣어볼 여지
Kimi K3.1 Pro 와 고속판 공개가 해커뉴스 댓글 2위로 올라왔다
- 10.23심판 모델을 한 번 부르고 끝내는 대신 비용 상한 안에서 질의 순서를 짜는 접근이라, saegim-eval 판정 레이어와 법령 BMT 회귀 게이트에 실험해볼 여지
새김 EvalLLM 분류기를 잡음 있는 측정기로 보고 질의 순서를 회로로 짜자는 제안
- 10.23도메인 하네스가 범용 코딩 에이전트를 연구 도구로 바꾼다는 구성(지식베이스 + 구현 골격 + 검증 틀)이라, 법령 BMT 채점 하네스를 짤 때 참고할 여지
에이전트 하네스로 새 합의 프로토콜 A-greement 를 찾아냈다는 보고
- 10.22와 saegim-eval 의 파이썬 쪽 LLM 의존성이 잠금 파일로 버전 고정돼 있는지 한 번 훑어볼 여지
새김 EvalPyPI 의 LiteLLM 1.107.0 이 자격증명 탈취기와 백도어를 심은 채 배포됐다는 분석
- 10.21회귀 게이트를 단발 문항 모음 대신 앞 단계 결과를 물려받는 누적형으로 한 갈래 짜 보는 실험 여지
기능을 미리 알려 주지 않고 하나씩 공개해 같은 코드베이스를 이어 가게 하는 코딩 에이전트 벤치마크
- 10.21법령 조회 출력이 길어 파일로 빼 둘 때, 최종 정답 여부만 보지 말고 어느 근거로 답했는지를 따로 채점하는 칸을 legal-bmt 에 둘 여지
새김 Eval도구 출력을 맥락에서 빼 파일로 읽게 하면 에이전트가 근거를 바꿔친다는 측정
- 10.20의 도구 호출 사슬 채점과 saegim-eval 심판을 최종 답이 아니라 추적 전체를 훑는 쪽으로 넓혀 볼 여지
새김 Eval에이전트 추적에서 오류를 찾는 작은 모델을 강화학습으로 만들었다는 Launch HN
- 10.20회귀 게이트에 우리 과업에서 교체 가능한가를 판정하는 기준선을 한 줄 남겨 둘 여지
오픈소스 LLM 이 프런티어 모델을 대체할 만한지 무엇으로 재나는 질문
- 10.19saegim-eval 심판을 한 번에 한 점수로 받지 않고 항목으로 쪼개 점수를 모으는 쪽, legal-bmt 위임 사슬 채점에도 붙여 볼 여지
새김 Eval참과 거짓 대신 항목별 점수를 매기는 검증자가 이진 검증자보다 낫다는 논문
- 10.19saegim-eval 과 legal-bmt 의 평가 프롬프트에 평가 중이라는 단서가 섞여 있지 않은지 한 번 훑어 볼 여지
새김 Eval시험 중이라고 알려주면 LLM 의 거절률이 올라간다는 측정이 인도어에서도 재현됐다는 논문
- 10.18지시에 안 적힌 제약을 캐내는 과업을 법령 BMT 와 saegim-eval 채점표에 한 줄 넣어 볼 여지
새김 Eval요구사항이 안 적힌 현장 납품 과업 95개로 에이전트를 재는 FDE-Gym 제안
- 10.18조항이 서로를 가리키는 법령처럼, 문서 사이 참조를 그래프로 타서 후보를 넓히는 검색을 웍스 색인에 실험해 볼 여지
새김 웍스의존 그래프를 여러 칸 타고 보조정리를 찾는 검색 LeanGraphSearch 제안
- 10.17와 saegim-eval 의 과업 목록이 실제로 돈 받는 작업의 분포를 덮는지 되짚어 볼 여지
새김 Eval미국 노동 시간의 90퍼센트가 AI 벤치마크에 잘 안 덮인다는 주장이 해커뉴스에서 화제
- 10.17도구 호출을 채점하는 법령 BMT 와 그어봄 MCP 에서 같은 충돌이 나는지 한 번 짚어 볼 여지
그어봄도구 호출과 구조화 출력을 같이 쓰면 안 맞는다는 랭체인 질문이 조회 601을 기록했다
- 10.13BMT 의 비교 대상 후보로 어떤 과제를 어떻게 쟀는지 읽어 볼 여지
z.ai 가 올린 GLM-Legal 글에 댓글 225개가 붙었다
- 10.13그어봄 같은 MCP 도구 노출이나 법령 BMT 의 도구 호출 채점에서, 호출 실패 이력을 선택 순위에 되먹이는 축으로 실험해 볼 여지
그어봄도구 검색에 실행 신뢰도를 섞어 장애 도구 선택을 줄인다는 RATED 제안
- 10.12나 saegim-eval 처럼 기계 채점 기준을 짤 때, 검증 가능한 요건 통과와 결과물 품질의 간극을 별도 축으로 볼지 참고해 볼 여지
새김 Eval프롬프트로 레고 세트를 설계시키는 에이전트 벤치마크 BrickBench 제안
- 10.11처럼 도구를 부르는 평가와 0to1 야간 무인 파이프라인에, 범위 계약과 자동 중지 조건을 명시해 둘지 따져 볼 여지
0to1 자동화에이전트 평가에서 경계를 가정하지 말고 돌아가는 동안 검증하라는 제안
- 10.11의 층 도달 비율 같은 단일 수치가 구간별 난도를 고르게 본다는 가정을 깔고 있는지 점검해 볼 여지
새김 EvalMETR 시간 지평선을 통계로 다시 재니 같은 10배도 구간마다 난도가 다르다는 분석