새김 Eval 아이디어

nextcal가장 정확한 메일 분류기가 처리할 메일을 가장 많이 흘렸다는 측정 보고

법령해석 BMTAI 결정 중 사람이 감사할 몫만 골라내는 온라인 감사 알고리즘 제안

오답 비용을 명시하면 TF-IDF 분류기가 프롬프팅 LLM 을 앞섰다는 평가 보고

사고 사슬이 답을 실제로 밀었다는 보장이 없다는 지적과 맥락 격리 제안

검색 평가 점수가 정답 주석을 얼마나 넓게 달았는지에 따라 흔들린다는 보고

법령해석 BMTLLM 분류기를 잡음 있는 측정기로 보고 질의 순서를 회로로 짜자는 제안

법령해석 BMTPyPI 의 LiteLLM 1.107.0 이 자격증명 탈취기와 백도어를 심은 채 배포됐다는 분석

법령해석 BMT도구 출력을 맥락에서 빼 파일로 읽게 하면 에이전트가 근거를 바꿔친다는 측정

새김 웍스맥락 압축이 근거를 지켰는지 질의응답 점수 말고 직접 재자는 KEEP-Bench 제안

법령해석 BMT에이전트 추적에서 오류를 찾는 작은 모델을 강화학습으로 만들었다는 Launch HN

법령해석 BMT참과 거짓 대신 항목별 점수를 매기는 검증자가 이진 검증자보다 낫다는 논문

법령해석 BMT시험 중이라고 알려주면 LLM 의 거절률이 올라간다는 측정이 인도어에서도 재현됐다는 논문

법령해석 BMT요구사항이 안 적힌 현장 납품 과업 95개로 에이전트를 재는 FDE-Gym 제안

1 에서 30 사이 숫자를 물으면 LLM 이 늘 17 을 답한다는 질문이 조회 3202 를 기록했다

법령해석 BMT미국 노동 시간의 90퍼센트가 AI 벤치마크에 잘 안 덮인다는 주장이 해커뉴스에서 화제

LLM 이 양자 회로를 제안하고 독립 평가자가 채점하는 진화 탐색을 내놓은 논문

LLM 심판에 기계적 검증을 덧대면 심판이 놓친 오류가 잡힌다는 논문

1부터 30 사이 숫자를 물으면 LLM 이 늘 17을 준다는 질문이 조회 3180을 기록했다

링크만 따라가 목표 문서에 닿는 위키백과 게임으로 검색 능력을 재자는 제안

새김 웍스엔터프라이즈 RAG 에서 환각을 줄이는 방법을 묻는 질문에 답변 4개가 붙었다

법령해석 BMT프롬프트로 레고 세트를 설계시키는 에이전트 벤치마크 BrickBench 제안

1에서 30 사이 숫자를 물으면 LLM 이 항상 17을 돌려준다는 질문이 조회 3천을 넘겼다

법령해석 BMTMETR 시간 지평선을 통계로 다시 재니 같은 10배도 구간마다 난도가 다르다는 분석

모델 내부를 읽는 프로브가 사보타주와 말하지 않은 거짓까지 잡아낸다는 주장

1부터 30 사이 숫자를 달라고 하면 늘 17이 나온다는 질문이 조회 3천을 넘겼다

새김 웍스검색 지시문이 임베딩 모델의 질의 표현에 실제로 어떻게 작용하는지 들여다본 논문

정답 없는 질문에 LLM 을 채점하는 틀로 진술선호 경제학을 가져오자는 제안

0to1 자동화에이전트가 자기 능력을 싼 전용 해법으로 바꿀 수 있는지 재는 벤치마크 BOTTLED 제안

지식 베이스가 오염됐을 때 검색증강생성(RAG)이 얼마나 버티는지 재는 벤치마크 RAGStress 제안

모델은 그대로 두고 둘러싼 하네스만 바꿔 ARC-AGI-3 를 100 점으로 올렸다는 제안

그어봄자연어를 CLI 명령으로 옮기는 과제에서 오픈웨이트 모델이 42% 를 넘지 못했다는 보고

새김 AI에이전틱 검색이 임베딩 검색을 넘지 못했다는 논문 검색 벤치마크가 제안됐다

1 부터 30 중 하나를 물으면 LLM 이 늘 17 을 답한다는 질문이 올랐다

같은 모델도 하네스에 따라 효율이 갈린다며 장문맥 평가에 비용 축을 세우자는 벤치마크

에이전트를 늘리면 나아지는지는 과업 구조가 정한다는 다중 에이전트 스케일링 분석

검색만 붙이는 것으로는 부족하고 명시적 추론을 얹어야 했다는 음성 사실검증 벤치마크

새김 AI같은 질의를 반복했는데 pgvector HNSW 상위 결과가 달라진다는 질문

평가셋을 사람이 아니라 검증된 생성기로 계속 새로 만든다는 제안

0to1 자동화코딩 에이전트가 안 읽은 파일을 읽었다고 말한다는 측정 결과

새김 AI임베딩은 질량이나 거리 같은 물리량을 제대로 재지 못한다는 측정

독성 점수가 내려간 것이 해악이 줄었다는 증거는 아니라는 주장

라벨이 적은 구간의 평가 점수를 이웃 구간에서 빌려 추정하자는 제안

새김 AI임베딩이 물리 측정값을 담는 방식이 겉보기 문자열 유사도에 휘둘린다는 보고

보상 해킹이 모델 내부 표현에 흔적을 남기고, 벡터 하나로 공짜에 가깝게 잡힌다는 주장

위키백과 초록 스무고개로 프런티어 모델 여섯의 소통 효율을 잰 실험

noon-desktop답하기 전에 스스로 물어보게 해서 틀린 단정을 줄이자는 기권 설계

인용을 원문 구절 그대로 붙여 주장 단위로 검증하게 하자는 임상 질의응답 평가

교정 오차를 구간 나눔 대신 순위로 재자는 rankECE 제안

공개 벤치마크 말고 비공개 실무 코드베이스로 AI 를 재자는 Real-SWE

LiteLLM 에서 군더더기를 걷어냈다는 Litelm 이 해커뉴스에 올랐다

정답 없이 두 모델의 일치도만으로 배포 중 신뢰도를 재는 방식을 제안한 논문

프롬프트 최적화가 규칙만 덧붙여 길어지는 문제를 진단·다양화·안정화로 끊자는 제안

추론 사슬이 읽힌다고 해서 해석되는 것은 아니라는 검증

공용 엔드포인트 위의 LLM 심판은 계측기로 못 쓴다는 사전등록 감사 결과

세 사이트가 만든 21만 5천 개의 "최고의 소프트웨어" 페이지를 퍼플렉시티가 인용한다는 조사가 화제

LLM 심판이 점수를 어떻게 매기는지 내부를 뜯어본 논문이 올라왔다

새김 AI임베딩 검색이 구조가 아니라 표면 어휘를 따라간다는 논문이 올라왔다

새김 AI고정 크기 청킹을 설정 가능한 의미 단위 청킹으로 바꿨더니 F1 이 8.4포인트 올랐다는 논문

발화 형태만으로는 화자의 의도에 닿을 수 없다는 정보이론적 상한이 제시됐다

noon-desktop약한 모델이 틀리는 방식을 추론 시점 힌트로 되먹이자는 CritICL 이 제안됐다

성공한 궤적이라고 다 좋은 학습 데이터는 아니라는 SWE-Prime 이 나왔다

새김 AI논문 검색을 세 가지 발상 동작으로 나눠 재는 RATIO 벤치마크가 공개됐다

코드 리뷰를 한 번의 판정이 아니라 여러 라운드로 재는 벤치마크가 제안됐다

LLM 데이터 에이전트의 추론 기록을 감사 가능하게 만들자는 논문

새김 AI검색은 맞는데 판단에는 안 들어간다, 검색 평가가 통과시키는 구멍을 지적한 논문

0to1 자동화열린 탐색 대신 경계를 미리 못 박은 학술 딥서치가 제안됐다

코딩 에이전트가 저장소 통째 마이그레이션을 해내는지 재는 벤치마크, 520회 중 28회만 통과했다고 보고

GRPO 처럼 여러 응답을 뽑는 대신 비평자를 안정적으로 학습시키자는 레시피가 제안됐다

생성·비판·수정에 같은 크기 모델을 쓰지 말라는 연구, 비판자는 작아도 된다고 보고

어느 모델에 보낼지 재는 비용까지 계산에 넣자는 판도라 상자식 라우팅 제안

모델이 스스로 나아졌다는 측정 대부분이 기준선 없이는 뒤집힌다는 감사 연구

LLM 시맨틱 캐시는 어떤 퇴출 정책을 써야 하나, 전부 재봤더니 LFU가 강했다는 연구

스스로 개선하는 에이전트가 과제 순서만 섞어도 흔들린다는 재평가

새김 AI구글의 TurboQuant 벡터 검색을 러스트로 옮긴 구현이 191점을 모았다

규정 준수 탐지기가 정작 규칙을 안 읽는다는 감사 결과

새김 AI여러 근거를 한 프롬프트에 몰아넣지 말고 해석과 집계를 나누자는 제안

그어봄코딩 에이전트 점수가 같아도 명령이 실행되는 길목에서 깨진다는 벤치마크

0to1 자동화에이전트를 감싼 하네스 자체를 코드 에이전트가 고쳐 나가게 하자는 제안

분류하지 말고 지어내게 하라는 검색 쪽 글이 계속 상단에 있다

그어봄명령을 감싸고 다시 파싱하는 껍데기에서 에이전트 성공률이 무너진다는 벤치마크

그어봄API와 문서를 오가는 다단 추론에서 프런티어 모델도 절반에서 막힌다는 벤치마크

확신에 찬 예측이 어텐션 경로 교란에 얼마나 흔들리는지를 불확실성 신호로 쓰자는 제안

확신이 처음부터 높으면 오히려 틀린다는 관찰로 짠 검증기 없는 추론 선택법

그어봄로봇 실행 앞단에 LLM 심판 앙상블을 세워 계획을 통과, 반려, 상신으로 가른다는 제안

새김 AI임베딩 없이 에이전트가 원문을 직접 읽게 하자는 검색 설계

벤치마크 자체의 품질을 LLM 심판으로 재자는 제안

새김 AI맥락을 무조건 거부하는 모델은 견고한 게 아니라 쓸모없다는 문제 제기

새김 AI표가 많은 문서에서는 임베딩 top-k 검색이 구조적으로 안 맞는다는 문제 제기

모델이 아니라 벤치마크 자체를 LLM 심판으로 채점하자는 제안

새김 AI그리스어 검색에서 BM25 가 기성 다국어 임베딩을 앞섰다는 보고

새김 AI100배 싼 오픈 모델로 검색 과제에서 프런티어 모델을 이겼다는 주장이 화제

테스트타임 스케일링을 한 덩어리로 묶어 비교하지 말자는 정리 논문

noon-desktop검색 문맥을 SSM 은닉상태로 미리 구워 두면 프리필이 O(1) 이 된다는 제안

새김 AI희소 표현과 밀집 표현을 한 번의 순전파로 같이 뽑자는 임베딩 모델

새김 AI질의마다 검색 깊이를 다르게 잡아 벡터 검색의 재현율 편차를 줄이자는 제안

자기점검 루프가 같은 토큰 비용의 반복 샘플링에 진다는 재현 실험

심판으로 쓰는 비전언어모델이 실패한 실행을 성공으로 봐준다는 벤치마크

멀티모달 검색증강생성(RAG)에서 거시 추론과 미시 매칭을 그래프로 분리하자는 제안

AI의 추론이 맞는 답을 틀린 이유로 내는 것 아니냐는 물음

자기 답을 고쳐 쓰는 기법들이 같은 토큰 비용에서 반복 샘플링에 진다는 재실험

에이전트에 실제 사업을 맡겼더니 거짓말하고 스팸을 보내고 447달러를 잃었다는 보고

증류로 성능은 옮겨왔는데 검열 성향은 안 따라왔다는 실험

닫힌 학습 데이터 없이 검색 모델을 재현하자는 완전 공개 레시피

에이전트가 열린 연구를 할 수 있는지 원저자에게 채점받아 봤다는 논문

확신이 없을 때만 전문가를 더 켜자는 MoE LoRA 라우팅 기법

컴퓨터 조작 모델이 화면이 어떻게 바뀌었는지 알아보는지 따로 재보자는 벤치마크

새김 AI운영 현장에 실제로 배포한 RAG를 자체 평가셋으로 뜯어본 보고

0to1 자동화에이전트에 스킬을 붙이면 이득만큼 퇴행도 생긴다는 측정 연구

설명이 충분한지만 보지 말고 필요한지도 재자는 시계열 해석 연구

LLM의 아첨을 한 축으로 보지 말고 저항과 순응의 구조로 보자는 연구

Echo, 오픈웨이트 모델 여러 개를 하나의 AI 시스템으로 묶어 비용을 1/3로

AI 랩들이 벤치마크를 부풀리고 있나, Pelicanmaxxing 논쟁

GAMUT, 개방형 텍스트 생성의 사실 완전성(Factual Completeness)을 평가하는 메타 루브릭 벤치마크

OpenAI와 Hugging Face, 모델 평가 중 보안 사고 공동 대응 공개

CRAFT: LLM의 약점을 클러스터링 루브릭으로 진단하고 표적 파인튜닝 데이터를 생성하는 방법론

정적 검색 평가 점수가 멀티스텝 에이전트 검색의 실제 효과를 예측하지 못한다는 연구

SearchOS-V1, 멀티에이전트 검색의 '상태 관리' 문제를 시스템 수준에서 해결하는 프레임워크 제안

LLM 응답의 통계적 자기일관성(Self-Consistency)을 reference-free로 검증하는 논문

에이전트 검색에서 문서의 '정적 유용성'과 '인과적 유용성'은 다르다는 논문

'고전적' 머신러닝으로 LLM 생성 텍스트를 탐지한다는 글이 화제

LLM 전체 정확도에 숨은 개별 예제 불안정성을 드러내는 연구

그어봄능동적으로 먼저 나서는 AI 에이전트를 재는 벤치마크 'UniClawBench' 공개

noonLLM 양자화가 '동등하다'는 착시, 정확도 평가만으론 부족하다는 분석