IDEAS
2026.1015건
- 10.27로컬 모델 함수콜링에서 프롬프트 손질 대신 호출을 강제하는 가드를 먼저 두는 쪽을 실험해볼 여지
작은 모델이 도구를 제대로 부르게 만드는 일이 제일 어려웠다는 온디바이스 데스크톱 앱 Show HN
- 10.19의 로컬 LLM 도구 호출 구간을 어떻게 나눌지 정할 때 참고해 볼 여지
에이전트가 잠재공간에서 생각하고 텍스트로 행동한다는 논문이 해커뉴스에서 화제
- 10.17의 로컬 LLM 을 맥에서 돌릴 때 올릴 수 있는 모델 크기의 상한을 다시 재 볼 여지
애플이 MLX 로 추론을 분산시킨 연구 페이지가 해커뉴스에서 252점을 받았다
- 10.16로컬 LLM 을 기기 사정에 따라 한 모델로 크기를 조절하는 축으로 참고해 볼 여지
미리 학습된 트랜스포머를 재학습 없이 계산 예산에 맞춰 늘였다 줄인다는 제안
- 10.11를 상시 띄워 둘 배관을 짤 때 무료 구간만으로 어디까지 되는지 참고해 볼 여지
클라우드플레어 무료 구간에서 돌리는 자체 호스팅 개인 AI 에이전트가 화제
- 10.10가 바탕화면에서 무언가를 짚어 줄 때 쓰는 그라운딩 방식으로 붙여볼 만함
AI 에이전트가 화면에 큰 화살표와 상자와 글자를 그리게 하는 도구가 화제
- 10.09로컬 대화에 음성 입력을 붙일지 가늠할 때 '이 정도 크기면 기기 안에 둘 만한가' 의 기준으로 읽어 볼 여지
noon16.9 MB 짜리 음성 인식 모델 Whistle 이 해커뉴스 점수 1위에 올랐다
- 10.08그어봄이나 noon-desktop 처럼 외부 글을 읽고 도구를 부르는 쪽에, 주입 문장을 일부러 섞은 회귀 케이스를 몇 개 만들어 둘 여지
그어봄웹 에이전트를 적응형 프롬프트 주입에 맞서 훈련시키는 틀 AdvSim2Real 제안
- 10.06이나 그어봄 MCP 에 웹 검색 도구를 붙일 일이 생기면 후보로 열어 볼 여지
그어봄클라우드플레어가 웹 검색 API 를 내놓았고 해커뉴스에서 댓글 221 개가 붙었다
- 10.06로컬 모델에 도구 호출을 맡길 때 질의-계획 쌍을 얼마나 모아야 하는지와, 못 본 조합에서 무너지는 지점을 가늠해 볼 여지
3B 급 소형 모델을 LoRA 로 다듬어 도구 18 개 호출 계획을 로컬에서 짜게 했다는 제안
- 10.05로컬 모델 실행부를 고를 때 어느 급 모델까지 한 장에 올라가는지 재 볼 여지
소비자용 GPU 한 장에서 125B 모델을 100T/s 로 돌린다는 저장소가 해커뉴스 상단에 올랐다
- 10.05이 로컬 자료를 찾아 주는 쪽으로 갈 때 프레임 단위 색인을 어떻게 짰는지 열어 볼 여지
새김 AI맥의 모든 사진과 영상의 모든 프레임을 AI 로 찾아 준다는 Show HN 이 올라왔다
- 10.03의 로컬 모델 실행부 후보로 한 번 열어 볼 여지
레디스를 만든 개발자가 LLM 로컬 실행 도구 ds4 를 내놓았다는 항목이 올랐다
- 10.01에서 로컬 모델을 띄워 둘 때, 세션이 끝나면 메모리를 돌려주는 상주 방식과 실기기 커널 조정이 체감 지연에 얼마나 붙는지 실험해볼 여지
로컬 에이전트용으로 하드웨어에 맞춰 자기조정하는 추론 엔진이 Launch HN 으로 올라왔다
- 10.01로컬 모델에서 장문맥 상태 메모리가 병목이면, 선형 어텐션 계열과 상태 양자화가 붙은 엔진을 고르는 기준으로 읽어볼 여지
선형 어텐션의 순환 상태를 8비트로 눌러도 품질이 거의 안 떨어진다는 훈련 없는 기법 제안
2026.0917건
- 09.29의 도구 선택과 그어봄 라우팅을 큰 모델 대신 작은 결정 모델로 내려보는 선택지로 읽어볼 여지
그어봄집에서 훈련했다는 0.8B 결정 모델이 해커뉴스에서 화제
- 09.28로컬 LLM 응답 지연을 모델 교체 없이 디코딩 쪽에서 줄이는 선택지로 읽어볼 여지
llama.cpp 의 프롬프트 룩업 드래프팅을 더 빠르게 했다는 기록
- 09.20에서 매번 큰 모델을 부르는 반복 판단만 떼어 선택지 채점 쪽으로 내려볼 여지
그어봄컴퓨터 조작 판단을 선택지 채점으로 바꾼 706k 파라미터 모델이 Show HN 에 올라왔다
- 09.19의 함수콜링을 로컬로 내리고 확신도 문턱 아래만 큰 모델로 넘기는 이중 구성으로 실험해볼 여지
그어봄대화를 버리고 도구 호출만 남긴 8~29MB 모델이 Show HN 에 올라왔다
- 09.18대화 에이전트에 도구 실행이 어긋났을 때 실행 중에 되잡는 층을 기억보다 먼저 얹어 볼 여지
에이전트를 버티게 한 것은 기억이 아니라 실행 중 자기검증이었다는 실험
- 09.17로컬 모델이 긴 대화 문맥에서 메모리에 걸릴 때 쓸 수 있는 갈래로 살펴볼 여지
24GiB 맥북 한 대에서 20만 토큰 문맥을 돌렸다는 로컬 서빙 런타임
- 09.17saegim-eval 심판이 근거가 얇을 때 점수를 매기지 않고 기권하는 칸을 두는 쪽에 실험해볼 여지
새김 Eval답하기 전에 스스로 물어보게 해서 틀린 단정을 줄이자는 기권 설계
- 09.16그어봄 MCP 도구가 붙어 있는데도 모델이 안 고르는 문제를 다른 각도에서 볼 자료로 참고해볼 여지
그어봄스킬 고르기를 문맥에 넣지 말고 얼려 둔 모델 안에서 읽어내자는 제안
- 09.15를 로컬 모델 쪽으로 밀 때 큰 지침 뭉치가 어디서 깨지는지 미리 훑어볼 자료로 참고해볼 여지
35KB 프리프롬프트를 상용 모델에서 자체 호스팅 올라마로 옮긴 기록
- 09.13에서 맥 로컬 모델을 돌릴 때 애플 가속기 경로가 어디까지 쓸 수 있는지 가늠하는 자료로 참고해볼 여지
애플 뉴럴 엔진(ANE)을 역공학한 기록이 해커뉴스 상위권
- 09.12이 로컬 모델과 원격 모델을 갈아끼울 때, 라우팅 계층을 직접 짤지 중개 API 에 맡길지 판단하는 데 참고해볼 여지
OpenRouter 를 쓰기 전에 알아야 할 것을 정리한 글이 해커뉴스 최상위
- 09.10로컬 LLM 후보로 무엇을 내놓는지 살펴볼 여지
기기에서 도는 로컬 고속 모델을 표방하는 Desert Ant Labs 소개 글이 화제
- 09.09로컬 모델의 양자화 수준을 고를 때 기준으로 참고해 볼 만함
Qwen3.8 27B 양자화 벤치마크, 4비트는 버티고 1비트는 무너진다는 결과
- 09.06에서 매번 모델을 부르는 정형 문구 처리 몇 개를 작은 로컬 함수로 구워 볼 여지
자연어 명세를 작은 신경 함수로 굽는 컴파일 방식이 제안됐다
- 09.03로컬 모델을 줄일 때 층별 손대기보다 양자화 단위부터 보는 순서로 참고해 볼 여지
양자화 손실은 특정 층에 몰려 있지 않으니 여분의 1비트를 전역에 쓰라는 논문
- 09.02의 로컬 LLM 구동 한계를 메모리 대신 오프로딩 관점에서 다시 볼 여지
125B 모델을 16GB 맥에서 굴리는 전문가 오프로딩 도구가 Show HN 에 올랐다
- 09.01의 로컬 LLM 구동 전제를 맥 하드웨어 기준으로 다시 재 볼 여지
AI 수요로 맥 미니와 맥 스튜디오가 예상 밖으로 팔린다는 보도에 논의가 몰렸다
2026.0823건
- 08.31saegim-eval 심판이 반복해서 틀리는 유형을 실패 프로파일로 모아 프롬프트에 되먹이는 방식을 실험해볼 여지
새김 Eval약한 모델이 틀리는 방식을 추론 시점 힌트로 되먹이자는 CritICL 이 제안됐다
- 08.28로컬 대화 모델과 noon 쪽 온디바이스 처리 후보를 다시 살펴볼 여지
noon작은 모델이 이제 쓸 만해졌다는 글에 댓글 187개
- 08.27대화 에이전트의 장기 기억을 진행 상태와 축적 기술로 나눠 보는 설계로 실험해볼 여지
0to1 자동화긴 작업에서 기억을 재귀로 갈아 끼우는 에이전트 하네스가 제안됐다
- 08.24로컬 LLM 응답에서 쉬운 말 걸기와 긴 추론을 나눠 붙여볼 여지
얼마나 생각할지를 모델이 첫 토큰으로 스스로 고르게 했더니 토큰이 41퍼센트 줄었다는 연구
- 08.23로컬 LLM 체감 품질이 낮게 느껴질 때, 모델을 바꾸기 전에 실행 설정부터 대조해볼 여지
로컬 LLM이 실제보다 멍청하게 느껴지는 이유를 짚은 글이 화제
- 08.21로컬 모델을 한 대에 다 올리지 못할 때 층 분할 서빙을 선택지로 재볼 여지
한 대에 안 들어가는 모델을 사무실 PC 여러 대에 층으로 쪼개 돌리자는 제안
- 08.20로컬 모델을 맥에서 돌릴 때 양자화 판을 바꿔 보는 선택지로 참고해볼 여지
언슬로스가 동적 양자화 3.0 GGUF를 내놓아 165점을 모았다
- 08.19대화 기억을 길게 끌고 갈 때 메모리 용량을 고정으로 두지 않는 쪽 설계로 참고해볼 여지
메모리를 처음부터 크게 열지 말고 문맥이 자랄수록 넓히자는 제안
- 08.18대화가 세션을 넘어갈 때 무엇을 원문 그대로 남기고 무엇을 요약할지 나누는 기준으로 참고할 여지
0to1 자동화세션이 끊길 때 무엇을 넘겨야 하는가를 이론으로 규정하려는 논문
- 08.17노트북 하네스에서 지시를 어디에 두고 어떤 순서로 쌓을지 정할 때, 공개된 시스템 프롬프트 구성을 대조 기준으로 삼아볼 여지
0to1 자동화클로드의 시스템 프롬프트 문서가 공개되며 507점, 댓글 212개가 붙었다
- 08.17로컬 모델 응답 지연을 줄일 때 투기적 디코딩(speculative decoding) 쪽 선택지로 눈여겨볼 만함
확산 초안에 자기회귀 교정을 트리로 확장해 추론을 앞당긴다는 제안
- 08.161B급 온디바이스 모델이 어디까지 쓸 만한지 재보는 기준선으로 noon-desktop 로컬 대화에 얹어볼 여지
허용된 데이터만 써서 10억 파라미터로 프런티어급을 냈다는 오픈 모델
- 08.14작은 모델을 더 붙이기 전에 하네스 쪽에서 형식 강제와 결정적 코드로 밀어내는 폭을 넓혀 보는 쪽을 noon-desktop 도구 그라운딩에 실험해볼 여지
강한 모델이 하네스를 짜 주면 약한 모델이 재학습 없이 따라온다는 실험
- 08.10그어봄 MCP 도구를 JSON 스키마로만 노출하는 지금 방식 옆에, 코드로 엮어 부르는 경로를 실험해볼 여지
그어봄JSON 도구 호출 대신 코드로 도구를 부르자는 비교 실험
- 08.09로컬 모델을 맥에서 돌릴 때 dtype 선택에서 먼저 확인해둘 자리
맥에서 BFloat16 이 MPS 에 없다는 질문이 조회 1만을 넘겼다
- 08.08그어봄 MCP 도구를 JSON 스키마 호출로만 두지 말고, 코드로 엮어 부르는 경로를 노는 실험으로 재볼 여지
그어봄도구 호출을 JSON 대신 코드로 시키자는 주장을 14개 모델에서 재봤다
- 08.07검증을 통과한 것만 기억에 넣는 관문 구조는 noon-desktop 의 도구 사용 기록과 0to1 자동화 하네스의 실패 회수 경로에 참고할 여지
0to1 자동화가중치는 그대로 두고 런타임 상태만으로 에이전트를 키운다는 설계
- 08.06기억을 켜고 끈 짝 비교로 효용을 재는 설계는 noon-desktop 의 대화 기억이 실제로 도움이 되는지 확인하는 데 붙여볼 여지
쌓인 경험이 정말로 에이전트를 낫게 만드는지 재는 벤치마크가 나왔다
- 08.05대화 입출력 필터를 로컬 소형 모델로 두는 선택지로 검토해볼 여지
미스트랄이 멀티모달 검열용 3B 오픈웨이트 모델 Shieldstral 을 냈다
- 08.05온디바이스에서 문맥을 미리 구워 두는 발상은 noon-desktop 로컬 대화 그라운딩에, 색인 형태를 바꿔 보는 실험으로는 saegim-eval 검색 레이어에 붙여볼 여지
새김 Eval검색 문맥을 SSM 은닉상태로 미리 구워 두면 프리필이 O(1) 이 된다는 제안
- 08.03여덟 축 체크리스트로 자기 시스템 프롬프트를 훑는 방식은 noon-desktop 대화 프롬프트를 점검하는 데 참고할 여지
상용 AI 제품 88개의 시스템 프롬프트를 여덟 축으로 감사한 결과가 공개됐다
- 08.03연산을 늘렸을 때 실패가 거짓 성공으로 옮겨간다는 관찰은, noon-desktop 로컬 도구 호출 루프의 재시도 한도를 정할 때 참고할 여지
로컬 컴퓨터 사용 에이전트는 추론 연산을 더 써도 실패 양상만 바뀐다는 실측
- 08.01로컬 모델에 계산을 더 붙이기 전에 실패 유형부터 나눠 보는 접근은, 로컬 LLM으로 도구를 쓰는 noon-desktop 쪽에 참고할 만함
로컬 컴퓨터 사용 에이전트는 계산을 더 써도 실패 방식만 바뀐다는 실증 연구
2026.078건
- 07.30맥에서 로컬 모델을 돌리는 noon-desktop 쪽에, 메모리에 안 들어가는 모델을 SSD 스트리밍으로 굴리는 접근을 살펴볼 여지
8GB 맥에서 26B 모델을 굴렸다는 추론 엔진이 HN 최고 화제
- 07.29대화가 길어지는 noon-desktop에서 무엇을 기억에 남길지 정할 때, 도착 시점에 판단하는 대신 조금 뒤에 실제 참조를 보고 정하는 관점을 실험해볼 여지
캐시에서 뭘 버릴지를 예측이 아니라 관측으로 정하자는 제안, 그리고 벤치마크에서 안 통했다는 자기 보고
- 07.28처럼 대화 한 판이 여러 호출로 이어지는 구조라면, 호출별이 아니라 세션 단위로 모델을 고정하는 방식을 실험해볼 여지
호출마다가 아니라 과제 단위로 모델을 고르자는 라우팅 제안
- 07.17로컬 에이전트 구동 레퍼런스로 참고해볼 여지
LM Studio Bionic 발표, 오픈 모델용 AI 에이전트
- 07.16로컬 LLM 선택지에서 GPU 없는 환경의 가능성 참고
13년 된 Xeon CPU에서 Gemma 4 26B 구동, GPU 없이 초당 5토큰
- 07.15noon 워치/폰 온디바이스 모델 가능성, noon-desktop 로컬 LLM 선택지로 참고해볼 만함
noon27B급 LLM이 스마트폰에서 돌아간다, Bonsai 27B 공개
- 07.150to1 claude -p 무인 파이프라인, noon-desktop 대화 품질 개선에 프롬프트 교정 기법 참고
0to1 자동화LLM이 특정 표현을 반복하는 습관, 어떻게 고칠까
- 07.12로컬 LLM을 단일 기기 너머 분산 추론으로 넓혀볼 여지
여러 기기에 LLM 추론을 흩뿌리는 'Mesh LLM'이 HN에서 화제