AI Lab 노트

로컬·엣지에 작은 모델을 붙이려는 사람은 성능표부터 연다. 성능표부터 여는 순서는 LFM2.5 에이전트를 검토할 때 오히려 걸림돌이 된다. Liquid AI가 공개한 LFM2.5-2.6B 모델 카드에는 '에이전트용'이라는 표시가 있다. 그 표시가 가리키는 범위부터 짚어야 한다. 이름에 LFM2.5 에이전트라는 표현이 붙었다고 모델 혼자 함수를 실행하는 건 아니다. 모델이 맡는 일은 호출 형식을 만드는 데서 끝난다. 호출을 실제로 돌리고 결과를 붙이는 일은 호스트 쪽 몫이다. 이 분리가 LFM2.5 에이전트 연결에서 가장 먼저 걸리는 지점이다. 배포 형식은 트랜스포머·vLLM·SGLang용 네이티브 체크포인트, llama.cpp용 GGUF, ONNX, MLX로 나온다. 도구 사용과 데이터 추출, RAG, 긴 문맥 작업에는 이 모델을 권장한다. 공식 모델 카드 기준으로 에이전트 코딩과 지식 집약 과제에는 권장하지 않는다고 적혀 있다. 공식 모델 카드는 총 파라미터를 2.69B로, 컨텍스트 윈도를 131,072토큰으로 적는다. LFM2.5 에이전트 표시는 이 권장 범위를 뜻하는 것이지, 실행 주체가 바뀐다는 뜻은 아니다. 공식 도구 사용 문서 는 절차를 생성·정의·실행·반환 네 단계로 정리해 둔다. 문서는 모델과 호스트의 역할을 분리해 적었다. 모델이 특수 토큰 사이에 함수 호출을 생성한다. 도구를 시스템 프롬프트나 apply_chat_template로 JSON 정의한다. 그 호출을 실제로 실행하고 결과를 tool 역할 메시지로 되돌린다. 모델이 그 결과를 해석해 사용자에게 다시 답한다. 호출 형식도 확인 대상이다. 공식 문서에 따르면 기본 호출 형식은 파이썬 방식이다. JSON 형식으로 받으려면 시스템 프롬프트에 따로 지시해야 나온다. 런타임이 파이썬 방식 출력을 처리하지 못하면, 호출은 파싱 단계에서부터 어긋난다. 이미지의 흐름은 이 분담을 요약했다. 눈여겨볼 지점은 여기다. 2.6B라는 크기와 LF...

앤트로픽이 클로드 텍스트 워터마크의 작동 방식을 공식 설명 으로 공개했다. 제목만 보면 "걸리느냐 안 걸리느냐"의 문제로 읽힌다. 실제 발표문은 다른 질문에 답한다. 워터마크가 확인하는 건 클로드가 관여했을 확률이다. 이 확률은 작업 종류마다 다르게 움직인다. 단어 하나하나에 남는 흔적 클로드는 문장을 한 단어씩 골라 쓴다. "오늘 날씨는 춥고..." 다음에 "흐렸다"와 "우중충했다" 중 무엇이 와도 뜻은 같다. 이런 저위험 선택은 원래 무작위로 정해진다. 워터마크는 이 무작위성의 근원을 키로 바꾼다. 독자는 차이를 못 느낀다. 키를 가진 쪽만 패턴을 읽어낼 수 있다. 추가 토큰도, 추가 비용도 없다. 확률이 세지는 곳, 약해지는 곳 글이 길수록 워터마크 신호는 쌓인다. 번역은 모든 단어를 클로드가 고르므로 신호가 강하게 남는다. 사실 문장은 다르다. "뉴턴의 대표작은 프린키피아다" 같은 문장은 정답이 하나뿐이다. 고를 여지가 없으니 워터마크가 붙을 자리도 없다. 교정도 마찬가지다. 문법만 손보라고 시키면 남는 건 몇 군데 수정뿐이다. 그 정도로는 감지에 못 미칠 수 있다. 코드도 같은 이유로 신호가 옅다. 정확한 출력이 요구되는 자리엔 고를 단어가 없다. 주석처럼 자유도가 있는 부분에만 흔적이 남는다. 워터마크가 확정하지 않는 것 이 키로 답할 수 있는 질문은 하나다. 클로드가 관여했을 가능성은 얼마인가. 사람이 썼는지는 답하지 않는다. 다른 AI가 썼는지도 답하지 않는다. 워터마크마다 키가 다르고, 방식 자체가 다를 수도 있어서다. 저작권도, 소유권도, 법적 책임도 이 워터마크가 바꾸지 않는다. Pangram 같은 AI 탐지 소프트웨어와도 방식이 다르다. 탐지 소프트웨어는 문장에 남는 말버릇 같은 표면적 특징을 본다. 워터마크는 키 없이는 아예 읽히지 않는 패턴을 남긴다. 가벼운 편집으로는 이 패턴이 잘 지...

‘전 국민 무료 국산 AI’라는 문장을 보면, 앱부터 찾게 된다. 공고는 이미 나왔다.[1] 서비스 출시는 앞으로 추진된다.[3] 공식 문서가 보여 주는 현재 단계는 앱 배포가 아니다. 서비스를 만들 사업자를 뽑고, 출시를 추진하는 단계다.[1][3] 이 차이가 중요해 보인다. 지금까지 확인된 일 정보통신산업진흥원(NIPA)은 2026년 7월 13일 전 국민 AI 서비스 보편적 활용 지원(모두의 AI) 사업 을 공고했다.[1] 신청 마감은 수정 공고로 8월 18일 17시까지 연장됐다.[2] 개인정보보호 관련 제재조치 사항도 함께 수정됐다.[2] 과기정통부는 민간 기업 2~3개를 선정해 범용 AI 챗봇과 공공 AI 에이전트 출시를 추진한다고 밝혔다.[3] 정부는 연내 한국 AI 모델 기반 범용 챗봇의 출시 목표를 제시했다.[4] 이용 조건은 비용 부담과 이용량 제한이 없다는 방향이다.[4] 이름 하나에 모델과 서비스를 섞지 않기 공식 사업명은 전 국민 AI 서비스 보편적 활용 지원(모두의 AI) 사업 이다.[1] 우리 AI 모델 은 서비스의 기반을 가리킨다.[4] 범용 AI 챗봇 과 공공 AI 에이전트 는 국민이 접하게 될 서비스 형태다.[3][4] 공공 AI 에이전트는 청년지원금 같은 정부 지원 혜택을 안내하고 신청까지 대행하겠다고 밝힌 서비스를 가리킨다.[4] 이름이 가리키는 대상은 선정 사업자가 모델을 활용해 만들 서비스의 개발·출시 사업이다.[1][3] 이미 배포된 단일 모델명으로 읽을 근거는 여기서 찾기 어렵다. 모델 성능 목표와 서비스 출시 목표는 다른 일정이다 과기정통부는 서비스 출시 계획과 함께, 정부가 확보·고도화하려는 국산 기반 모델인 독자 AI 모델의 계획도 따로 밝혔다.[4] 하반기에는 글로벌 10위권 성능 모델 확보를 목표로 했다.[4] 2027년에는 글로벌 최상위급 모델 확보를 목표로 한다.[4] 두 목표는 한 문서 안에서도 별도 일정으로 제시된다.[4] 확인된 것은 사업 공고와 선정·출시...

우편함에서 전기요금 고지서를 꺼낸다. 봉투를 뜯고 지난달 사용량 옆에 붙은 청구액을 확인한다. 매일 쓰는 ChatGPT와 한 달에 한 번 보는 전기요금 고지서가 같은 기사 안에 묶인다. 몇 주 전부터 AI 데이터센터 전기요금이 오른다는 기사를 몇 번 봤다. 그 기사가 사실인지 겁주기인지 판단할 방법은 없었다. 오픈AI가 조지아주 에핑엄 카운티에서 데이터센터 프로젝트를 발표했다. 전력은 조지아파워가 공급한다. 예상 전력 수요는 약 3,200MW다. 오픈AI는 이 중 최대 1,000MW를 유연 수요반응으로 제공하기로 했다. 전력이 몰리는 시간대에 자기 사용량을 그만큼 줄이겠다는 약정이다. 계약 기간은 25년이다. 조지아 공공서비스위원회(PSC)는 관련 규칙을 2025년 1월에 처음 승인했다. 조지아파워는 2029년부터 일반 가정 요금을 연 102달러 낮출 계획이라고 말한다. 발표문이 스스로 공개한 것들 조지아파워의 보도자료는 이 계약을 "고객 보호"라는 말로 여러 번 설명한다. 비용 부담을 오픈AI가 진다. 회사는 오픈AI가 인프라와 전력 서비스 비용 전액을 부담한다고 말한다. 재무 보증도 계약에 들어간다. 회사는 조지아파워 고객을 보호하도록 설계된 "financial assurances"가 포함된다고 말한다. 구체적인 형태나 금액은 보도자료에 나오지 않는다. 수요반응 약정도 있다. 오픈AI는 전력 수요가 높은 시간대에 최대 1,000MW까지 사용량을 줄이기로 동의했다. 회사는 이 규모가 미국에서 단일 시설 기준으로 가장 큰 수요반응 약정 중 하나라고 말한다. 공급 조정권은 조지아파워가 갖는다. 25년 계약 아래에서 조지아파워는 특정 시간대에 오픈AI 시설로 가는 전력을 줄일 권한을 갖는다. 전력망 안정을 위해서라고 회사는 설명한다. 이 네 장치, 위험은 어디로 가는가 AI 데이터센터 전기요금이 오르내리는 방향은 이 네 장치가 정한다. 비용 전액 부담은 위험을 오픈AI 쪽에 ...

그래픽카드 메모리(VRAM)가 8GB면 12B급은 사실상 포기하게 된다. 내 RTX 3070에서 12B를 돌려 봤더니 GPU에 다 올라가지 못했다. 초당 14.7 토큰. 7B의 5분의 1이었다. 그런데 7월 21일에 나온 3B 하나가 그 12B를 이겼다고 한다. 만든 곳이 공개한 표에서 Nanbeige4.2-3B는 에이전트와 추론 항목 대부분에서 Gemma4-12B와 Qwen3.5-9B보다 점수가 높다. 파일은 2.7GB다. 8GB에 넉넉히 들어간다. 이게 사실이면 8GB에서 포기했던 급이 돌아온다는 뜻이다. 그래서 받았다. 안 켜졌다. 파일이 깨진 것도 아니고 메모리가 모자란 것도 아니었다. 📌 무엇이 나왔나 7월 21일에 Nanbeige4.2-3B가 공개됐다. 좋아요 652개에 3만 4천 회 넘게 받아 갔다. 구조가 특이하다. Looped Transformer라고 해서 트랜스포머 층을 다시 돌려 쓴다. 파라미터를 늘리지 않고 용량만 키우는 방식이다. 기술 보고서도 arXiv에 같이 올라왔다. 출처: https://huggingface.co/Nanbeige/Nanbeige4.2-3B 📦 GGUF는 이미 넘쳐났다 공개 당일에 GGUF 파일이 올라왔다. GGUF는 개인 PC에서 돌릴 수 있게 모델을 압축해 담은 파일 형식이다. 로컬에서 쓰려면 이게 있어야 한다. 만든 곳이 올린 게 아니었다. 다른 사람들이 직접 변환해서 올린 사본이다. 이런 걸 미러라고 부른다. 저장소 올라온 날 받아 간 횟수 owao 7월 21일 58,814 Abiray 7월 22일 11,652 bartowski 7월 28일 7,884 세 곳을 합치면 78,350회다. 허깅페이스 API로 직접 조회한 값이다. ⚠️ 받아서 실행했더니 내 PC는 윈도우 11에 RTX 3070, VRAM 8GB다. ollama는 0.32.5를 쓴다. 받는 건 문제없이 끝났다. 2.7GB짜리가 정상적으로 내려왔다. 그리고 실행에서 멈췄다. error loading...