신입사원처럼 무지한 AI 에이전트, 150000토큰을 1000토큰으로

Pinecone의 Edo Liberty는 기업용 에이전트가 아무리 똑똑해도 "회사가 어떻게 돌아가는지" 모르는 첫 출근 신입사원과 같다고 말한다. 그는 일반 지식·특정 지식과 구분되는 "부족 지식(tribal knowledge)"을 관리하는 별도의 지식 레이어가 필요하다며 새 제품 Nexus를 공개했다.

• 야후 답변 일화 — 15~16년 전 야후에서 일할 때 사람들이 Yahoo Answers에 "내가 뚱뚱한가요?"라고 물었는데, Q&A 포럼은 그걸 알 방법이 없었다는 게 시작점이다.
• 지식 세 종류 — 지식을 일반 지식(모델이 학습한 공개 정보), 특정 지식(계약서·코드베이스처럼 RAG와 벡터 검색이 다뤄온 사내 정보), 부족 지식(문서 하나로 뽑아낼 수 없는, 회사가 일하는 방식의 총합) 세 가지로 나눈다.
• 신입사원 비유 — 오늘날 대기업 에이전트에 대한 올바른 이론적 마음가짐은 회사의 목표·문화·프로세스를 전혀 모르고 매 세션을 첫 출근일처럼 시작하는 브릴리언트한 신입사원이라는 것이다.
• 지식 레이어 조건 — 지식 레이어는 지속적이어야 하고(한 번만 구축), 고도로 전문화되어야 하며(HR·엔지니어링 등 도메인별로 다름), 항상 최신 상태여야 한다.
• CEO 교체 사례 — CEO가 바뀌면 다음 날 회사 전체가 알지만, 지난 10년간의 문서 9000개는 여전히 전 CEO 이름을 언급하며 이 새 사실이 그 모든 문서를 압도해야 한다.
• Nexus 4요소 — Nexus는 커넥터, 컨텍스트, 태스크, 쿼리(NoQL) 네 부분으로 구성된다.
• 매니페스트 — 기존처럼 스킬·플러그인·마크다운 파일을 직접 쓰는 대신, 매니페스트에 무엇을 신경 쓰는지만 알려주면 지식 레이어가 스스로 파일을 관리하고 조직한다.
• 컨텍스트 5종 — 컨텍스트는 시맨틱 맵, 마크다운 메모(Karpathy의 LLM wiki와 유사한 개념), SQL 테이블, 벡터 데이터베이스, 그래프 엔티티 다섯 종류의 콘텐츠로 구성된다.
• NoQL — NoQL은 단순 질의가 아니라 토큰이나 달러 단위의 예산을 지정해 얼마나 깊이 탐색할지 조절하는 에이전트 전용 질의 방식이다.
• 런타임 코딩 에이전트 — Nexus는 배포된 코드가 답을 내는 기존 코딩 시스템과 달리, 질의 시점에 주피터 노트북처럼 코드를 직접 작성·실행하며 답을 찾는 런타임 코딩 에이전트다.
• 토큰 감소 — 이 방식으로 전환하면서 에이전트에 필요한 툴링 프롬프트가 약 15만 토큰에서 1000토큰 미만으로 줄었다.
• 성능 수치 — 초기 고객사 결과에서 토큰 소비는 77~90%, 속도는 20~30%에서 최대 77%까지 개선됐고 정확도도 함께 높아졌다.
• 출시 시점 — Nexus는 얼리 액세스를 마치고 내일(발표 다음 날) 퍼블릭 프리뷰로 전환된다.

그가 한 말

그들은 회사의 목표, 문화, 우선순위, 프로세스에 대해 전혀 알지 못합니다.They have no idea about your company's goals, culture, priorities, processes.3분 59초

회사가 CEO를 교체하면 바로 다음 날 회사의 모든 사람이 새 CEO가 누군지 압니다. 지난 10년간의 9000개 문서가 여전히 다른 사람을 언급하고 있는데도 말이죠.If the company replaces its CEO, the very next day, everybody in the company knows who the CEO is. Okay? Even though 9,000 documents going from, you know, a day before yesterday to uh the last 10 years say it's somebody else.6분 15초

지식 레이어에서는 더 이상 그렇게 하지 않습니다. 지식 레이어, 즉 Nexus에게 매니페스트를 통해 무엇에 관심 있는지 말해주면 됩니다.In a knowledge layer, you don't do that anymore. Okay? You tell the you tell the knowledge layer, you tell Nexus what you care about in a manifest.9분 7초

에이전트에게 필요한 모든 툴링을 제공하는 데 약 15만 토큰이 들었던 것을, Nexus에서 정보를 가져오는 데 필요한 모든 인터페이스를 명시하는 데 1000토큰 미만으로 줄였습니다.We went down from having something like 150,000 tokens to give our agents all the tooling they need to less than a thousand tokens to specify all the interfaces they need to get information out of Nexus.16분 48초

이해관계 · 발화자 Edo Liberty는 Pinecone 소속이며 이 발표에서 소개한 Nexus는 Pinecone의 신규 제품이다.

덧붙임 — 여기에 하나 덧붙이면, RAG와 벡터 검색이 "찾아서 꺼내는" 방식이었다면 Nexus는 "코드를 짜서 계산해내는" 방식으로, 검색이 아니라 소프트웨어 생성 쪽으로 무게중심이 옮겨간다는 점이 눈에 띈다. 다만 발표된 수치는 전부 초기 고객사 사례이며 독립적으로 검증된 벤치마크는 아니다.

오늘 밤 해볼 수 있는 한 가지
사내에서 자주 재확인되는 "누가 이걸 담당하나" 같은 부족 지식 질문 하나를 골라, 지금 쓰는 에이전트가 최신 문서 대신 오래된 문서를 근거로 답하는지 직접 테스트해보기.