Engineering

DB 도구 노드를 여러 개 붙이면 도구 이름이 겹쳐 하나만 남던 문제와, 쿼리 결과를 전량 LLM에 넘기고 테이블 목록·구조·쿼리를 차례로 왕복하던 구조를 실행 기록으로 진단해 행 상한, 스키마 사전 적재, DB 방언 등록 구조로 고쳤습니다.

표 데이터는 스키마가 명시돼 있어 LLM 없이 결정론적으로 그래프를 생성할 수 있지만, 정체성을 이름이 아닌 키에서 도출해야 했습니다. 정형 클래스 과병합과 동명 행 병합을 막고 재실행 원자성을 확보한 뒤, 증분 키(watermark)를 버리고 PK keyset 전수 읽기와 sha256 행 지문으로 추가·변경·삭제를 스스로 감지하는 동기화를 만들었습니다.

원격 조회가 불가능한 폐쇄망의 다운로드 502를 응답 본문 형태로 가설을 배제해 게이트웨이가 신원 헤더를 응답에도 붙인 데서 오는 헤더 크기 초과로 좁혔고, 조사 중 클라이언트가 보낸 신원 헤더가 서비스까지 전달되던 위조 경로를 찾아 막았습니다.

기본 빌드가 LLM 없이 개체를 뽑게 되자 그래프 품질은 곧 이름 품질이 됐습니다. 산문을 표로 오인하는 판정, 형태소 결합 규칙의 어근 탈락, 경로마다 흩어진 정제 로직을 원인별로 고치고, 이름 정규화와 모양 검사를 추출기가 아닌 그래프 적재 계층 한 곳으로 내려 모든 추출 경로에 같은 게이트를 적용했습니다.

업로드마다 LLM 추출을 실행하면 비용을 감당할 수 없어, 개체 추출은 결정론적 기본 빌드(LLM 0회·자동·증분)로, 관계 추출은 사용자가 켤 때만 실행하는 관계 형성으로 분리했습니다. 표를 행 단위 사실로 읽게 해 기본 빌드만으로 값 질의에 답하게 했고, 관계 형성은 닫힌 어휘가 빈 응답을 만들던 구조를 어휘 우선 분류로 바꿨습니다.

수만~10만 노드 온톨로지를 브라우저에서 탐색하기 위해 Three.js InstancedMesh 기반 커스텀 렌더러와 Web Worker 물리 연산을 만들었습니다. 이후 CDP 프로파일링으로 렌더링 대상 선택을 구조 우선 계층 샘플링으로 바꿔 CPU 점유를 25%에서 7%로 낮추고, 렌더 상한 밖 노드는 서버 검색으로 불러와 병합하게 했습니다.

같은 온톨로지 기능을 고객 환경과 다른 서비스에 반복해서 싣는 비용을 줄이기 위해, 고객 환경 판을 파일 단위로 표준판에 맞추고, 빌드 로직을 컬렉션·DB 의존 없는 라이브러리로 추출해 원본과 동일한 출력을 실코퍼스로 검증했으며, 남은 연동 코드를 포트·어댑터 구조로 분리하는 설계를 제안했습니다.

사내 규정 165문항으로 경쟁 클라우드 에이전트와 비교하면서 점수 차이가 검색과 답변 구성에서만 나오도록 조건을 통제했고, 그 과정에서 적재 결함, 오염된 대조군, 지연을 부풀리던 평가기, 회수를 과소 집계하던 지표를 찾아 고쳤습니다.

에이전트 답변과 현황판에서 영업점 단말 화면을 여는 루프백 웹소켓 연동을 방향별로 판정해 구현하고, 사용자 PC에서 연결이 실패하던 원인을 크롬 Local Network Access 차단으로 확정한 뒤 그룹정책 경로와 채팅 코드펜스 파서 결함까지 정리했습니다.

요청 하나 안에서 전 청크 재임베딩까지 끝내던 재색인 API가 클라이언트 30초 타임아웃에 걸려 실패처럼 보이고 중복 실행되던 문제를, 백그라운드 작업과 상태 조회, Redis 기반 다중 파드 단일 실행 보장으로 바꿨습니다.

PostgreSQL 위 GraphRAG 검색에서 질의당 비용이 후보가 아니라 그래프 크기에 비례하던 조회들과, 같은 질문에 근거가 달라지던 비결정성을 실행 계획과 프로브로 추적해 고쳤습니다.

평가 런 4개의 오답을 모아 정답 청크 60건을 골든셋 앵커 없이 시스템 시점에서 감사하고, 원인 9가지와 개선안 10가지를 변경 위치·근거·검증 방법까지 적은 기획으로 정리했습니다. 오답의 60%는 검색이 아니라 근거 활용에서 났습니다.

관리자가 수백 개 에이전트와 컬렉션·DB·도구 자산의 관계를 탐색하고 질문할 수 있도록, 운영 테이블에서 에이전트 단위 지식 그래프를 LLM 없이 결정론적으로 구성했습니다. 상태 서명 기반 자동 증분, 분포 기반 임계값의 규칙 인사이트 7종, 그래프 근거 자연어 질의를 붙였고, 선행 단계로 PG-native 온톨로지 엔진을 고객 환경에 이식했습니다.

답변 출처가 검색 모드에 따라 사라지거나, 검색 노드 없이도 붙거나, 원본 열람이 마스킹 정책을 우회하던 문제를 출처는 생산 지점에서 결정하고 원본도 같은 정책을 거친다는 원칙으로 정리했습니다.

고객센터 FAQ 165문항에서 정답 문서가 후보에는 있는데 상위 3개 밖으로 밀리던 원인을 단계별 순위 측정으로 추적해, 그래프 융합의 잘못된 전제를 걷어내고 빠져 있던 BM25F 어휘 점수를 하이브리드 랭킹에 되돌렸습니다.

값의 모양을 보는 전역 정규식 위에 '어느 컬럼이 개인정보인가'를 선언하는 층을 얹어, DB 결과가 LLM에 닿기 전에 연결·쿼리 템플릿·노드 3층 규칙으로 가리고 감사 로그에 실행 신원과 마스킹 방식을 남기게 했습니다.

증분 빌드가 실제로는 전량을 다시 처리하고 있었습니다. 빌드된 청크 집합을 PostgreSQL 기준선으로 저장해 신규 청크만 추출하게 하고, SDK 조회 기본값 limit=500 때문에 문서 절반 이상이 그래프에서 빠지고 백필이 무한 반복되던 결함을 잡은 뒤, 본문을 받기 전에 문서 단위로 걸러 빌드 비용이 신규분에 비례하도록 바꿨습니다.

채팅 입력이 '허용되지 않는 요청'으로 막힌 원인을 마스킹이 아닌 가드레일 모델의 PII 카테고리 판정으로 특정하고, DB 조회의 읽기 전용 가드가 컬럼명을 예약어로 오인하고 데이터 변경 문장은 통과시키던 차단 목록을 정리했습니다.

날짜·금액·계좌번호가 마스킹되고 지운 정책이 계속 적용되던 현상을 정규식 경계 누락, 쓰기 실패를 성공으로 기록하던 컨트롤러, 그룹 정규식에서 튜플을 반환하는 findall 세 갈래로 분리해 고쳤습니다.

매 턴 코드가 무조건 검색하는 사전 검색 모드가 특정 조항을 못 찾던 원인을 판단 주체의 부재로 정의하고, 도구 모드에서 LLM이 하던 질의 정제·다중 검색·재시도·폴더 선택을 사전 검색 단계로 옮겼습니다. 엔진 버전은 노드 ID를 바꾸지 않고 실행 시점 설정으로 전환합니다.

레포를 그냥 읽으면 틀리는 세 가지 함정을 피해 8개 서비스의 직접·전이 의존성을 배포 기준으로 수집하는 생성기를 만들고, 은행의 CVSS 기준표와 대조해 vLLM 취약을 확정한 뒤 어댑터 결합도와 런타임 위험을 좁혀 무수정 업그레이드를 권고했습니다.

별도 JVM 프로세스인 Fuseki는 폐쇄망·경량 배포에서 운영 부담이 컸고 설정 하나로 그래프 계층 전체가 멈추기도 했습니다. 노드·엣지·청크 링크 PostgreSQL 테이블 3개로 빌드·조회·GraphRAG 검색을 재구현하고, 듀얼라이트와 파리티 검증을 거쳐 Fuseki를 기본 비활성화했습니다.

질문당 총시간을 보장하려고 건 하드 시간 상한이 합성 LLM을 굶겨 내부 근거가 답변으로 새는 사고로 이어졌습니다. 단계별 계측으로 지연의 대부분이 합성 대기임을 확인하고, 상한은 탐색에만 두고 체감 지연은 프롬프트 문자 예산과 답변 스트리밍으로 다뤘습니다.

LLM이 마크다운으로 넘긴 엑셀 요청이 항상 실패하던 렌더러 분기를 단순 폴백이 아닌 데이터 시트 변환으로 고쳐 숫자·표시형식·틀고정을 살리고, 셀 검색 도구 부재와 반복 한도 계산 오류로 편집이 중단되던 문제, 코드 생성 없는 차트 경로까지 정리했습니다.

채팅 목록 렉의 원인이 클라이언트 분할이 아니라 응답에 실린 캔버스 JSON 1.6MB였음을 실측으로 확인하고, 인자 없는 GET 336개를 전수 프로브해 같은 부류를 소비처 기준으로 색출한 뒤 필드 경량화와 하위호환 서버 페이지네이션으로 고쳤습니다.

'이전 대화가 쌓였다'는 안내만 반복하던 에이전트를 토큰 버킷 로그로 추적해 문구의 오지목, 시스템 프롬프트·도구 스키마의 축소 경로 부재, 텍스트를 늘리던 truncate를 고쳤고, 그 수정이 잠들어 있던 압축 경로를 깨워 공유 GPU 지연을 만든 메커니즘을 확인해 원복했습니다.

날짜 경계로 보이던 에이전트 도구 멈춤을 첨부 형식별 전수 대조로 HWP 파서가 남긴 UTF-16 서로게이트 쌍 문제로 특정하고, 서로게이트를 원래 코드포인트로 복원하는 정규화를 발원지와 공통 길목에 넣었습니다.

기동조차 되지 않던 저장소 동기화 스케줄러를 되살리는 대신, 원천과 무관한 소스 바인딩·durable 작업 큐·해시 diff 골격을 만들고 내부 스토리지와 API 도구를 provider로 붙여 컬렉션을 변경분만 자동 인덱싱하게 했습니다.

XGEN의 GraphRAG 검색 로직을 저장소 비종속 라이브러리(OmniFuse)로 추출한 뒤, 한국어 금융법령 코퍼스와 공개 IR 데이터셋으로 랭킹 품질과 저장·지연 효율을 같은 하네스에서 재현 가능하게 측정하며 개선했습니다.

작업 기억, 실행 상태, 장기 기억을 분리해 엔진에 훅으로 꽂고, 메모리를 4개 스코프의 DAG로 설계했습니다. 저장만 되고 효과가 없던 교훈은 검증 사유를 담고 최신순으로 공급되도록 고쳐 다음 실행의 재시도를 없앴습니다.

제출 후 무한 루프, 침묵하는 Judge, 통과할 수 없는 기준, 같은 답을 반복 채점하는 retry-death를 텍스트 휴리스틱 대신 상태 기반 신호로 고치고, 이분 채점을 점진 채점으로 바꿨습니다.

빌드는 완료로 표시되는데 그래프가 비어 있거나 구조가 무너지는 문제를 추적했습니다. 리팩토링이 지운 dedup·상속 로직을 복원하고, 예외를 삼키던 배치 처리와 all-or-nothing 저장을 고쳤으며, 배치 크기를 모델 컨텍스트와 출력 한도에서 산출하고 절단 시 반분 재시도하도록 바꿨습니다.

도구 스키마와 검색 결과를 엔진이 미리 밀어 넣던 구조를, 모델이 목차를 보고 필요한 것만 승격해 쓰는 pull 구조로 바꿨습니다. 명시 연결 자원과 익명 대량 카탈로그를 구분하고 도구 검색을 BM25F로 정본화했습니다.

같은 하네스 노드에서 메인 모델만 바꾸고 고정 심판으로 채점해 내부 Qwen3.6-27B와 Claude Sonnet 4.6을 비교했습니다. 설정 조정으로 품질은 동률 수준까지 맞췄고, 비교 중 드러난 빈 도구 결과 처리 결함은 엔진에서 고쳤습니다.

재실행할 때마다 판정이 바뀌던 품질검사 파이프라인을 파일별 단일 판정과 코드 집계로 재구성하고 판정 규칙을 결정형으로 다시 썼습니다. 이후 실파일에서 남은 흔들림은 별도 실험으로 공유 추론 서버의 배치 처리까지 좁혔습니다.

단일 적응형 ReAct 검색이 기존 1턴 검색보다 느리고 부정확하다는 A/B 결과에서 출발해, 탐색과 답변 합성을 분리한 병렬 인덱스 시드 구조로 바꿨습니다. 고정 100문항에서 정답성이 0.230에서 0.465로 올랐습니다.

에이전트가 자기 지시문을 고쳐 쓰는 대신, 타입이 있는 하네스 설정을 실행 기록 기반으로 변이하고 dev와 held-out 벤치 게이트를 통과한 변경만 채택하는 설정 탐색 루프를 엔진에 구현했습니다.

엔진이 플랫폼 코드를 알던 구조를 Protocol과 entry_points로 끊고 플랫폼 특화 로직을 브리지 계층으로 옮긴 뒤, 흩어진 설정 조회 경로를 하나의 우선순위 체인과 공용 매핑 함수로 일원화했습니다.

빌드 진행률을 RDF 그래프 역질의로 복원하던 구조 때문에 좀비 잡, 폴링 지연, 전체 API 무응답이 반복됐습니다. 진행 상태와 빌드 결과를 분리해 PostgreSQL 카운터를 단일 진실원으로 두고 동기 I/O를 이벤트 루프 밖으로 오프로드해, 대형 빌드 중에도 폴링이 수십 ms 안에 응답하게 했습니다.

캔버스에서 만든 에이전트를 wheel, npm, MCP 도구로 내보내 환경변수만으로 실행되게 만들고, 그 과정에서 드러난 wheel 누락과 사문화된 RAG 경로를 fresh-clone 빌드 검증으로 바로잡았습니다.

전용 캡슐 노드가 암묵적으로 처리하던 이미지 입력, 서브툴 바인딩, RAG 전달, 종료 판정을 범용 하네스 노드로 옮기며 드러난 결함 17건을 고객사 개발 환경에서 실측하며 수정했습니다.

기존 워크플로우 실행기 안에 검증 로직을 심는 시도가 되돌려진 뒤, 에이전트 루프를 별도 상태 머신 실행기로 분리하고 Rust 프로토타입을 Pure Python으로 재작성해 10단계 구조로 정리했습니다.

목차로 매뉴얼을 먼저 고르는 2단계 검색을 제안하고, 프롬프트 버전별 실제 화면 응답 비교를 자동화했습니다.

XGEN을 라우터로 두고 사용자의 PC와 폰을 pod로 연결해 로컬 자원을 도구로 쓰는 에이전트 런타임입니다. 같은 과제를 5회 반복한 실험으로 과제를 완수하는 능력과 자기 결과를 읽는 능력의 격차를 계측하고, 검증 도구와 파괴적 명령 차단으로 대응했습니다.

XGEN 에이전트가 사용자가 열어 둔 Excel 통합문서를 직접 읽고 편집하도록 하는 독립 커넥터입니다. 클라우드 애드인 대신 로컬 COM 연결과 단일 실행 파일 배포를 택해 폐쇄망 설치를 가능하게 했고, 채팅 패널은 Office.js 의존을 걷어낸 순수 웹 UI로 구성했습니다.

에이전트 실행 기록에서 재사용 가능한 절차를 추출하되, 작성에 쓰지 않은 홀드아웃 케이스에서 이득이 재현될 때만 스킬로 승격하는 엔진입니다. 결정론적 절차는 실행 가능한 도구로 단조하고 LLM 호출 없이 회귀 검증합니다.

다중 저장소 플랫폼의 코드를 결정론적 정적 분석으로 지식그래프화하고, 자연어 요청을 파일·라인 단위로 착지시켜 구현·검증·MR 준비까지 수행하는 하네스입니다. 착지 정확도는 사람이 실제로 머지한 MR 2,827건으로 측정했습니다.

광고 심의 업무를 XGEN 캔버스 워크플로우로 자동화하는 PoC입니다. 같은 입력의 판정이 실행마다 바뀌는 문제를 비결정성 원인별로 제거하고, 최종 판정을 LLM이 아닌 코드 검증기가 확정하도록 바꿔 실제 심의 34건에서 판정을 일치시켰습니다.

GPU 없는 환경에서 SAM 2 세그멘테이션과 비전 OCR을 에이전트 도구로 제공하는 FastMCP 서버입니다. 플랫폼의 호출 제약을 실측으로 확인해 병렬 처리를 서버 내부로 옮겼고, 이미지형 문서에 몰린 실패를 적응형 타일링과 판별자 교체로 해결했습니다.

UI 클릭을 프런트엔드 소스 위치에 연결하고, 그 클릭이 유발한 백엔드 Python 실행 라인을 PEP 669 기반 트레이서로 캡처해 UI 명세서·테스트 결과서·API 명세서를 자동 생성합니다. 산출물의 모든 문장이 실행 증거로 소급됩니다.

LLM 에이전트에 성격·기억·감정·관계를 부여하는 PyPI 라이브러리입니다. 성격 값이 추론 방식에 인과적으로 닿게 하고, 자연어 설명을 설정값으로 컴파일하는 draft·judge·repair 루프와 설정 대비 실제 행동을 재는 검증 계층을 더했습니다.