LLM 서빙
vLLM 기반 모델 서빙, 배칭, 처리량(TPS)·GPU 용량
Engineering 3
Engineering · Delivery · Operations
취약점 점검 대응: 배포 기준 라이브러리 인벤토리와 vLLM 0.20.1 → 0.27.1 무수정 업그레이드 판단
레포를 그냥 읽으면 틀리는 세 가지 함정을 피해 8개 서비스의 직접·전이 의존성을 배포 기준으로 수집하는 생성기를 만들고, 은행의 CVSS 기준표와 대조해 vLLM 취약을 확정했습니다. 어댑터 결합도와 런타임 위험을 좁혀 무수정 업그레이드를 권고했고, 배포 후 재생성한 목록으로 변경분을 제출했습니다.
Engineering · Agent Engineering
'이전 대화가 쌓였습니다'의 오지목: 토큰 예산 계층을 고쳤더니 공유 GPU가 느려진 이유와 원복
'이전 대화가 쌓였다'는 안내만 반복하던 에이전트를 토큰 버킷 로그로 추적해 문구의 오지목, 줄일 수 없던 시스템 프롬프트·도구 스키마, 오히려 텍스트를 늘리던 truncate를 고쳤습니다. 그 수정이 잠들어 있던 압축 경로를 깨워 공유 GPU 지연을 만든 메커니즘을 확인해 원복했고, 재현으로 근본 압력이 검색 결과 크기에 있음을 확인했습니다.
Engineering · Evaluation
품질검사 판정을 결정론적으로: LLM에는 파일 하나의 판단만, 나머지는 코드와 다수결로
재실행마다 파일 판정이 11~58% 바뀌던 품질검사 파이프라인을 파일별 단일 판정, 결정형 규칙, 코드 집계로 다시 짰습니다. 규칙 시험에서 판정 변동 0/23을 얻었고, 실파일에서 남은 흔들림은 같은 텍스트 10회 실험으로 공유 추론 서버까지 좁힌 뒤 N회 다수결로 종합 판정을 안정시켰습니다.