Artificial Intelligence

프로덕션 LLM 스택: 2026년 중반, 실제로 효과 있는 것들

By Anurag Verma•June 5, 2026

프로덕션 LLM 스택: 2026년 중반 기준 실제로 작동하는 것들

프로덕션 LLM 시스템은 대부분의 AI 관련 글이 아직 따라잡지 못한 임계점을 넘어섰다. 모델 자체는 더 이상 어려운 부분이 아니다. Claude 3.5 Sonnet이나 Gemini 2.0 Flash에서 좋은 응답을 얻는 것은 기본 중의 기본이다. 진짜 엔지니어링 과제는 모델을 둘러싼 모든 것, 즉 추론 효율성, 검색 품질, 에이전트 안정성, 그리고 실제 에이전틱 워크로드가 생성하는 호출 규모에서의 비용 관리다.

나는 지난 18개월 동안 프로덕션 환경에서 LLM 기반 기능을 운영해왔고, 그 스택은 상당히 변했다. 2026년 6월 기준으로 내가 사실이라고 알고 있는 것들을 정리한다.

추론 레이어: 현재는 vLLM이 승자

모델을 자체 호스팅한다면, 추론 프레임워크 선택이 사람들이 인정하는 것보다 훨씬 중요하다. 진지하게 고려할 세 가지 옵션은 vLLM, SGLang, TensorRT-LLM이며, 각각 다른 목적에 맞게 설계되어 있다. vLLM은 거의 모든 팀에서 올바른 출발점이다. 가장 넓은 모델 범위를 커버하고, 컴파일 단계가 필요 없으며, PagedAttention과 연속 배칭을 통해 일관되게 경쟁력 있는 처리량을 제공한다. SGLang은 RAG 파이프라인처럼 모든 요청에 동일한 긴 시스템 프롬프트를 앞에 붙이는, 공유 프리픽스 워크로드에서 첫 번째 토큰까지의 시간이 중요할 때 앞서 나간다. TensorRT-LLM은 수개월간 모델을 고정해두고 대규모로 초당 토큰을 최대한 끌어내야 할 때만 그 수고로움이 가치 있다.

HuggingFace의 TGI는 공식적으로 유지보수 모드에 들어갔다. HuggingFace 자체도 이제 vLLM 또는 SGLang을 권장한다. 명확한 신호라고 봐도 무방하다.

진지한 배포를 위한 프로덕션 스택 아키텍처는 세 레이어로 구성된다. 가속기 하드웨어 위의 추론 엔진, 라우팅과 API 계약을 처리하는 서빙 레이어(LiteLLM 또는 Envoy AI Gateway), 그리고 KEDA 오토스케일링을 갖춘 Kubernetes 기반 오케스트레이션 레이어다. 엔지니어들이 현재 기준으로 삼는 성능 목표는 표준 워크로드에서 TTFT 300ms 미만, 토큰 간 지연 시간은 수십 밀리초 수준이다.

비용: 수학은 달라졌지만 문제는 그대로

API 가격은 2025년에서 2026년 사이에 약 80% 하락했다. GPT-4급 성능이 이제 백만 토큰당 약 $0.40 수준인데, 2023년 초에는 백만 토큰당 $30이었다. 해결된 문제처럼 보이지만, 에이전틱 시스템이 실제로 하는 일을 고려하면 그렇지 않다. 사용자 태스크 하나가 LLM 호출을 50회에서 200회까지 발생시킬 수 있다. 토큰당 저렴한 가격이 태스크당 비용으로는 매우 빠르게 비싸진다.

실제로 효과가 있는 기법들은 프롬프트 캐싱(반복되는 컨텍스트의 입력 비용을 최대 90% 절감), FP8 양자화와 Flash Attention 3, 추론적 디코딩의 조합, 그리고 단순한 서브태스크를 더 작고 저렴한 모델로 보내는 스마트 요청 라우팅이다. 추론적 디코딩은 신중하게 프로파일링할 가치가 있다. 작은 드래프트 모델이 후보 토큰을 생성하고 메인 모델이 병렬로 검증하는 방식인데, 수락률이 단계당 약 0.5 토큰 미만으로 떨어지면 비용을 줄이는 게 아니라 오버헤드를 추가하는 것이 된다.

내 의견: 기능별 비용 대시보드를 구축하지 않는 팀은 아무 근거 없이 비용을 쓰게 된다. 절감 효과는 실재하지만, 측정하는 규율이 필요하다.

RAG: 검색이 여전히 문제

PDF를 벡터 데이터베이스에 던져 넣고 지식 베이스라고 부르는 패턴은 이제 부적절하다는 것이 널리 알려져 있다. 2026년 현재 대부분의 RAG 실패는 생성 모델이 아닌 검색 단계에서 비롯된다. 실패 양상은 미묘하다. 시스템이 잘못된 청크에 근거한 자신감 있어 보이는 답변을 반환하고, 사용자는 이를 잡아내지 못한다.

밀집 벡터 검색과 BM25를 결합하고 크로스 인코더 리랭커로 후처리하는 하이브리드 검색이 현재 프로덕션 시스템의 기본 기준이다. 순수 벡터 검색만으로는 정밀도가 중요한 쿼리에서 성능이 떨어진다. 그래프 강화 검색은 엔티티 간 구조적 관계가 있는 도메인에서 주목받고 있다. 그리고 지식 소스 거버넌스 문제, 즉 청크 신선도, 중복 제거, 품질 검토를 누가 담당하는지는 엔지니어링 팀이 계속 미루려 하다가 결국 문제가 터지는 제품 결정 사항이다.

에이전트와 MCP: 자리를 잡은 표준

Anthropic이 2024년 말에 도입한 Model Context Protocol은 LLM 에이전트에 도구를 연결하는 지배적인 표준이 되었다. OpenAI는 2025년 3월에 이를 채택했고, 이후 Assistants API의 deprecated를 발표하며 2026년 중반 종료를 예정했다. 이 두 가지가 맞물리며 생태계가 수렴하게 됐다. Cursor, Cline, 그리고 대부분의 진지한 에이전틱 개발 환경은 이제 MCP 호환 툴 서버를 기대한다.

이것은 운영 측면에서 중요하다. 표준화된 도구 인터페이스 덕분에 툴 커넥터를 재작성하지 않고도 기반 모델을 교체할 수 있다. 또한 프롬프트 인젝션과 도구 오용의 공격 표면이 이제 예측 가능하고 감사 가능해진다. 18개월 전만 해도 이 두 가지 모두 사실이 아니었다.

관찰 가능성: 더 이상 선택 사항이 아님

Langfuse가 2026년 1월 ClickHouse에 인수됐다. 시장의 방향을 말해주는 사건이다. 트레이싱 파이프라인에는 프로덕션 에이전트가 생성하는 쓰기 볼륨을 감당할 수 있는 데이터베이스가 필요하다. 이 분야의 선도 플랫폼은 LangSmith(LangChain 중심 스택에 자연스럽게 맞는 선택), Langfuse(최선의 자체 호스팅 옵션), Arize Phoenix(RAG 중심 검색 워크플로에서 가장 강력함)다.

전통적인 APM이 대답하지 못하는 것들이 있다. 어느 검색 단계가 관련 없는 컨텍스트를 반환했는지, 에이전트가 왜 재귀 루프에 빠졌는지, 모델 버전 간 출력 품질이 기준선에서 벗어나고 있는지. 이런 질문들에는 LLM 네이티브 트레이싱이 필요하다. LLM 호출, 검색 단계, 도구 호출, 에이전트 결정 분기를 분리된 것이 아닌 함께 따라가는 트레이싱이어야 한다.

환각: 이진 판단이 아닌 지표로

환각은 고위험 프로덕션 배포에서 여전히 주요 장애물이다. 2026년의 중요한 변화는 대부분의 팀이 이것을 통과/실패의 이진 판단으로 보는 것을 멈추고 비율로 측정하기 시작했다는 것이다. LLM-as-judge 방식의 탐지는 프롬프트 설계에 따라 환각된 출력의 6075%를 잡아낸다. 검색에 기반한 태스크에서는 잘 설계된 시스템의 경우 비율이 2% 미만으로 떨어진다. 전달 전에 출력을 검사하고 의심 응답을 검토 대기열로 보내는 런타임 가드레일이 표준이 됐지만, 200500ms의 탐지 지연이 레이턴시 예산에 실질적인 부담을 준다.

실용적인 권고 사항: 평가 파이프라인에 환각 샘플링 루프를 처음부터 구축하라. 매일 실시간 프로덕션 트레이스 중 무작위 샘플을 채점하라. 사용자가 보고하기 전에 모델 드리프트, 오래된 검색 인덱스, 프롬프트 회귀를 잡아낼 수 있다.

스택의 현재 위치

모델은 범용재다. 추론 프레임워크, 검색 품질, 도구 프로토콜, 관찰 가능성 레이어, 에이전틱 호출 볼륨에 대한 비용 규율이 2026년에 실질적인 엔지니어링 레버리지가 있는 곳이다. 이것들을 부차적인 것으로 취급하는 팀은 계속 화재를 진압하게 된다. 이것들을 일급 관심사로 다루는 팀이 안정적인 제품을 출시한다.