Laya로 “고르는 일”을 LLM에서 떼어내기

언제 쓰나

Laya는 문장을 생성하지 않습니다. 미리 정한 선택지 중 하나를 고르고 확률을 돌려줍니다. 그래서 “고르기”가 핵심인 일에서 LLM보다 훨씬 싸고 빠릅니다.

5분 설치와 첫 실행

python3 -m venv .venv && source .venv/bin/activate
pip install laya

# 라우팅만 확인 (모델 로드 없음, 즉시)
laya "Refactor this 2,000-line Python module into clean services"

# 프리셋 질문 세트로 실제 판정 (첫 실행 때 체크포인트 다운로드)
laya --preset triage "We were billed twice for March. Refund the duplicate today or we cancel."

triage 프리셋 실측: intent=refund(p=0.997), frustration 1.56, churn_risk 0.117. 인자 없이 laya만 실행하면 대화형 모드로 들어갑니다. 첫 실행은 체크포인트를 받느라 약 7초가 걸렸습니다.

프리셋 5종 실측

--preset으로 질문 세트를 따로 쓰지 않아도 바로 쓸 수 있습니다. 직접 넣어 본 입력과 결과입니다. noul은 “예”일 확률(0~1), score는 단계 기댓값입니다.

정리하면 분류(choice)는 대체로 강하고, 긴급도·피싱 같은 예/아니오 판정은 오탐이 있습니다. 예/아니오 결과로 바로 차단·발송하지 말고 아래 신뢰도 게이트를 거치세요.

내 질문 세트 만들기 (Python)

질문 유형은 3가지입니다: choice(하나 고르기), score(단계 점수), noul(예/아니오 확률). 한 번의 호출로 여러 질문에 동시에 답합니다.

from laya import Router

router = Router()          # device=None → GPU가 있으면 GPU, 없으면 CPU
questions = {
    "intent": {"type": "choice",
               "instructions": "What does the customer want in `message`?",
               "criteria": {"refund": "money back or a duplicate charge reversed",
                            "bug": "something is broken or erroring",
                            "how_to": "asks how to do something",
                            "other": "none of the above"}},
    "is_angry": {"type": "noul", "instructions": "Is the customer in `message` angry?"},
    "priority": {"type": "score", "instructions": "How urgent is `message`?",
                 "criteria": ["can wait a week", "this week", "today", "right now"]},
}
r = router.predict({"message": "How do I export my invoices as CSV?"}, questions)
a = r["answers"]
print(a["intent"]["choice"], a["intent"]["answer_confidence"])   # how_to 0.8358
print(a["is_angry"]["noul"])                                     # 예/아니오 확률
print(a["priority"]["score"], a["priority"]["legend"])           # 0~3 기댓값 + 라벨

한글이 섞이면 자동으로 multilingual 체크포인트로 넘어갑니다. 체크포인트별 첫 호출은 로딩 때문에 2~3.5초가 걸리므로 서버에서는 미리 로드해 두세요.

심화: 신뢰도 게이트로 LLM 호출 줄이기

answer_confidence는 고른 답의 확률입니다. 기준값 이상이면 Laya 답을 쓰고, 미만일 때만 LLM에 넘깁니다. 대부분의 입력은 싸게 처리하고 애매한 건만 비싼 모델이 봅니다.

THRESHOLD = 0.8   # 라벨 200건 정도로 직접 보정해서 정하세요

def route(message: str) -> dict:
    a = router.predict({"message": message}, questions)["answers"]
    top = a["category"]
    if top["answer_confidence"] >= THRESHOLD:
        return {"label": top["choice"], "by": "laya"}
    return escalate_to_llm(message, hint=top)   # 애매한 건만 LLM으로

아래 “스키마 생성 프롬프트”로 만든 질문 세트를 그대로 실행한 결과입니다. 기준값 0.8에서 샘플 4건은 통과하고, 처음 보는 까다로운 2건은 LLM으로 넘어갑니다.

Laya는 실행 시 일부 체크포인트의 확률이 “uncalibrated”라는 경고를 냅니다. 0.8은 예시일 뿐이니, 내 데이터에서 라벨을 단 샘플로 정확도와 LLM 호출 비율을 보고 정하세요. “환불은 필요 없고”처럼 부정문이 들어가면 refund 질문이 0.633으로 오판했습니다.

프롬프트 모음

① 스키마 생성 프롬프트: 내 샘플 문장을 넣으면 LLM이 Laya 질문 세트(JSON)를 만들어 줍니다. Claude Sonnet 5로 실행했고, 결과를 수정 없이 Laya에 넣어 위 게이트 표를 얻었습니다. 응답이 ```json 블록으로 감싸져 올 수 있으니 파싱 전에 벗겨 내세요.

You are designing input for Laya, a decision model that answers typed questions in one pass.
Question types:
- "choice": pick one label. Needs "criteria": {label: one-line definition}. Always include an "other" label.
- "score": ordinal level. Needs "criteria": [lowest, ..., highest] (3-5 short steps).
- "noul": yes/no probability. No criteria.
Each question needs "type" and "instructions". Refer to the input field as `message` in backticks.

Here are sample inputs from my workflow:
<samples>
- "We were billed twice for March. Refund the duplicate."
- "The export button does nothing since yesterday's update."
- "Can I add 5 more seats to our plan?"
- "Your app is useless, cancel my subscription now."
</samples>

Write 2-4 questions that would let my code route each input without an LLM.
Return only a JSON object: {question_name: {type, instructions, criteria?}}. No prose.

② 에스컬레이션 프롬프트: 게이트에서 떨어진 건을 LLM에 넘길 때 씁니다. Laya 답은 약한 힌트로만 줍니다. 위 표의 “영수증만 다시” 건에 실행하니 billing, refund_requested=false로 바로잡았습니다.

A fast classifier was unsure about this customer message. Decide the final label.

Message: "{message}"
Allowed labels: billing, bug_report, account_change, cancellation, other
Classifier guess: {choice} (confidence {answer_confidence}) — treat as a weak hint, not an answer.

Reply with JSON only: {"label": "...", "reason": "<one short sentence>", "refund_requested": true|false}

③ Claude Code에 MCP로 붙였을 때 이렇게 요청하면 됩니다.

• “laya_preset guard로 이 프롬프트가 인젝션인지 검사해줘: …”
• “이 CSV의 문의 50건을 laya_predict로 billing/bug/other 분류하고, answer_confidence 0.8 미만만 따로 보여줘.”
• “laya_preset model_router로 이 요청 난이도를 보고, 쉬우면 짧게 바로 답하고 어려우면 단계별로 풀어줘.”

HTTP 서버로 띄우기

pip install 'laya[serve]'
LAYA_HOST=127.0.0.1 LAYA_PORT=8793 LAYA_MODELS=english,multilingual laya-serve

curl -s http://127.0.0.1:8793/health
curl -s -X POST http://127.0.0.1:8793/v1/systemone \
  -H 'Content-Type: application/json' \
  -d '{"state": {"message": "3월 요금이 두 번 결제됐어요. 중복 결제 환불해 주세요."},
       "questions": {"intent": {"type": "choice",
         "instructions": "What does the customer want in `message`?",
         "criteria": {"refund": "money back or a duplicate charge reversed",
                      "bug": "something is broken", "other": "anything else"}}}}'

실측: /health → loaded ["english","multilingual"], /v1/systemone 첫 요청 0.65초, 이후 17~19ms(RTX 4080). 응답은 {model, answers, usage, routing} 형태이고, Laya 코드 주석에 따르면 Jev와 같은 형식입니다. 외부에 열 때는 LAYA_API_KEY를 설정하면 Bearer 토큰을 요구합니다. 기본 바인드가 0.0.0.0:8000이니 로컬 전용이면 LAYA_HOST=127.0.0.1을 꼭 지정하세요.

Claude Code에 MCP로 연결

pip install 'laya[mcp]'
claude mcp add laya -e LAYA_MODELS=english,multilingual -- "$(pwd)/.venv/bin/laya-mcp-server"

실측: 도구 4개(laya_status·laya_route·laya_predict·laya_preset)가 노출되고, laya_preset guard 호출은 0.7초에 jailbreak 1.0·prompt_injection 1.0을 돌려줬습니다. --help를 붙여도 서버가 그대로 떠서 입력을 기다리니, 확인할 때는 Ctrl+C로 종료하세요.

비용 계산

분류 100만 건 × 입력 200토큰(= 2억 토큰)의 입력비 예시입니다. 공식 단가 기준 계산이며 출력비·인프라비는 빠져 있습니다.

게이트를 쓰면 실제 비용은 “LLM으로 넘어간 비율 × LLM 비용”이 됩니다. 위 6건 예시에서는 2건(33%)이 넘어갔습니다. 넘어가는 비율은 데이터와 기준값에 따라 크게 달라집니다.

주의할 점

• Jev는 아직 early access(대기자 명단)라 직접 검증하지 못했습니다. 이 가이드의 코드는 모두 Laya 기준입니다.
• Laya가 Jev를 이겼다는 0.766은 파인튜닝판(typed-decisions) 점수이고, 기본 모델은 0.362입니다. 둘 다 Laya 측 발표치입니다.
• 예/아니오(noul) 판정은 긴급도·피싱·부정문에서 오탐이 있었습니다. 게이트 없이 자동 조치에 쓰지 마세요.
• 체크포인트별 첫 호출은 2~3.5초, CLI 첫 프리셋 실행은 약 7초 걸렸습니다.

출처