RouterHub로 최첨단 및 비검열 AI 모델에 액세스하는 방법

RouterHub의 기능

RouterHub는 하나의 계정, 잔액, API 키로 Claude, GPT, Gemini, Grok, DeepSeek, GLM, Qwen 모델 제품군에 액세스할 수 있는 AI API 게이트웨이입니다. OpenAI 및 Anthropic 호환 인터페이스를 지원하므로, 많은 기존 애플리케이션은 API 키, 기본 URL, 모델 ID만 변경해 제공업체를 전환할 수 있습니다.

카탈로그에는 일반적인 최첨단 모델과 함께 제공되는 경우 일부 검열되지 않은 변형 및 알비테레이션된 변형도 포함됩니다. 검열되지 않은 모델은 표준 릴리스보다 거부하는 요청이 적도록 설계된 변형입니다. 모델은 엔진이고, API는 애플리케이션이 해당 모델에 연결하는 수단입니다.

중요: 거부 동작이 줄었다고 해서 모델이 모든 요청에 답변한다는 보장은 없습니다. 동작은 모델, 버전, 프롬프트, 제공업체 정책에 따라 달라집니다. 합법적이고 윤리적인 사용, 적절한 안전장치, 사람의 검토에 대한 책임은 사용자에게 있습니다.

주요 기능

• 모델 제품군 전체에서 하나의 계정 사용: 각 제품군마다 별도의 통합을 관리하지 않고 Claude, GPT, Gemini, Grok, DeepSeek, GLM, Qwen을 사용할 수 있습니다.
• OpenAI 호환성: OpenAI SDK와 사용자 지정 base_url을 지원하는 애플리케이션에 연결할 수 있습니다.
• Anthropic 호환성: Anthropic SDK와 Claude Code 같은 Anthropic 스타일 클라이언트를 사용할 수 있습니다.
• 선별된 검열되지 않은 옵션: 사용 가능한 경우 표준 모델과 함께 검열되지 않은 변형 및 알비테레이션된 변형을 평가할 수 있습니다.
• 사용량 기반 결제: 월간 구독료나 좌석 요금 없이 토큰당 결제합니다.
• 프롬프트 캐싱: 반복되는 프롬프트 접두사는 더 낮은 캐시 입력 요금으로 청구될 수 있습니다.
• 프로젝트 격리: 별도의 API 키를 만들어 프로젝트를 분리하고 사용량을 모니터링할 수 있습니다.
• 유연한 충전: 카드 또는 암호화폐로 선불 크레딧을 추가할 수 있습니다.

모델 제품군 선택

선택은 제품군 이름만이 아니라 작업량을 기준으로 해야 합니다. RouterHub는 대시보드에 현재 모델 ID, 컨텍스트 한도, 가격, 사용 가능 여부를 표시합니다.

• Claude: 장문 추론, 글쓰기, 코딩 에이전트.
• GPT: 범용 어시스턴트, 도구 사용, 구조화된 출력.
• Gemini: 멀티모달 워크플로, 리서치, 긴 컨텍스트 작업.
• Grok: 아이디어 구상 및 실시간 스타일의 답변.
• DeepSeek: 코딩, 추론, 비용 효율적인 에이전트.
• GLM: 에이전트 워크플로, 코딩, 이중 언어 작업.
• Qwen: 긴 문서 읽기 및 에이전트 워크플로.

제공업체가 새 버전을 출시함에 따라 모델 사용 가능 여부가 변경됩니다. 오래된 ID가 여전히 활성 상태라고 가정하지 말고, 항상 RouterHub 대시보드에서 현재 모델 ID를 복사하세요.

설치 및 설정

1. 계정 및 API 키 생성

RouterHub 온보딩 페이지에서 등록하세요. 생성된 API 키는 sk-로 시작합니다. 대시보드 개요에는 선택한 인터페이스에 필요한 정확한 기본 URL도 표시됩니다.

2. 자격 증명을 환경 변수로 저장

자격 증명을 소스 파일에 직접 넣지 마세요. 셸에서 키와 OpenAI 호환 기본 URL을 내보내세요.

export ROUTERHUB_API_KEY="sk-..."
export ROUTERHUB_BASE_URL="https://.../v1"

대시보드에서 실제 URL을 복사하세요. Anthropic 클라이언트의 경우 OpenAI 호환 URL과 동일하다고 가정하지 말고, 대시보드에 표시된 Anthropic 호환 기본 URL을 사용하세요.

3. 애플리케이션에 필요한 SDK 설치

OpenAI 호환 Python 예제를 사용하려면 OpenAI SDK를 설치하세요.

python -m pip install openai

Anthropic 호환 예제를 사용하려면 Anthropic SDK를 설치하세요.

python -m pip install anthropic

프로젝트에서 사용하는 SDK만 설치하면 됩니다. 직접 cURL 요청을 보내는 경우 Python 패키지는 필요하지 않습니다.

OpenAI SDK 기본 사용법

OpenAI 클라이언트를 생성하고 RouterHub 자격 증명을 입력한 다음, MODEL_ID를 대시보드의 현재 ID로 바꾸세요.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["ROUTERHUB_API_KEY"],
    base_url=os.environ["ROUTERHUB_BASE_URL"],
)

response = client.chat.completions.create(
    model="MODEL_ID",
    messages=[
        {
            "role": "system",
            "content": "You are a precise, helpful assistant."
        },
        {
            "role": "user",
            "content": "Explain the trade-offs of model routing in two paragraphs."
        },
    ],
)

print(response.choices[0].message.content)

model 필드는 요청을 처리할 사용 가능한 모델을 지정합니다. 시스템 메시지는 어시스턴트의 일반적인 동작을 정의하고, 사용자 메시지에는 작업이 포함됩니다.

Anthropic SDK 기본 사용법

Anthropic SDK를 사용할 때는 대시보드의 Anthropic 호환 엔드포인트를 사용하세요.

import os
from anthropic import Anthropic

client = Anthropic(
    api_key=os.environ["ROUTERHUB_API_KEY"],
    base_url=os.environ["ROUTERHUB_BASE_URL"],
)

message = client.messages.create(
    model="MODEL_ID",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Write a concise release note for a developer tool."
        }
    ],
)

print(message.content[0].text)

Anthropic 요청은 Messages API 형식을 사용하며 생성된 응답을 제한하기 위해 max_tokens를 설정합니다. 이 예제를 실행하기 전에 환경 변수에 Anthropic과 호환되는 URL이 포함되어 있는지 확인하세요.

cURL로 API 테스트

대규모 애플리케이션에 SDK를 추가하기 전에 직접 HTTP 요청을 보내 자격 증명과 모델 사용 가능 여부를 확인할 수 있습니다.

curl "$ROUTERHUB_BASE_URL/chat/completions" \
  -H "Authorization: Bearer $ROUTERHUB_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MODEL_ID",
    "messages": [
      {
        "role": "user",
        "content": "Hello from the RouterHub quickstart."
      }
    ]
  }'

요청이 실패하면 API 키, 기본 URL, 엔드포인트 경로 및 현재 모델 ID를 확인하세요. 업스트림 모델 업데이트 후 사용 가능 여부와 식별자가 변경될 수 있습니다.

기존 개발자 도구 연결

RouterHub는 사용자 지정 OpenAI 또는 Anthropic 호환 제공업체를 허용하는 클라이언트와 함께 사용할 수 있습니다.

• Claude Code: Anthropic 기본 URL 설정이 RouterHub를 가리키도록 지정하세요.
• Cursor: RouterHub를 사용자 지정 OpenAI 호환 제공업체로 추가하세요.
• Codex CLI: OpenAI 호환 제공업체 프로필을 구성하세요.
• OpenCode: 사용자 지정 제공업체와 유효한 모델 ID를 설정하세요.
• LangChain 및 LlamaIndex: OpenAI 호환 어댑터를 사용하세요.
• 기타 호환 애플리케이션: 기본 URL과 API 키를 교체한 다음 지원되는 모델 ID를 선택하세요.

도구에 추가 환경 변수나 제공업체 설정이 필요한 경우 저장소의 클라이언트별 문서를 따르세요.

고급 팁

반복 가능한 테스트 세트로 모델 비교

하나의 프롬프트만으로 모델을 평가하지 마세요. 실제 작업을 대표하는 소규모 테스트 세트를 만든 다음 여러 모델 계열에 동일한 프롬프트를 보내세요. 프로덕션 모델을 선택하기 전에 응답 품질, 거부 동작, 지연 시간, 일관성 및 토큰 비용을 비교하세요.

정확한 모델 버전 재테스트

동작은 버전에 따라 달라집니다. 한 릴리스에서 작동하던 프롬프트가 업스트림 업데이트 후 다른 결과를 낼 수 있습니다. 각 평가에 사용한 모델 ID를 기록하고 모델이나 버전을 변경할 때마다 중요한 테스트를 반복하세요.

API 키 분리 사용

개발, 테스트, 프로덕션 또는 개별 클라이언트마다 서로 다른 키를 만드세요. 이렇게 하면 프로젝트를 분리하고 공유 대시보드에서 사용량을 더 쉽게 모니터링할 수 있습니다. 키를 저장소에 커밋하거나 브라우저 코드에 노출하지 마세요.

캐싱을 고려한 프롬프트 설계

프롬프트 캐싱을 사용하면 반복되는 입력 접두사의 청구 비용을 줄일 수 있습니다. 애플리케이션 구조에 적합하다면 안정적인 지침이나 공유 컨텍스트를 요청의 앞부분에 배치하고, 변경되는 사용자 콘텐츠는 뒤에 배치하세요.

현재 가격 및 한도 확인

RouterHub는 토큰당 과금 방식을 사용하며 구독이 필요하지 않습니다. 그러나 제공업체 요금, 모델 사용 가능 여부 및 한도는 변경될 수 있습니다. 프로덕션 비용을 추정하거나 특정 모델에 의존하기 전에 대시보드를 확인하세요.

애플리케이션 수준의 보호 장치 유지

검열되지 않은 변형 및 거부 완화 변형은 거부를 줄이지만 검증의 필요성을 없애지는 않습니다. 사용 사례에 적합한 보호 장치를 추가하고, 민감한 출력을 검토하며, 제공업체 약관을 따르고 관련 법률을 준수하세요. 이는 자율 에이전트와 대외 공개형 어시스턴트에 특히 중요합니다.

실용적인 사용 사례

• AI 안전성 및 레드팀 연구를 위해 버전별 정책 동작을 비교합니다.
• 장면 중간의 거부를 줄인 창작 글쓰기 워크플로를 구축하고 별도의 편집 검토 프로세스를 운영합니다.
• 호환되는 코딩 클라이언트에서 Claude, GPT, DeepSeek 및 GLM으로 코딩 작업을 라우팅합니다.
• 통합을 다시 구축하지 않고 여러 모델 계열에서 다국어 프롬프트를 테스트합니다.
• 긴 컨텍스트 요약 및 문서 분석 워크플로를 만듭니다.
• 키, 청구 및 사용량을 중앙에서 관리하면서 챗봇과 어시스턴트 백엔드를 운영합니다.

결론

RouterHub는 하나의 계정을 통해 여러 프런티어 모델 계열을 테스트하고 사용할 수 있는 호환 게이트웨이를 제공합니다. 먼저 키를 발급받고 올바른 기본 URL과 현재 모델 ID를 복사한 다음 간단한 SDK 또는 cURL 요청을 실행하세요. 프로덕션에 배포하기 전에 모델을 체계적으로 비교하고, 프로젝트별 키를 분리하며, 현재 가격을 확인하고, 적절한 안전 제어와 사람의 감독을 유지하세요.