🪽 Hermes 03. 모델 선택과 기본 설정

Hermes를 설치하고 첫 실행까지 끝냈는데도, 체감이 별로 안 오는 경우가 있다. 대개 이유는 설치가 덜 돼서가 아니다. 모델 선택과 기본 설정이 내 사용 방식에 맞지 않기 때문이다. 같은 Hermes라도 어떤 provider를 고르고, 어떤 backend를 쓰고, 어떤 기본값을 넣느냐에 따라 완전히 다른 도구처럼 느껴진다.

특히 처음에는 “제일 강한 모델”보다 내가 오래 쓸 수 있는 조합을 고르는 편이 더 중요하다. 결제 방식, 인증 방식, 응답 속도, tool 호출 안정성, 모바일까지 이어질 운영 흐름이 한 번에 같이 움직이기 때문이다.

안내: 이 글은 Hermes 공식 문서와 공식 저장소를 바탕으로 정리했고, 구조화와 문장 정리에 생성형 AI를 보조적으로 활용했습니다.

이번 글의 목표

이 글을 끝내면 아래 다섯 가지가 정리돼 있어야 한다.

• 어떤 provider를 먼저 고를지 판단할 수 있다
• hermes model과 /model의 차이를 안다
• ~/.hermes/.env와 config.yaml을 어디에 어떻게 쓰는지 안다
• 처음에 넣을 기본 설정 묶음을 정할 수 있다
• 다음 단계인 Telegram 연결 전에 기준 구성이 잡혀 있다

flowchart LR
A[내 사용 방식 파악] --> B[Provider 선택]
B --> C[기본 모델 선택]
C --> D[config.yaml 과 .env 정리]
D --> E[terminal/approval 기본값 설정]
E --> F[Telegram 연결 준비]

왜 모델 선택이 설치보다 더 중요할까

Hermes 공식 Quickstart와 AI Providers 문서는 둘 다 같은 이야기를 한다. Hermes는 설치만으로 완성되지 않는다. 적어도 하나의 inference provider가 설정돼 있어야 실제로 쓸 수 있다.

• Quickstart: https://hermes-agent.nousresearch.com/docs/getting-started/quickstart
• AI Providers: https://hermes-agent.nousresearch.com/docs/integrations/providers

그리고 공식 문서가 분명히 적어 둔 기준이 하나 있다.

64K 이상 컨텍스트를 가진 모델이 필요하다.

이 기준이 중요한 이유는 Hermes가 단순 질답기가 아니라, 여러 단계의 tool 호출과 세션 문맥 유지까지 해야 하기 때문이다. 작은 모델을 억지로 붙이면 설치는 성공해도, 실제 작업에서는 기억이 짧고 흐름이 쉽게 끊긴다.

즉, 첫 질문은 “무슨 모델이 제일 좋지?”보다 **“내가 오래 안정적으로 쓸 수 있는 64K+ 모델이 뭐지?”**가 더 맞다.

1. hermes model과 /model은 역할이 다르다

Hermes 문서에서 초보자가 가장 많이 헷갈리는 부분이 이거다. 두 명령은 비슷해 보이지만 쓰는 위치와 역할이 다르다.

hermes model

터미널에서 세션 밖에서 실행하는 설정 명령이다. provider 추가, OAuth 로그인, API key 입력, custom endpoint 등록처럼 처음 연결할 때 쓴다.

hermes model

/model

이미 Hermes 세션 안에 들어와 있을 때 쓰는 전환 명령이다. 이미 설정된 provider와 model 사이를 빠르게 바꾸는 용도다.

• AI Providers, Two Commands for Model Management: https://hermes-agent.nousresearch.com/docs/integrations/providers

이 차이를 모르고 /model로 새로운 provider를 붙이려고 하면 잘 안 된다. 반대로 이미 세팅이 끝난 뒤에도 매번 hermes model부터 열면 흐름이 느려진다.

한 줄 기준

• 처음 연결은 hermes model
• 세션 안 전환은 /model

이 기준 하나만 알아도 초반 시행착오가 크게 줄어든다.

2. 어떤 provider를 먼저 고르면 좋을까

Hermes 공식 Providers 문서를 보면 선택지는 꽤 많다. Nous Portal, OpenAI Codex, Anthropic, OpenRouter, Gemini, Copilot, Qwen, DeepSeek, Ollama Cloud, Custom Endpoint까지 넓다.

• AI Providers: https://hermes-agent.nousresearch.com/docs/integrations/providers

처음엔 이걸 전부 비교하려 들기보다, 내가 이미 가지고 있는 계정과 습관을 기준으로 자르는 편이 낫다.

가장 쉬운 시작, 이미 쓰는 계정이 있는 경우

이미 ChatGPT, Claude, GitHub Copilot 같은 계정을 쓰고 있다면, 그 생태계에서 바로 시작하는 편이 가장 빠르다.

• ChatGPT 중심이면 OpenAI Codex
• Claude 중심이면 Anthropic
• GitHub Copilot 중심이면 Copilot

이 경로의 장점은 인증 장벽이 낮다는 점이다. 이미 쓰는 계정 기반이라 첫 진입 마찰이 적다.

모델을 자주 바꿔 보고 싶을 때

여러 모델을 한 인터페이스에서 비교하고 싶다면 OpenRouter 같은 라우터형 provider가 편하다. 다만 이 경우는 “쉽게 바꿀 수 있음”이 장점인 대신, 처음에는 어떤 모델을 기본값으로 둘지 더 신중해야 한다.

직접 돌리는 환경을 원할 때

vLLM, Ollama, SGLang 같은 OpenAI 호환 endpoint를 이미 운영 중이라면 Custom Endpoint가 맞다. 대신 이 경우는 단순 가입형보다 확인할 게 늘어난다.

• base URL
• API key 유무
• 실제 context window
• 응답 포맷 호환성

즉, 자유도는 높지만 초반 난도도 같이 올라간다.

3. 처음엔 “제일 강한 모델”보다 “계속 쓸 모델”이 낫다

Hermes를 오래 쓰는 사람과 금방 멈추는 사람의 차이는 성능표보다 운영 마찰에서 갈린다. 처음부터 가장 비싸고 가장 무거운 모델만 고르면, 몇 번 신기하게 쓰고 나서 비용이나 속도 때문에 습관이 끊기기 쉽다.

그래서 초반 기준은 이 정도가 현실적이다.

• 64K 이상 컨텍스트
• tool 호출이 안정적일 것
• 인증이 너무 번거롭지 않을 것
• 내가 감당 가능한 비용 구조일 것

Quickstart도 정확히 이 방향이다. 설치 직후에는 provider 하나를 고르고, 먼저 정상 대화와 도구 실행이 되는지 확인하라고 안내한다.

• Quickstart: https://hermes-agent.nousresearch.com/docs/getting-started/quickstart

미니 사례 1, “일단 빨리 써보고 싶다”

이미 ChatGPT나 Claude를 쓰고 있다면 새 생태계 공부를 늘리지 말고, 그 계정 기반 provider로 먼저 들어가는 게 낫다. 그래야 Hermes 자체 사용감에 집중할 수 있다.

미니 사례 2, “로컬 모델로 전부 해결하고 싶다”

가능은 하지만 처음부터 그렇게 가면, 문제 원인이 모델 성능인지, context 설정인지, endpoint 호환성인지 분리하기가 어렵다. 이 경우는 cloud provider로 한 번 정상 동작 기준을 만든 뒤, local endpoint로 옮기는 편이 훨씬 덜 꼬인다.

4. provider별로 초반 판단 기준을 단순하게 잡자

공식 문서 전체를 보면 provider마다 특성이 다르다. 초반엔 아래 정도만 기억해도 충분하다.

OpenAI Codex

ChatGPT 계정 기반으로 들어가기 쉽고, Hermes가 Codex CLI 설치 없이도 인증 정보를 자체 auth store에 보관할 수 있다. 이미 OpenAI 생태계에 익숙하면 빠른 시작 후보로 좋다.

Anthropic

Claude 계열을 직접 쓰고 싶을 때 자연스럽다. 공식 문서는 Claude Code credential store를 읽는 경로도 안내한다. 즉, 이미 Claude Code를 쓰는 사람에게 연결 비용이 낮다.

GitHub Copilot

Copilot 구독을 이미 쓰고 있고, GPT·Claude·Gemini 계열을 한 구독권 안에서 활용하고 싶다면 매력적이다. 개발자 워크플로에 익숙한 사람에게 잘 맞는다.

Google Gemini

API key 경로와 OAuth 경로가 모두 있다. 공식 문서는 OAuth 편의성을 제공하지만, 정책 리스크 경고도 함께 보여 준다. 낮은 리스크를 원하면 API key 기반 gemini provider가 더 단순하다.

OpenRouter

다양한 모델을 바꿔 쓰기 좋다. 대신 자유도가 높은 만큼 “기본 모델 하나를 정해 놓는 습관”이 중요하다. 안 그러면 비교만 하다 설정이 흔들리기 쉽다.

Custom Endpoint

로컬이나 사내 환경을 붙일 수 있다는 게 큰 장점이다. 하지만 초반엔 가장 디버깅 난도가 높다. endpoint가 OpenAI 호환이라고 해도 세부 동작 차이 때문에 조정이 필요할 수 있다.

• AI Providers: https://hermes-agent.nousresearch.com/docs/integrations/providers

5. 설정 파일은 둘만 정확히 나눠도 절반은 끝난다

Hermes Configuration 문서는 설정의 중심을 ~/.hermes/ 디렉터리로 설명한다. 여기서 처음에 중요한 파일은 사실 두 개다.

• ~/.hermes/.env : 비밀값

• ~/.hermes/config.yaml : 일반 설정

• Configuration: https://hermes-agent.nousresearch.com/docs/user-guide/configuration

이 원칙을 지키면 설정이 훨씬 덜 꼬인다.

.env에 넣을 것

• API key
• bot token
• 비밀번호 성격의 값
• 외부 서비스 credential

config.yaml에 넣을 것

• 기본 provider
• 기본 model
• terminal backend
• approval mode
• Telegram mention 규칙 같은 일반 옵션

공식 문서는 hermes config set이 API key는 .env에, 일반 설정은 config.yaml에 자동 분기 저장한다고 설명한다. 즉, 초보자라면 수동 편집보다 이 명령을 섞어 쓰는 게 안전하다.

hermes config set OPENROUTER_API_KEY sk-or-...
hermes config set terminal.backend local

6. 설정 우선순위를 알면 “왜 안 바뀌지?”가 줄어든다

Hermes 문서에 따르면 설정 우선순위는 이렇다.

1. CLI 인자
2. ~/.hermes/config.yaml
3. ~/.hermes/.env
4. 내장 기본값

• Configuration Precedence: https://hermes-agent.nousresearch.com/docs/user-guide/configuration

이 구조를 모르면 이런 일이 생긴다. config.yaml에서 model을 바꿨는데, 실제 실행은 다른 값으로 뜬다. 나중에 보니 실행할 때 --model을 붙여 둔 상태였다. 또는 shell 환경변수가 남아 있어서 다른 설정처럼 보인다.

초반엔 이걸 단순하게 관리하는 게 좋다.

• 세션 테스트 때는 CLI override를 최소화하기
• 영구 설정은 config.yaml에 모으기
• 비밀값만 .env에 남기기

7. 추천 시작 설정은 과하지 않게 잡는 편이 좋다

처음부터 모든 고급 옵션을 켜기보다, 아래처럼 기준 구성을 하나 만든 뒤 출발하는 편이 좋다.

# ~/.hermes/config.yaml
model:
  provider: "anthropic"
  default: "claude-sonnet-4-6"
 
terminal:
  backend: local
 
approvals:
  mode: manual

이건 예시일 뿐이고 provider/model 이름은 내 상황에 맞게 바꾸면 된다. 중요한 건 구조다.

• model은 하나를 기본값으로 고정

• terminal backend는 처음엔 local

• approvals는 manual 유지

• Quickstart: https://hermes-agent.nousresearch.com/docs/getting-started/quickstart

• Security: https://hermes-agent.nousresearch.com/docs/user-guide/security

왜 이 조합이 좋은가

처음엔 기능 검증이 우선이다. terminal backend를 Docker나 SSH로 넓히기 전에, 로컬에서 정상 동작 기준을 먼저 만드는 편이 원인 분리에 유리하다. 승인 모드도 초반엔 manual이 가장 안전하다.

8. auxiliary 모델을 모르고 넘어가면 헷갈릴 수 있다

Providers 문서에는 중요한 주석이 하나 있다. 메인 모델과 별도로, 일부 기능은 auxiliary 모델을 사용할 수 있다. 예를 들어 vision, web summarization, MoA 같은 부가 기능은 기본적으로 OpenRouter 기반 보조 모델을 쓰도록 연결될 수 있다.

• AI Providers, Codex Note / Auxiliary model note: https://hermes-agent.nousresearch.com/docs/integrations/providers

이걸 모르면 이런 오해가 생긴다.

• “난 Codex만 쓰는데 왜 OpenRouter key 얘기가 나오지?”
• “메인 모델은 잘 되는데 어떤 기능만 안 되네?”

즉, 메인 채팅 모델과 보조 기능용 모델이 다를 수 있다는 감각을 초반에 알아두는 게 좋다. 처음엔 모든 auxiliary 기능까지 완벽히 맞추려 하지 말고, 메인 대화 모델 하나를 먼저 안정화하는 편이 낫다.

9. local backend로 시작하되, 오래 쓸 거면 보안도 같이 생각해야 한다

Configuration과 Security 문서는 둘 다 local backend가 가장 쉬운 출발점이라고 설명한다. 동시에 같은 경고도 준다. local은 내 사용자 계정과 같은 파일 접근 권한을 가진다.

• Configuration, Local Backend: https://hermes-agent.nousresearch.com/docs/user-guide/configuration
• Security: https://hermes-agent.nousresearch.com/docs/user-guide/security

따라서 초반 전략은 이렇게 가져가면 좋다.

첫 주

• local backend
• approvals manual
• 개인 계정 provider 하나
• 기본 도구만 확인

이후

• 정말 계속 쓸 거면 Docker backend 검토
• 필요한 credential만 선택적으로 전달
• gateway까지 붙인 뒤에는 접근 범위 더 엄격히 관리

이 순서가 좋은 이유는, 사용성 검증과 보안 강화를 분리할 수 있기 때문이다.

10. 처음에 바로 써도 되는 추천 조합 4가지

1) 이미 Claude Code를 쓰고 있다

• provider: Anthropic
• backend: local
• approvals: manual
• 장점: 기존 습관과 연결이 쉽다

2) ChatGPT를 자주 쓴다

• provider: OpenAI Codex
• backend: local
• approvals: manual
• 장점: 진입 마찰이 낮다

3) 모델을 자주 바꿔 보고 싶다

• provider: OpenRouter
• backend: local
• approvals: manual
• 장점: 여러 모델 비교가 쉽다
• 주의: 기본 모델 하나를 고정해 두기

4) 로컬 추론 환경이 이미 있다

• provider: Custom Endpoint
• backend: local 또는 docker
• approvals: manual
• 장점: 데이터 통제권이 높다
• 주의: context window와 호환성을 먼저 검증하기

이 네 가지는 전부 정답이 될 수 있다. 중요한 건 성능표보다 내 현재 운영 스택과 잘 붙는지다.

11. 처음 세팅 뒤 바로 해볼 검증 5가지

설정이 끝났다면 아래 다섯 가지를 보면 된다.

1) 시작 배너에서 provider/model 확인

의도한 모델이 실제로 뜨는지 본다.

2) 간단한 질문 하나

응답 속도와 문장 안정성을 본다.

3) tool 호출 하나

터미널 도구가 정상 동작하는지 본다.

4) /model 호출

세션 안에서 이미 설정된 다른 모델로 바꿀 수 있는지 확인한다.

5) 세션 종료 후 재실행

다시 열었을 때 설정이 유지되는지 본다.

여기서 중요한 건 벤치마크가 아니다. 내 루틴에서 거슬리지 않는지를 보는 것이다.

12. Telegram 전에 이 정도만 정리돼 있으면 충분하다

Telegram 연결 전에 완벽한 설정은 필요 없다. 아래 정도면 충분하다.

• provider 하나 선택 완료
• 기본 model 하나 선택 완료
• .env와 config.yaml 역할 구분 완료
• local backend와 manual approval 유지
• 기본 대화와 tool 호출 검증 완료

이 기준이 잡혀 있으면, 다음 단계인 Telegram 연결에서 막혔을 때도 원인을 빨리 좁힐 수 있다. 모델 문제인지, gateway 문제인지, 권한 문제인지를 분리하기 쉬워지기 때문이다.

다음 읽기

• Hermes 01. OpenClaw와 무엇이 다른가
• Hermes 02. 설치와 첫 실행
• Hermes 04. 텔레그램 연결과 게이트웨이 운영
• Hermes 시리즈 인덱스