NVIDIA
NVIDIA Nemotron
NVIDIA가 만들어 공개한 AI 모델 제품군입니다. 외부 AI 서비스를 빌려 쓰는 대신 모델을 내려받아 우리 회사 서버에서 직접 돌릴 수 있고, 생각하고 계획하고 실행하는 AI 에이전트에 맞게 설계되었습니다.
- 무엇인가
- NVIDIA가 공개한 개방형 AI 모델 제품군
- 구성
- Nano · Super · Ultra와 비전 · 검색 · 음성 · 안전 특화 모델
- 실행 위치
- 사내 서버 · 폐쇄망 · 클라우드
- 라이선스
- NVIDIA Open Model License (상업적 사용 가능)
한마디로
Nemotron은 NVIDIA가 만들어 누구나 쓸 수 있게 공개한 AI 모델입니다. ChatGPT처럼 외부 서비스에 접속해 쓰는 것이 아니라, 모델 파일을 내려받아 우리 회사 서버 안에서 직접 돌리는 방식입니다. 그래서 사내 문서와 고객 정보를 밖으로 보내지 않고도 생성형 AI를 쓸 수 있습니다.
왜 개방형 모델인가
외부 AI 서비스는 시작이 빠르지만 질문과 첨부 문서가 회사 밖 서버로 나갑니다. 규제 산업이나 폐쇄망에서는 이것만으로 도입이 멈춥니다. 사용량이 늘수록 호출 요금도 함께 늘어납니다.
개방형 모델은 이 문제를 반대 방향에서 풉니다. 모델을 우리가 가지고 있으니 데이터는 안에 머물고, 우리 업무에 맞게 다시 가르칠 수 있습니다. Nemotron은 여기서 한 걸음 더 나가 모델뿐 아니라 학습에 쓴 데이터와 학습 방법까지 공개합니다. 무엇으로 배운 모델인지 확인할 수 있어 감사와 규제 대응에 설명할 근거가 생깁니다.
어떤 모델이 있나
| 모델 | 크기 | 이런 일에 맞습니다 |
|---|---|---|
| Nano | 가장 작고 빠름 | 한 가지 일을 맡는 작은 에이전트 |
| Super | 중간 | 여러 에이전트가 나눠 처리하는 복잡한 업무, 외부 도구 호출이 많은 작업 |
| Ultra | 가장 큼 | 정확도가 가장 중요한 핵심 업무 |
세 모델은 질문에 바로 답하는 데서 그치지 않고 생각하고, 계획하고, 실행하는 AI 에이전트를 위해 만들어졌습니다. 여기에 목적별 특화 모델이 더해집니다.
- 비전: 문서·이미지·영상을 읽고 이해합니다
- 검색(RAG): 사내 문서에서 질문에 맞는 근거를 찾아옵니다
- 음성: 말을 글로 바꾸고, 글을 말로 읽고, 번역합니다
- 안전: AI에 들어가는 질문과 나오는 답에서 위험한 내용을 걸러냅니다
무엇이 좋은가
- 같은 GPU로 더 빠르게: 질문마다 모델 전체가 아니라 필요한 부분만 골라 계산하는 구조(하이브리드 MoE)라 에이전트 작업을 더 빨리 끝냅니다
- 공개와 투명성: 모델, 학습 데이터, 학습 방법이 Hugging Face에 공개되어 있습니다
- 상업적 사용 가능: NVIDIA Open Model License에 따라 회사 업무에 쓰고 수정할 수 있습니다
- 배포 도구가 함께 제공: 모델을 바로 실행할 수 있게 포장한 NIM 컨테이너, 우리 데이터로 다시 가르치는 NeMo, 문서 검색·심층 리서치 같은 예제 앱인 Blueprint가 있습니다
어떻게 시작하나
- 체험build.nvidia.com에서 브라우저로 바로 써 봅니다. 민감하지 않은 샘플 데이터로 합니다.
- 모델 선택업무에 맞는 모델 크기와 특화 모델, 필요한 GPU 규모를 정합니다.
- 사내 구축NIM 컨테이너로 사내 서버나 폐쇄망에 배포하고 사내 시스템과 연결합니다.
- 맞춤과 운영사내 문서 검색과 에이전트를 붙이고, 필요하면 우리 데이터로 다시 학습해 운영합니다.
Microsoft 환경에서 쓰기
Microsoft 365와 Azure를 쓰는 회사라면 Nemotron을 Microsoft의 AI 플랫폼 Microsoft Foundry에서 바로 쓸 수 있습니다. Foundry 모델 카탈로그에 Nemotron의 Nano·Super·Ultra와 음성 인식·안전 모델이 올라와 있어, 서버를 직접 꾸리지 않고 Azure의 NVIDIA GPU에 배포할 수 있습니다.
| 방법 | 어디서 돌아가나 | 이런 경우에 |
|---|---|---|
| Foundry 모델 카탈로그 | Azure 클라우드 | 서버 구축 없이 빨리 시작하고 싶을 때 |
| Foundry Local on Azure Local (미리 보기) | 사내 서버·폐쇄망 | 데이터를 사내에 두어야 할 때 |
| Copilot Studio 연결 | Foundry에 배포한 모델을 호출 | 업무 담당자가 만든 에이전트에 모델을 붙일 때 |
이렇게 쓰면 에이전트의 신원은 Entra, 데이터 보호는 Purview, 위협 탐지는 Defender로 기존 Microsoft 보안 정책 안에서 관리됩니다. Microsoft 환경 밖에서 쓰고 싶다면 위의 NIM 컨테이너로 사내 서버에 직접 올리면 됩니다.
TDG와 함께
TDG는 NVIDIA 공식 파트너로서 Nemotron을 우리 회사 AI 구축하기에서 사내 전용 LLM의 후보 모델로 제안합니다. T1 단계에서 GPU·네트워크·보안 인프라 위에 모델을 올리고, T2 단계에서 사내 문서 검색과 업무 에이전트를 붙입니다. 어떤 모델이 맞는지는 PoC에서 정확도와 속도, 비용을 비교해 정합니다. AI가 읽는 데이터의 범위는 우리 회사 AI 데이터 보호에서 함께 정합니다.
제품 정보 출처: NVIDIA Nemotron 소개 페이지. Microsoft 연동 정보: Microsoft 공식 블로그 (2026. 3).자주 묻는 질문
- Nemotron은 무료인가요?
- 모델은 Hugging Face에서 무료로 내려받을 수 있고, NVIDIA Open Model License에 따라 상업적으로 쓰고 수정할 수 있습니다. 다만 모델을 돌릴 GPU 서버와 운영 비용은 별도이며, NVIDIA의 기업용 기술지원이 필요하면 NVIDIA AI Enterprise를 통해 제공됩니다.
- 우리 데이터가 NVIDIA로 넘어가나요?
- 모델을 사내 서버에서 직접 실행하면 질문과 문서는 사내에 머뭅니다. 다만 브라우저에서 바로 써 보는 체험판(build.nvidia.com)은 NVIDIA가 운영하는 서비스이므로, 체험에는 민감하지 않은 샘플 데이터만 씁니다.
- ChatGPT 같은 AI 서비스와 무엇이 다른가요?
- AI 서비스는 남의 서버에 있는 모델을 빌려 쓰는 것이고, Nemotron은 모델 자체를 가져와 우리가 운영하는 것입니다. 데이터가 밖으로 나가지 않고, 사용량이 늘어도 호출당 요금이 없으며, 우리 업무에 맞게 다시 학습할 수 있습니다. 대신 서버와 운영을 직접 챙겨야 하므로 이 부분을 TDG가 맡습니다.
- Microsoft 365를 쓰고 있는데 Nemotron을 함께 쓸 수 있나요?
- 쓸 수 있습니다. Microsoft Foundry 모델 카탈로그에 Nemotron이 올라와 있어 Azure에 바로 배포할 수 있고, Foundry에 배포한 모델은 Copilot Studio 에이전트에도 연결할 수 있습니다. 계정과 보안은 기존 Entra·Purview·Defender 정책으로 관리합니다.
- 어떤 크기의 모델을 골라야 하나요?
- 업무에 따라 다릅니다. 한 가지 일을 빠르게 처리할 때는 Nano, 여러 단계를 거치는 복잡한 업무는 Super, 정확도가 가장 중요한 핵심 업무는 Ultra가 맞습니다. 실제로는 PoC에서 정확도와 속도, GPU 비용을 비교해 정합니다.
Nemotron 도입을 검토 중이신가요?
TDG 전문 엔지니어가 현재 환경을 진단하고 가장 적합한 솔루션과 기술지원 서비스를 제안해 드립니다.