우리 회사 AI 구축하기

AI는 이미 '사용'을 지나 '전환'입니다

개인이 도구를 쓰는 편의(Convenience), 부서 단위 생산성의 효율(Efficiency)을 지나, 업무와 프로세스를 AI 위에서 다시 설계하는 전환(Transformation)에서 경쟁력이 갈립니다. 대부분의 기업은 아직 효율 단계에 머물러 있습니다. 기술이 퍼지는 속도가 기업이 준비하는 속도를 앞질렀습니다.

막힌 곳은 기술이 아닙니다

MIT NANDA 프로젝트 조사(2025)에 따르면 80%의 기업이 아직 AI 파일럿을 시도조차 하지 않았고, 이유는 명확한 사용 사례 부재, 데이터 인프라 미비, 조직 내 AI 리터러시 부족입니다. 파일럿 기업 중 6개월 내 실제 배포까지 간 비율은 25%입니다. 기술이 없어서가 아니라 무엇을 할지 정하지 못해서 멈춰 있습니다.

무엇을 할 수 있나: 업종별 지도

보는 AI는 사람이 눈으로 확인하던 것을 AI가 읽어 데이터로 바꿉니다. 찾는 AI는 검색이 아니라 답변이며, 어느 문서 몇 페이지에서 나왔는지까지 함께 나옵니다. 근거 문서를 제시하지 않는 답변은 업무에 쓸 수 없습니다. 예측하는 AI는 쌓여만 있던 데이터를 판단에 쓰는 정보로 바꿉니다. 일하는 AI는 답하는 데서 그치지 않고 사람 대신 절차를 수행합니다. 에이전트에게도 권한과 감사 기록이 필요합니다. 사람과 같은 통제가 전제입니다.

어디에 지을 것인가

전부 안에 둘지 밖에 둘지가 아니라, 무엇을 안에 둘지가 설계의 핵심입니다. 사내에 둘 모델로는 NVIDIA Nemotron처럼 내려받아 직접 운영할 수 있는 개방형 모델을 쓰고, 클라우드 쪽은 Microsoft Foundry에서 같은 모델을 배포할 수 있습니다. Microsoft 365를 이미 쓰는 회사라면 Microsoft 365 Copilot으로 문서·메일·회의 업무부터 시작하고, 부서 업무 에이전트는 Copilot Studio로 현업이 직접 만듭니다. AI가 근거로 쓸 흩어진 데이터는 Microsoft Fabric으로 먼저 한곳에 모읍니다. TDG 고객이 온프레미스를 선택하는 이유는 데이터 반출 원천 차단, 규제·감사 대응을 우리 손으로 증명, 사용량이 늘수록 유리한 장기 비용입니다.

진행 방법

AI로 무엇을 할지 아직 정하지 않으셔도 됩니다. 그걸 정하는 자리가 1차 상담입니다. 진단·PoC는 실제 운영 환경을 변경하지 않으며 결과는 귀사 내부 자료로만 사용됩니다.

작게 시작합니다: T1 · T2 · T3

• T1 Foundation (진입점): 인프라 + 사내 전용 LLM 환경. GPU·네트워크·보안 구축, LLM 셋업·벤치마크·환경 분리로 폐쇄망 AI 운영 기반 확보
• T2 Intelligence (확장): T1 + 진단·설계 + RAG·Agent 구현. 문서 질의응답, 업무 에이전트를 품질·보안 검증 후 파일럿 개방
• T3 Full Suite (완성): T2 + AI 운영 + 인프라 운영·확산. 모델 재학습, 서비스 고도화, SLA, 확산 거버넌스

과금은 플랫폼 라이선스, 구축(단계별 M/M), 운영 구독(월·연 단위) 세 요소로 구성됩니다. 첫 계약이 전부를 정하지 않습니다. 성과를 확인하고 다음 단계로 넘어갑니다.

그다음

PoC로 효과가 확인된 과제부터 T1·T2·T3 순서로 넓힙니다. 넓힐수록 AI가 읽는 데이터도 늘어나므로, 무엇을 안에 두고 AI에 무엇을 허용할지는 우리 회사 AI 데이터 보호에서 함께 정합니다.

출처: ZDNet Korea(2023. 2, 2026. 8), OpenAI 발표, MIT NANDA 프로젝트 조사 보도(2025).