AI 전환은 기술 문제가 아니라 거버넌스 문제다 — 그 증거

당신의 AI 파일럿은 훌륭하게 돌아갔다. 데모는 이사회를 사로잡았다. 벤더는 90일 안에 ROI를 약속했다.

그로부터 6개월 뒤는 어떤가. 그 프로젝트는 아무도 찾지 않는 기획 문서 속에 묻혀 있다.

이 이야기가 낯설지 않다면, 당신만 그런 것이 아니다. 그리고 팀이 모델이나 데이터 벤더, 통합 일정 탓을 하고 있다면 진단 대상을 잘못 짚고 있는 것이다.

기술은 거의 확실히 작동한다. 문제는 그 기술을 둘러싼 거버넌스가 거의 확실히 작동하지 않는다는 점이다.

숫자가 말해주는 현실

해법으로 가기 전에, 문제가 얼마나 심각한지부터 확인하자.

• **AI 프로젝트의 80~85%**는 의미 있는 프로덕션 배포까지 가지 못한다. RAND Corporation과 BCG 모두 이 수치에 수렴한다. BCG에 따르면 **기업의 74%**는 AI 투자에서 눈에 보이는 가치를 입증하지 못했다.
• **맞춤형 GenAI 파일럿의 95%**는 빠른 매출 가속이나 측정 가능한 ROI를 달성하지 못한다(MIT).
• AI 프로젝트의 중단률은 2024년 17%에서 2025년 42%로 급증했다(S&P Global Market Intelligence).
• AI 프로젝트의 48%만 프로토타입 단계를 넘기며, 그마저도 평균 8개월이 걸린다(Gartner).
• Gartner는 비용 증가, 데이터 품질 문제, 불분명한 비즈니스 가치 때문에 **GenAI 프로젝트의 최소 30%**가 PoC 이후 단계에서 중단될 것이라고도 전망했다.

이런 실패는 GPT-4o가 카피를 못 써서 생기는 것이 아니다. 미세조정한 모델이 리드 스코어링을 못 해서도 아니다. 모델은 작동한다. 문제는 그 결과물을 조직이 흡수할 수 있는 시스템이 없다는 데 있다.

진짜 문제: 잘못된 30%에 투자하고 있다

AI 전환 실패를 진단할 때 가장 많이 인용되는 프레임워크 중 하나는 Boston Consulting Group의 10-20-70 법칙이다.

• **10%**의 노력 → AI 알고리즘 구축 또는 선택
• **20%**의 노력 → 기술 및 데이터 인프라
• **70%**의 노력 → 거버넌스, 사람, 프로세스 변화

불편한 진실은 대부분의 기업이 이 비율을 완전히 뒤집어 놓는다는 것이다. 예산의 90%를 모델과 플랫폼에 쓰고, 실제 성패를 가르는 사람과 시스템에는 합쳐서 10%만 쓴다.

이건 의견이 아니다. BCG 연구에 따르면 AI 성숙도가 높은 기업에서는 **관리자의 88%**가 일상적 의사결정에서 직접 AI 사용을 롤모델로 보여준다. 반면 뒤처진 기업은 **25%**에 그친다. 두 집단이 쓰는 기술은 종종 비슷하다. 다른 것은 거버넌스다.

AI 거버넌스의 실제 의미 — 단순한 컴플라이언스 문서가 아니다

“AI 거버넌스”라는 말은 너무 느슨하게 쓰여서 의미가 흐려졌다. 더 정확히 정의하면 다음과 같다.

AI 거버넌스는 조직 전반에서 AI 시스템이 어떻게 승인되고, 개발되고, 배포되고, 모니터링되고, 폐기되는지를 관리하는 정책, 기술적 통제, 프로세스, 책임 메커니즘의 구조화된 프레임워크다.

전통적인 소프트웨어 거버넌스는 미리 정의된 작업을 수행하는 결정론적이고 예측 가능한 코드를 다룬다. 반면 AI 모델은 동적이다.

• 변하는 데이터에서 학습하며 시간이 지나며 출력이 달라질 수 있다(모델 드리프트)
• 확률적 의사결정을 하므로 결정론적 감사 추적이 없다
• 입력, 가드레일, 학습 데이터에 문제가 있으면 해로운 출력을 만들 수 있다

AI 거버넌스는 “우리에겐 AI 도구가 있다”와 “AI가 실제 비즈니스 성과를 만든다” 사이를 연결하는 조직의 결합 조직이다. 핵심 축은 다섯 가지다.

이 다섯 축이 모두 작동하지 않으면 AI 거버넌스가 아니다. 그저 절차만 늘어난 AI 혼란일 뿐이다.

AI 프로젝트를 죽이는 5가지 거버넌스 실패 패턴

대부분의 AI 전환 실패는 아래 구조적 붕괴 가운데 하나 이상으로 귀결된다.

실패 패턴 1: 파일럿에서 프로덕션으로 못 넘어가는 간극

AI 프로젝트는 대개 고립된 실험으로 시작한다. 리스크가 낮은 샌드박스에서는 성과가 좋아 보인다. 하지만 확장하려면 실제 데이터 파이프라인, 실제 컴플라이언스 제약, 실제 조직 간 워크플로와 연결되어야 한다. 이런 요소는 보통 파일럿 환경에 없다.

첫날부터 프로덕션을 염두에 둔 거버넌스 구조가 없으면 파일럿은 인수인계 단계에서 멈춘다. 그래서 GenAI 파일럿의 95%가 측정 가능한 ROI를 만들지 못한다.

실패 패턴 2: 섀도우 AI의 폭증

공식 AI 채널이 느리거나 복잡하거나 아예 없으면 직원들은 스스로 해결한다. 기밀 캠페인 브리프를 무료 ChatGPT 계정에 붙여 넣는다. IT가 검토하지 않은 AI 브라우저 확장을 설치한다. 검증되지 않은 도구에 고객 세그먼트를 돌린다.

이것이 섀도우 AI다. 그리고 결코 일부의 행동이 아니다. 아래에서 더 보자.

실패 패턴 3: 문제가 생겨도 책임지는 사람이 없다

AI의 주인은 누구인가. 대부분의 조직에서 답은 아무도 아니다. 제품팀은 IT 책임이라고 생각하고, IT는 데이터팀 책임이라고 생각하고, 데이터팀은 사업부 책임이라고 생각한다. AI 시스템이 해로운 출력, 법적 노출, 고객 불만을 만들면 조직은 마비된다.

Air Canada는 이 교훈을 비싸게 배웠다. 해당 챗봇이 존재하지 않는 장례 환불 정책을 지어냈고, 고객이 소송을 제기하자 Air Canada는 챗봇이 스스로의 행동에 책임지는 “별도의 법적 실체”라고 주장했다. 브리티시컬럼비아 재판부는 이를 전면 기각했고, AI 에이전트의 출력에 대해 Air Canada가 전적인 책임을 진다고 판단했다.

실패 패턴 4: 데이터 품질 붕괴

AI의 품질은 들어가는 데이터의 품질을 넘을 수 없다. 대부분의 기업은 데이터는 많다. 하지만 AI에 바로 쓸 수 있는 데이터는 거의 없다. 같은 KPI를 부서마다 다르게 정의한다. 고객 기록은 세 개의 CRM에 흩어져 있다. 과거 캠페인 성과는 아무도 관리하지 않는 스프레드시트에 남아 있다.

그 결과, 일관성 없고 사일로화된 데이터로 학습한 모델은 아무도 믿지 않는 출력을 만든다. 그리고 아무도 믿지 않는 출력은 아무도 실행하지 않는다.

실패 패턴 5: 컴플라이언스 사각지대

규제 환경은 빠르게 바뀌었다. EU AI Act(Regulation 2024/1689)는 이미 시행 중이며, 위반 시 **3,500만 유로 또는 전 세계 연간 매출의 7%**까지 벌금이 부과될 수 있다. NIST AI Risk Management Framework는 2024년 7월 AI 600-1 GenAI Profile로 강화되며 미국의 사실상 표준 위험관리 프레임워크가 됐다. ISO/IEC 42001은 최초의 인증 가능한 국제 AI 관리 시스템 표준이다.

그런데도 대부분의 엔터프라이즈 AI 이니셔티브는 공식적인 컴플라이언스 매핑이 전혀 없다. 수십억 달러 규모 의사결정을 계기판 없이 운용하는 셈이다.

사례 요약: 거버넌스 실패의 실제 비용

이 실패들은 어느 것도 모델 자체의 결함 때문이 아니었다. 모두 거버넌스 결함 때문이었다.

섀도우 AI: 대시보드에 보이지 않는 조용한 킬러

지금 엔터프라이즈 AI에서 가장 불편한 사실 중 하나는 이것이다.

직원 10명 중 8명 이상이 IT 부서가 승인하지 않은 AI 도구를 사용한다. (UpGuard, State of Shadow AI, 2025)

이건 인턴만의 행동이 아니다. Gartner는 **전체 직원의 68%**가 AI 도구에서 IT 승인을 우회한다고 밝혔다. 2023년 41%에서 크게 늘었다. Microsoft와 LinkedIn의 2025 Work Trend Index에 따르면 **AI 사용자 중 78%**가 개인 AI 도구를 업무에 가져온다. 더 놀라운 점은 고위 리더가 주니어 직원보다 50% 더 높은 확률로 섀도우 AI를 일상 업무에 사용한다는 것이다. **미국 근로자의 45%**는 관리자에게 AI 도구 사용 사실을 적극적으로 숨긴다.

특히 마케팅과 그로스 팀에서는 섀도우 AI가 만연하다. 카피라이터는 캠페인 브리프를 무료 Claude 계정에 붙여 넣고, 애널리스트는 고객 세그먼트를 승인되지 않은 도구에 돌리며, 소셜 미디어 매니저는 브랜드 보이스와 전략을 제3자 서버로 보내는 AI 글쓰기 확장을 사용한다.

위험은 매우 구체적이다.

• 데이터 유출: 독점 전략, 고객 PII, 미출시 제품 정보가 공개 모델에 입력되고 향후 학습에 사용될 수 있다
• GDPR 위반: 검토되지 않은 도구는 규정상 필요한 데이터 처리 계약이 없는 경우가 많아, 사용할 때마다 위반 위험이 생긴다
• 브랜드 불일치: 팀원마다 다른 기본값의 AI 도구를 쓰면 채널 전체에서 브랜드 보이스가 흔들린다
• 환각으로 인한 의사결정 오류: 누구도 검증하지 않은 허구 데이터에 기반해 실제 비즈니스 의사결정이 이뤄진다

거버넌스 차원의 해법은 AI를 금지하는 것이 아니다. 그런 정책은 일관되게 실패한다. 해법은 직원들이 생산성을 위해 무단 사용으로 갈 필요가 없도록 승인된, 빠른, 통제된 대안을 제공하는 것이다.

3대 AI 거버넌스 프레임워크

그로스 팀에서 실제로 작동하는 AI 거버넌스 체계는 이렇게 생겼다. 이론이 아니라 운영 기준이다.

축 1: 책임성

각 AI 시스템의 책임자는 누구이며, 승인 없이 어디까지 할 수 있는가?

• 크로스펑셔널 AI 거버넌스 위원회: 어떤 AI 배포도 라이브되기 전에 마케팅, 법무, IT/보안, 컴플라이언스가 함께 승인한다
• 의사결정 권한 매트릭스 — 세 단계로 정의한다
  • 자율 (저위험): AI가 카피 초안 작성, 일일 광고 예산의 20% 미만 재배분, 내부 보고서 생성을 사람 승인 없이 수행 가능
  • 휴먼 인 더 루프 (중위험): 게시 가능한 콘텐츠, 이메일 캠페인, 중간 수준 예산 변경은 실행 전 반드시 사람 검토 필요
  • 임원 승인 (고위험): 동적 가격 변경, 규제 대상 제품 주장, 타깃 오디언스 변경, 모든 고객 대면 AI 에이전트는 VP급 승인 필요
• 지정된 모델 오너: 모든 운영 중인 AI 워크플로에 대해 입력, 출력, QA 루프를 책임지는 사람이 있어야 하며, 문제가 생기면 바로 연락할 수 있어야 한다

축 2: 데이터 품질

깨끗한 데이터가 들어가야 신뢰할 수 있는 결과가 나온다.

• AI 시스템 인벤토리: 사용 중인 모든 도구를 문서화한다. 직원 설문으로 드러난 섀도우 AI까지 포함해 위험 등급을 매기고, 승인하거나 대체하거나 종료한다
• 거버넌스가 적용된 데이터 볼트: 승인된 브랜드 자산, 일관된 지표 정의, 규정을 준수하는 고객 기록을 중앙 저장소로 관리하고 AI 시스템은 여기서만 데이터를 가져온다
• 벤더 DPA 커버리지: 고객 데이터 1바이트라도 흐르기 전에 모든 AI 벤더와 데이터 처리 계약을 체결한다. DPA 없이는 배포도 없다

축 3: 모델 모니터링

보지 않는 것은 신뢰할 수 없다.

• 감사 추적: 어떤 입력이 쓰였는지, 어떤 승인이 내려졌는지, 어떤 출력이 라이브되었는지, 그 이유까지 모두 기록한다
• 드리프트 탐지: 정기 성능 테스트로 시간이 지나며 출력 품질이 떨어지는 순간을 포착한다. 개입하지 않으면 반드시 생긴다
• 배포 전 레드팀 테스트: 고객보다 먼저 적대적 프롬프팅으로 실패 패턴을 찾는다
• 업데이트 후 회귀 점검: 시스템 업데이트가 있을 때마다 프로덕션 재투입 전 필수 검증을 수행한다

시작 방법: 4단계 거버넌스 로드맵

세 가지 축을 한 번에 모두 만들려고 하지 말자. 순서를 정해야 한다.

1단계 — 인벤토리 작성 (1~2주차) 솔직한 감사를 실시하라. 팀에 물어보라. 어떤 AI 도구를, 어떤 업무에, 어떤 데이터와 함께 쓰고 있는가? 답은 아마 충격적일 것이다. 승인 여부와 관계없이 전부 문서화하되, 자진 신고를 처벌하지 마라.

2단계 — 위험 분류 (3~4주차) EU AI Act의 논리를 인벤토리에 적용하라. 어떤 도구가 고객 데이터를 처리하거나 외부 영향이 있는 결정을 내리는가(고위험)? 어떤 도구는 고객 대면 출력 없이 내부 초안 작성만 하는가(저위험)? 모든 고위험 도구에는 즉시 책임자를 지정하라.

3단계 — 통제 구축 (2개월 차) 가장 위험한 활용 사례부터 시작하라. 입력/출력 검증을 넣고, 휴먼 인 더 루프 요구사항을 설정하고, 핵심 벤더와 DPA를 체결하고, 무엇이 허용되고 무엇이 아닌지 명확한 AI 허용 사용 정책을 공개하라.

4단계 — 모니터링 및 개선 (지속) 분기별 거버넌스 리뷰 주기를 설정하라. 모델 성능 지표를 추적하라. 주요 배포 전에는 레드팀 테스트를 실행하라. 도구 스택은 계속 바뀌므로 위험 분류도 계속 업데이트해야 한다.

피해야 할 흔한 거버넌스 실수

• 거버넌스를 일회성 컴플라이언스 과제로 취급하는 것 — 체크박스가 아니라 지속적 운영 기능이다
• 집행 없는 정책 작성 — 아무도 모르고 아무도 따르지 않는 AI 사용 정책은 보여주기일 뿐이다
• AI 인벤토리 생략 — 보이지 않는 것은 통제할 수 없다. 모르는 도구가 가장 위험하다
• 거버넌스 대신 금지 택하기 — 공식 채널이 느리거나 과도하게 제한적일수록 섀도우 AI는 더 퍼진다. 빠르고 안전한 대안을 줘야 한다
• 벤더 계약 무시 — 대부분의 AI SaaS 계약은 생성형 AI가 등장하기 전에 작성됐다. 스택의 모든 벤더 DPA를 검토하고 업데이트해야 한다

결론

AI 전환이 시스템 차원에서 실패하는 이유는 조직이 이를 기술 문제로 취급하기 때문이다. 그렇지 않다. 모델은 이미 충분히 유능하다. 부족한 것은 거버넌스다.

2025년에 AI로 성과를 내는 팀은 경쟁사보다 더 좋은 도구를 산 팀이 아니다. 도구를 둘러싼 시스템을 더 잘 만든 팀이다. 명확한 소유권, 깨끗한 데이터, 모니터링되는 모델, 그리고 직원의 AI 사용을 막기만 하는 대신 올바른 방향으로 유도하는 정책이 있다.

AI로 그로스 캠페인, 크리에이터 발굴, 콘텐츠 운영을 하고 있는데 결과가 들쭉날쭉하다면, 프롬프트보다 먼저 거버넌스를 감사해야 한다.

거버넌스가 있는 AI 워크플로만 확장된다. 나머지는 비싼 실험일 뿐이다.

처음부터 직접 구축하지 않고도 거버넌스 준비가 된 AI 마케팅 인프라를 원하나? Concat Pro는 크리에이터 발굴, 콘텐츠 전략, 광고 생성, 아웃리치를 브랜드 메모리가 내장된 단일 거버넌스 에이전트 시스템으로 운영한다.

출처

1. RAND Corporation — 엔터프라이즈 AI 프로젝트 실패율
2. Boston Consulting Group — AI 전환 10-20-70 법칙, AI 성숙도 연구
3. MIT — GenAI 파일럿 실패율(95%가 측정 가능한 ROI 미달)
4. S&P Global Market Intelligence — 2024~2025년 AI 이니셔티브 중단률
5. Gartner — AI 프로토타입-프로덕션 전환율 및 기간 벤치마크
6. UpGuard — State of Shadow AI Report, 2025
7. Microsoft & LinkedIn — Work Trend Index 2025(BYOAI 통계)
8. EU AI Act — Regulation (EU) 2024/1689, 2024년 8월 시행
9. NIST AI Risk Management Framework — AI 600-1 GenAI Profile, 2024년 7월