"우린 벌써 뛰고 있어" 생성형 AI를 워크플로우와 결합한 기업 3곳의 경험

대규모 언어 모델(LLM)을 기반으로 하는 챗GPT, 클로드(Claude), 바드(Bard)를 비롯한 공용 생성형 AI 챗봇도 충분히 좋지만, 이와 같은 범용 챗봇은 엔터프라이즈 워크플로우에 매끄럽게 통합되지는 않는다. 기업 직원이 별도의 앱을 사용하거나, 회사가 시간과 노력을 들여 애플리케이션 프로그래밍 인터페이스를 통해 자체 애플리케이션에 AI 기능을 추가해야 한다. 또한 챗GPT 및 기타 생성형 AI 챗봇을 사용하기 위해서는 직원이 프롬프트 엔지니어링에 대해서도 배워야 한다.
 
반면, 임베디드 생성형 AI는 직원이 이 기술을 가장 필요로 하는 곳, 즉 기존 워드 프로세싱 애플리케이션과 스프레드시트, 이메일 클라이언트를 비롯한 기타 엔터프라이즈 생산성 소프트웨어에 새로운 AI 기능을 구현해주며, 이를 위해 회사가 따로 해야 할 일도 없다. 제대로 구현되면 직관적으로, 단절 없이 새로운 AI 기능을 사용할 수 있게 되므로 어려운 생성형 AI 사용법 학습 과정 없이 모든 혜택을 누리게 된다.
 

포레스터는 최근 북미와 영국의 기술 의사 결정자를 대상으로 한 설문조사 결과를 근거로 2025년까지 거의 모든 기업이 쓰기 및 편집을 포함한 커뮤니케이션 지원 용도로 생성형 AI를 사용하게 될 것으로 예측했다. 실제로 설문 응답자의 70%는 쓰기 또는 편집 작업의 대부분 또는 전체에서 이미 생성형 AI를 사용하고 있다고 답했다.
 
그러나 포레스터에 따르면 챗GPT 같은 독립적인 생성형 AI 툴은 교차 직무 협업을 지원하지 못하며 직원이 업무를 수행하는 부분에서 작동하지도 않는다. 포레스터는 설문조사 보고서에서 “많은 사용 사례에서 생성형 AI는 독립형 앱보다는 임베디드 기능일 때 더 큰 혜택을 제공한다는 의미”라고 설명했다.

IBM 컨설팅의 글로벌 AI 및 분석 부문 리더 매니시 고얄 역시 “아무리 좋은 AI를 가져오더라도 정작 사람들이 워크플로우에서 AI를 사용할 수 없다면 채택되지 않는다"라고 말했다.
 
임베디드 생성형 AI와 관련하여 현재 가장 큰 화제는 마이크로소프트 365 생산성 제품군 전반에 통합 구축되고 있는 생성형 AI 비서인 마이크로소프트 365 코파일럿이다. 일부 생성형 AI 기능은 팀즈 및 기타 마이크로소프트 365 앱에 구현됐지만 코파일럿 자체는 아직 정식 출시되지 않았고 테스트를 위한 초기 액세스가 허용된 기업은 600개에 불과하다.
 
마이크로소프트 365 코파일럿의 정식 출시를 손꼽아 기다리고 있는 솔루션 통합업체 인사이트(Insight)의 최고 엔터프라이즈 설계자 겸 CTO 데이비드 맥커디는 “데모를 본 사람이라면 생성형 AI의 통합이 백오피스가 돌아가는 방식을 완전히 바꿔 놓게 될 것임을 알고 있다"라고 말했다.
 
한편 일부 기업은 오픈AI에 대한 API를 통하거나 라마 2(Llama 2) 같은 LLM을 로컬로 실행해서 자체 앱에 생성형 AI를 직접 추가하고 있다. 예를 들어 인사이트는 API를 통해 마이크로소프트 엑셀에 생성형 AI를 내장했다. 맥커디는 “다만 향후 오피스 365에 통합될 것이기 때문에 이 부분에 대한 개발을 너무 많이 하지는 않고 있다"라고 말했다.
 
자체 AI 임베드를 만드는 데 필요한 시간이나 인력을 갖추지 못한 기업도 지금 생산성 툴 내에서 생성형 AI 사용을 시작할 수 있다. 많은 업체가 이미 앱에 다양한 생성형 AI 기능을 추가했기 때문이다. 예를 들어 줌, 마이크로소프트 팀즈를 비롯한 여러 온라인 회의 플랫폼은 내장형 또는 애드온 방식으로 AI 기반 요약 기능을 제공한다.
 
맥커디는 “이 기능이 회의 요약 방식을 완전히 바꾸어 놓았다. 요약 기능이 매우 유용한다는 점은 확실히 말할 수 있다. 큰 이득이 없는 기능도 많지만 요약과 목록 작성만큼은 최고”라고 말했다. 
 
일부 기업에서 워크플로우에 생성형 AI를 어떻게 사용하고 있는지, 어느 부분에서 효과적인지, 그리고 생성형 AI를 안전하게 도입하기 위한 전략은 무엇인지 알아보자.
 

스트림 파이낸셜 : 이메일, 텍스트 문서, 코드의 생성형 AI

미국 솔트레이크시티에 소재한 핀테크 기업 스트림 파이낸셜 테크놀로지(Stream Financial Technology)의 엔지니어링 책임자인 조완자 조셉은 “우리가 사용하는 스파크(Spark)라는 이메일 클라이언트에는 이메일 요약과 작성을 위한 생성형 AI가 내장돼 있다"라고 말했다.
 
 

조셉은 “나도, 경영진도 대부분 긍정적이다. 유일하게 부정적으로 보는 부분은 AI가 이해 부족을 가리는 허울이 될 수 있다는 점이다. 즉, 글을 읽다가 말이 안 되는 부분이 있어서 지적하면 AI가 써서 그렇다고 둘러댈 수 있다는 점”이라고 말했다.
 
스트림 파이낸셜이 사용하는 또 다른 생성형 AI 툴은 마이크로소프트 워드, 구글 문서도구를 비롯한 많은 애플리케이션 내에서 작동하는 그래멀리(Grammarly)다. 그래멀리는 처음에는 단순한 문법 검사기였지만 최근 AI 기반의 텍스트 생성, 문구 수정 및 요약 기능까지 더했다.
 
조셉은 “그래멀리 기업 구독을 이용하고 있다. 구글 문서 도구 내에서 작동하며, 단락을 쓰거나 요약하도록 지시할 수 있다. 내용을 채워 넣고 요약하는 용도로는 좋지만 기술적인 분야에 대한 심층적인 내용은 다루지 못한다"라고 말했다.
 
조셉이 지적한 그래멀리 AI의 문제점은 각각의 상호작용이 별개라는 점이다. 챗GPT, 클로드와 같이 대화를 계속 주고받으면서 결과물을 세밀하게 다듬을 수가 없다. 조셉은 “그래멀리 AI에 무엇을 해야 할지 지시할 좋은 방법이 없다"라고 말했다.
 
조셉은 회사 측이 기밀 데이터 또는 고객 정보에 대해서는 공용 AI를 사용하지 않도록 주의한다고 강조했다.
 
조셉은 “장기적 관점에서 생성형 AI를 사용해 마케팅 문구와 같은 콘텐츠를 생성하는 데 대해 낙관적이다. A/B 테스트를 위한 다른 문구를 작성하거나 동일한 문구를 다양한 형태로 반복 생성할 수 있다"라고 말했다.
 
조셉은 생성형 AI가 가장 크게 영향을 미치는 부분은 코드 생성이라면서 “깃허브 코파일럿에 1인당 월 19달러를 내고 있는데, 그 5배라 해도 기꺼이 낼 것이다. 막대한 시간을 절약할 수 있게 해주며 지식도 상당한 수준”이라고 말했다.
 
조셉은 “코드 생성은 생성형 AI의 가치가 입증된 부분이다. 그 외의 모든 부분은 아직 단언할 수 없고, 갈 길이 멀다"라고 말했다.
 

NFP : 마케팅 문구, 회의 요약에 생성형 AI 사용

보험 중개업체 NFP는 2년 전부터 텍스트 작성에 AI를 사용해왔다. 이 회사의 영업 지원 부문 SVP인 카일 힐리에 따르면 NFP는 챗GPT가 대중에 공개되기 훨씬 전부터 재스퍼(Jasper) AI를 사용해서 마케팅 문구를 작성했다.
 
처음 오픈AI의 GPT 3.5 대규모 언어 모델을 기반으로 2021년 2월 출시된 재스퍼는 화이자, 스포츠 일러스트레이티드(Sports Illustrated), 허브스팟(HubSpot), 센티넬원(SentinelOne)을 포함한 10만 곳 이상의 기업 고객을 두고 있다.
 
현재 재스퍼 AI는 가장 진보된 버전의 챗GPT와 같은 기반 모델인 GPT 4를 사용한다. 여기에 특정 사용 사례에 따라 맞춤화된 마케팅 또는 비즈니스 콘텐츠를 생성하도록 설계된 부가적인 모델과 세부적인 조정 등 비즈니스 친화적인 기능을 추가했다. 또한 회사 자체 브랜드 성격을 학습시키고, 회사 워크플로우 내에서 확장 기능 및 API를 통해 사용할 수 있다.
 

힐리는 “보안에 대해 일부 우려가 있었다. 그리고 재스퍼는 폐쇄형 시스템이다. 마케팅 부서에서 일부 카피라이팅 작업에 여전히 재스퍼를 사용하고 있다"라고 말했다.
 
최근 NFP는 재스퍼에서 영업 활동 지원 플랫폼인 세일즈로프트(Salesloft)에 내장된 생성형 AI 툴로 대부분 전환했다. 세일즈로프트는 지난 봄에 빠른 이메일 작성을 위한 생성형 AI 기능을 추가했다.
 
힐리는 “CRM 시스템의 안내 및 코칭에도 생성형 AI를 사용하기 시작했다. AI 툴이 모든 부분에 연결되기 시작하면서 이제는 더 많은 프로그램에서 GPT를 사용하고 있다. 마이크로소프트 생태계 전반에 완전히 내장된 형태”라고 말했다.
 
힐리 본인도 생성형 AI를 적극적으로 사용한다. 힐리는 “2023년 비즈니스 계획 전체를 AI를 사용해 작성했다”면서 “AI의 효과에 대해 내부적인 설득 작업을 진행하던 중에 고위직의 누군가가 AI가 아직 그 수준에 이르지 못했다고 말했다. 그래서 오기로 비즈니스 계획을 AI로 만들어서 제출했는데, 반응이 아주 좋았다. 로봇이 작성한 것으로 믿기지 않는다는 반응이었다"라고 말했다.
 
힐리는 “사모펀드 분야에서 일하는 영업팀의 고위급 직원도 리드를 작성하고 계약을 체결하는 데 AI를 사용하기 시작했다. 올해 초부터 경영진, 영업부서를 비롯해 많은 직원이 AI를 사용하고 있다. 이들은 ‘AI를 채택해야만 한다’고 말한다"라고 전했다.
 
NFP는 마이크로소프트 팀즈에서도 생성형 AI를 사용해서 회의 노트를 자동으로 생성한다.
 
힐리는 “모두가 이해해야 할 중요한 점은 AI가 우리 일을 대체하는 것이 아니라 증폭하고 보강한다는 것이다. 같은 수의 사람으로 더 많은 일을 할 수 있게 해준다"라고 말했다.