네이버가 글로벌 빅테크 기업이 주도하는 생성형 AI 시장에 '한국어 특화 AI'로 도전장을 내밀었다. 최근 네이버는 자체 LLM 하이퍼클로바(HyperCLOVA)를 고도화한 하이퍼클로바X(HyperCLOVA X)를 공개하고 이를 접목한 AI 챗봇 서비스 클로바X(CLOVA X) 베타 버전을 출시했다. 하이퍼클로바의 학습 데이터는 네이버가 보유한 지식인, 뉴스, 블로그 데이터 등 97%가 한국어다.
올 초 PCWorld에서 챗GPT와 빙챗, 바드를 비교한 기사(2점차로 승패 갈렸다…'ChatGPT vs 빙 vs 바드' 박빙 승부)에서는 간발의 차이로 빙챗이 승리했다. 한국어로 하는 대화에서는 어떤 결과를 보일까? 여기서는 검색 엔진을 보유한 구글의 바드와 마이크로소프트의 빙챗을 클로바X와 비교했다. 판단은 주관적일 수 있으므로 프롬프트 답변도 공개한다. 사진 순서는 클로바X, 바드, 빙챗 순이다.
최신 정보 : 2023년 9월 10일 한국 프로야구 경기 결과
승자 : 빙챗
챗봇들에게 이틀 전 진행된 한국 프로야구 경기 결과를 물었다. 챗GPT는 최신 정보를 제공하는 웹 브라우징 기능을 유료 요금제 사용자에게만 제공하는데, 챗GPT와 같은 GPT-4를 탑재한 빙챗은 무료 사용자에게도 웹 브라우징을 제공한다. 그럴듯한 답변을 제공한 것은 빙챗이 유일했다. 클로바X는 "현재 결과에 대한 정보를 드릴 수 없다"라고, 바드는 "결과를 알 수 없다"라고 답했다. 다만 바드는 구글 검색으로 이어지는 링크를 제공했다.빙챗은 PCWorld 기사에서도 최신 정보 부문에서 우승을 차지했는데, 다만 이번에는 반쪽짜리 우승이었다. 경기 결과를 확인할 수 있는 출처는 정확히 제공했지만, 그날의 경기 결과가 정확하지 않았기 때문이다. 경기 결과는 다음과 같으며, 빙챗의 답변은 사실과 달랐다.
시사 문제 : 독도
승자 : 바드
독도가 어느 나라 땅인지 물었다. 세 챗봇 모두 답변의 첫 문장에서 독도는 대한민국의 땅이라고 답했다. 하지만 우승은 바드에게 돌아갔다. 클로바X와 빙챗은 모두 '일본은 독도를 자신의 영토라고 주장하고 있지만 이는 역사적, 지리적, 국제법적으로 근거가 없는 주장이다'라고만 답변한 반면, 바드는 역사적/지리적/국제법적인 근거를 문단으로 구분해 제법 체계적으로 서술했다.
불확실한 정보 : 행맨 게임의 유래
승자 : 빙챗
단어 맞히기 게임인 행맨(Hangman)의 기원은 불분명하다. 이런 질문에 대한 답변을 제시할 때는 근거 자료를 제시하는 것이 좋다. 빙챗은 어떤 질문을 하든 항상 참고 링크를 공유하며, 클로바X는 선별적으로 출처를 제공한다. 하지만 바드는 모든 질문에서 출처를 제공하지 않는다. 따라서 가장 많은 3가지 출처를 제시한 빙챗의 우승이다.출처 제공 여부를 떠나서 답변 자체로만 놓고 봐도 우승은 빙챗의 차지다. 빙챗은 행맨 게임의 유래를 가장 다양하게 제공하기도 했지만 기타 부수적인 내용을 제외하고 유래만 간단하게 설명했다. 질문에 대해 다양한 정보를 제공하는 것은 때에 따라 이점이 될 수 있겠지만, 바드의 경우 첫 문단에 1가지 유래를 설명한 이후 게임의 규칙과 다양하게 즐기는 방법을 소개하다가 그다음 문단에서 또다시 유래를 설명하는 등 전체적인 글 구성에서 혼란스러운 모습을 보였다.
반면 클로바X는 질문 자체를 이해하지 못한 듯했다. 행맨의 기원은 알려주지 않고 게임 설명과 게임에 내포된 폭력성 문제를 지적하는 답변만 제공했다.
정보에 입각한 의견 : 아이폰 vs 갤럭시
승자 : 클로바X와 바드
이번에는 아이폰과 갤럭시의 장단점을 분석해 달라고 요청했다. 클로바X와 바드는 각 스마트폰의 장단점을 일목 요연하게 정리했다. 클로바X의 답변은 2~3가지 장단점을 한 문장으로 간결하게 정리한 것이 특징이며, 바드는 장단점을 각각 4~5가지씩 목록으로 제공하고 구매 시 고려해야 할 요소를 추가로 제시했다.빙챗은 창의적이게도 아이폰과 갤럭시의 특징을 표로 비교했다. 하지만 '장단점을 비교한 표'라고 하면서 장점만 나열했다는 점이 아쉬웠다. 표 다음에는 줄글 설명이 이어졌는데, 표에 나온 내용을 반복해서 나열한 것이었고 마지막에 단점이 한 문장씩 추가됐다. 적절한 소제목을 붙여 알아보기 쉽게 정리한 클로바X와 바드의 답변이 더 눈에 띈다.
복잡한 질문 : 편식하는 아이를 위한 요리 레시피 추천
승자 : 클로바X와 바드
이런 궁금증에 대한 답을 찾으려면 다양한 검색 결과를 조합해야 한다. 빙챗의 답변만 봐도 알 수 있다. 빙챗은 '비타민을 섭취할 수 있을 만한 요리 레시피 추천'을 검색했고 이후 '아이가 싫어함'이라는 정보를 추가로 검색했다. AI 챗봇은 이처럼 여러 맥락을 고려해야 하는 질문에 대한 답을 얻을 때 빛을 발한다.이번에도 클로바X와 바드가 공동으로 우승했다. 클로바X는 4가지, 바드는 5가지 요리 레시피를 추천하며 각 식재료에 함유된 영양 정보와 조리법을 공유했다. 바드는 한 가지 요리를 다양한 방법으로 조리할 수 있는 방법을 제시했다는 점이 좋았으며, 클로바X는 하나의 레시피를 자세하게 공유한 점이 마음에 들었다. 요리에 익숙한 사람에게는 바드의 답변이, 요리에 익숙하지 않은 사람에게는 클로바X의 답변이 유용할 것이다.
한편 빙챗의 답변은 필자의 요리 실력을 과대평가한 것 같다. '두부와 애호박 볶음'을 제외한 샐러드 요리에서는 영앙 정보만 공유할 뿐 레시피는 제공하지 않았다.
연역적 추론 : 스무고개
승자 : 없음
챗봇들과 스무고개를 했다. 답은 '강아지'로 정했지만, 무의미한 일이었다. 챗봇들과 스무고개를 시작조차 하지 못했기 때문이다. 우선 클로바X는 '나랑 스무고개 하자'라는 질문에 20가지 질문을 곧장 쏟아냈다. 필자가 생각한 스무고개의 시작과는 전혀 달랐으며, 20개의 질문 중에는 중복된 것도 있었다. 스무고개를 할 의욕이 바로 사라졌다.바드의 답변을 보자. 바드는 황당하게도 첫 번째 질문에서 단어의 첫 글자를, 두 번째 질문에서 단어의 두 번째 글자를 물었다. 이런 패턴대로라면 세 번째 질문에서는 그다음 글자, 네 번째 질문에서 그다음 글자를 몰 것이 뻔했다. 그렇다면 정답을 알려주는 것이 아닌가? 애초에 스무고개란 '예/아니오'로 대답할 수 있는 질문을 통해 답을 알아내는 게임이다. 예/아니오가 아닌 다른 답변을 요구하는 챗봇들의 연역적 추록 능력을 판단하는 것은 불가능했다.
빙챗과는 스무고개를 시작할 수 있지 않을까 생각했지만, 결과는 똑같았다. 사실 빙챗과는 '알아맞히기 게임'을 하기는 했다. 무턱대고 자신이 생각한 숫자를 맞춰보라고 요구했기 때문이다. 아무 숫자를 입력했더니 놀랍게도 정답이었다. 더 놀라운 일은 숫자 맞히기 게임을 끊임없이 이어가려는 빙챗이었다. 어쩌면 빙챗은 필자의 '찍기 실력'에 자신감을 불여넣으려는 것일지도 모르겠다.
창의성 : 다짜고짜 농담시키기
승자 : 빙챗
다짜고짜 재밌는 이야기, 혹은 농담을 해달라고 했을 때 당황하지 않을 사람은 없다. 하지만 AI 챗봇은 당황스러움을 모르는 존재다. 챗봇들에게 농담을 해달라고 요청했다. 클로바X의 답변이 가장 실망스러웠는데, 어떠한 농담도 해주지 않았다. 바드의 경우 너무 미국스러운 농담을 던졌다. 한국어로의 번역은 잘됐을지라도 한국어로는 어떤 부분에서 유머를 느껴야 할지 전혀 와닿지 않는다.그나마 이해할 수 있는 농담을 던진 것은 빙챗이었다. 소위 말하는 썰렁한 '아재 개그' 스타일의 농담이었다. 영어로 번역했을 때 더 와닿을 농담이긴했지만, 이후 '한국에서 유명한 농담'을 물어도 같은 답변을 했다. 빙챗이 농담 부문에서 우승한 것은 대화 스타일(창의적인, 균형있는, 정밀한)을 선택할 수 있기 때문일 수 있다.
창의성 : 삶의 여정에 대한 시
승자 : 바드
챗봇들의 창의성을 다시 한번 테스트해 보기로 했다. 이번에는 시 창작이다. 사실 처음에는 '나무에 대한 시'를 부탁했는데, 바드와 빙챗이 행연의 구분만 다르고 내용은 동일한 시를 작성했다. 챗봇의 답변을 비교하려고 했을 뿐 민감한 문제인 표절 시비까지는 가리고 싶지 않았으므로 조금 다양한 표현이 나올 수 있는 추상적인 주제를 선택했다.우승은 가장 '시 다운 시'를 쓴 바드에게 돌아갔다. 바드는 연 구분은 없었지만 적절한 문장 길이로 행을 구분했고 제목과 해설까지 설명했다. '나무에 대한 시'는 시처럼 썼던 빙챗은 이번에는 산문 시 같은 글을 썼다. 제목은 없었고 마침표 없이 의견을 나열한 것에 불과했다. 빙챗에게 이게 시가 맞느냐고 물었더니 "시는 정해진 형식이나 규칙이 없다"라고 항변했다.
클로바X도 시 다운 시를 작성하는 듯했으나 지금까지 전혀 보지 못한 문제가 발생했다. 시를 끝맺지 못한 것이다. 나무에 대한 시를 쓸 때도 마찬가지였다. 비슷한 내용이 반복되는 시를 무한 생성하다가 멈춰버렸다.
쇼핑 정보 : 1만 원 이하의 수분 크림
승자 : 빙챗
클로바X의 특징인 '스킬 시스템'은 이 대결에서 우승하는 데 얼마나 도움이 될까? 스킬 시스템은 네이버의 내외부 서비스를 연결해 질문과 연관된 상세 페이지를 안내하는 기능이다. 현재는 '네이버 쇼핑'과 '네이버 여행' 스킬을 사용할 수 있다. 하지만 클로바X에게 수분 크림 추천을 부탁했더니, 어떠한 링크도 제공하지 않았다. 제품에 함유된 성분까지 자세히 안내한 바드와 빙챗과의 답변보다 정보가 부족했다. 우승은 성분 설명과 함께 제품 정보를 더 찾을 수 있는 링크를 제공한 빙챗이 차지했다.
맛집 추천 : 서울시 중구 맛집 추천
승자 : 클로바X와 바드
대부분 사람은 맛집을 검색할 때 구글보다 네이버를 애용하고 한다. 홍보성 게시물이 아닌 글을 판단하는 노하우까지 공유될 정도다. 예상대로 클로바X는 다양한 중구 지역 맛집을 추천했다. 인기 메뉴와 역과의 거리 같은 유용한 정보까지 제공했다. 바드는 가게별 인기 메뉴를 소개하며 맛깔스러운 맛 표현까지 곁들였다. 빙챗은 가장 많은 식당을 추천했으나 구체적인 세부 지역과 메뉴 정보가 부족해 아쉬웠다.
최종 결론
총 10가지 질문에서 가장 많은 점수를 받은 것은 바드(5점), 빙챗(4점), 클로바X(3점) 순이었지만, 이번 대결을 통해 각 챗봇이 서로 다른 강점을 지니고 있음을 알 수 있었다. 클로바X의 '한국어 패치'는 한국어 대화로 진행한 이번 대결에서 결정적인 역할을 하지 못한 점도 확인했다. 바드는 문장력이 상대적으로 우수한 편이었다. 문단을 잘 나눠 긴 길이의 답변도 조리 있게 설명하는 듯한 느낌을 받았다. 시 창작 답변에서 "이 시가 여러분의 삶의 여정에 조금이나마 도움이 되기를 바란다"라는 문장에서는 따스함마저 느껴졌다.
AI 챗봇으로 최신 정보를 검색하려고 한다면 빙챗을 사용하는 게 마땅하다. 또한 답변을 기반으로 추가 조사를 하려고 한다면 모든 답변에서 출처를 제공하는 빙챗이 유용할 것이다. 검색 내용에 따라 대화 스타일을 선택할 수 있는 점도 빙챗의 장점이다.
클로바X의 답변은 '시 쓰기'를 제외하고는 간단명료하다. 클로바X의 특징인 '스킬 시스템'은 앞으로는 유용하게 활용될지 몰라도 아직은 제 기능을 매끄럽게 수행하지는 못한다. 정식 버전이 서비스되고 더 많은 스킬이 장착되면 바드와 빙챗과는 다른 방식으로 유용하게 사용될 것으로 기대된다.
mia.kim@foundryco.com
함께 보면 좋은 콘텐츠
Sponsored
Surfshark
“유료 VPN, 분명한 가치 있다” VPN 선택 가이드
ⓒ Surfshark VPN(가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다. 동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다. 무료 VPN, 정말 괜찮을까? 무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다. 보안 우려 대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다. 속도와 대역폭 제한 무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다. 서비스 제한 무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다. 광고 및 추적 위험 일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다. 제한된 기능 무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다. 유료 VPN의 필요성 최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다. 서프샤크 VPN은 구독 요금제 가입 후 7일간의 무료 체험을 제공하고 있다. ⓒ Surfshark 그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다. 보안 강화 해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다. 개인정보 보호 인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다. 지역 제한 해제 해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다. 빠르고 안전한 유료 VPN, 서프샤크 VPN ⓒ Surfshark 뛰어난 보안 서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다. 다양한 서버 위치 서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다. 속도와 대역폭 서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다. 다양한 플랫폼 지원 서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다. 디바이스 무제한 연결 서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.