최근 국내 대형 IT 기업들이 잇따라 데스크톱 에이전트를 개발하고 있습니다.
이로 인해 각양각색의 데스크톱 에이전트가 쏟아져 나와 보는 사람을 어지럽게 만들 정도입니다.
일반 직장인에게는 과연 어떤 제품이 더 사용하기 좋을까요?
오늘은 각자의 분야에서 대표성을 지닌 에이전트 제품 3가지를 선정해 평가하고, 일상 업무에 가장 적합한 제품을 골라보겠습니다.
선수 소개
첫 번째 선수는 텐센트의 WorkBuddy입니다. ‘거위 공장’ 텐센트가 자체 개발한 제품으로, 직장인을 위한 AI 디지털 동료를 표방합니다. 내부에는 7만 개 이상의 바로 사용할 수 있는 업무 스킬과 여러 대형 모델이 탑재되어 있다고 합니다.
공식 발표에 따르면 WorkBuddy의 일일 활성 사용자는 이미 1300만 명을 넘었고, 월간 활성 사용자는 2000만 명에 달하며 성장세도 둔화될 조짐이 없습니다. 어쩌면 여러분의 동료들도 이미 사용하고 있을지 모릅니다.
제품 프레임워크에 더 잘 맞추기 위해 이번 테스트는 전 과정에서 텐센트 자체 모델인 훈위안 3을 사용했습니다. hy3를 사용하면 좋은 점이 하나 더 있는데, 뒤에서 공개하겠습니다.
두 번째 선수는 지난달 K3 대형 모델을 출시하며 한동안 최고의 주목을 받은 달의 어두운 면(月之暗面)의 Kimi입니다. 온라인에서는 K3 대형 모델이 현재 중국 내 최고 수준이며, 프런트엔드 설계 능력은 인간(AI)도 상대할 수 없다고 평가합니다.
AA 순위에서는 3위를 차지했으며, 역대 가장 많은 매개변수를 가진 오픈 소스 모델이기도 합니다.
이처럼 놀라운 데이터를 보여주는 Kimi가 일상 업무 환경에서는 어떤 성과를 보일까요? 지금부터 직접 살펴보겠습니다.
세 번째는 모두에게 익숙한 Doubao입니다. Doubao도 참가할 수 있다는 사실을 의외로 생각하는 분들이 있을 수 있습니다. 에이전트 능력 대결인데 왜 참가 선수가 채팅 제품일까요?
사실 Doubao 데스크톱 버전에 지난달 조용히 에이전트 기능이 출시됐기 때문입니다.
오늘은 ‘우주 공장’ 출신으로, 여든 살 할머니부터 유치원 아이까지 모두가 알고 있는 Doubao의 실력이 어떤지 살펴보겠습니다.
이번 평가는 세 가지 관점에서 진행합니다.
컴퓨터 조작 능력, 정보 수집 능력, 복잡한 업무 처리 능력을 각각 평가합니다.
컴퓨터를 조작할 수 있다는 것은 AI에게 손과 발이 생겨 실제로 일을 할 수 있다는 뜻입니다.
정보 수집 기능을 이용하면 우리가 필요한 정보를 직접 하나하나 힘들게 찾지 않고도 빠르게 얻을 수 있습니다. 에이전트가 바로 보고서로 작성해 주기까지 하니 훨씬 편리합니다.
사무실에서는 특정 회사나 산업을 조사하는 일처럼 비교적 복잡한 업무를 마주하는 경우도 늘 있습니다.
세 가지 상황에서 능력을 단계적으로 평가해 일상 업무의 일반적인 장면을 빠짐없이 다루고, 에이전트 제품의 업무 보조 능력을 충분히 검증하겠습니다.
먼저 표로 평가 결과를 간단히 살펴보겠습니다.
장면 1 컴퓨터 조작 능력
먼저 각 에이전트의 컴퓨터 조작 능력을 평가하겠습니다. 이는 에이전트 제품의 기본 능력으로, 컴퓨터를 조작할 수 있어야 실제로 업무를 도울 수 있습니다.
이번 테스트를 위해 일부러 폴더 하나를 만들고, 그 안에 정리되지 않은 파일들을 넣어 세 선수가 능력을 발휘할 수 있도록 했습니다.
세 선수에게 다음과 같은 프롬프트를 각각 보냈습니다.
“작업1_파일 종합 처리” 폴더를 정리하고 바로 전달할 수 있는 프로젝트 자료 패키지를 만들어 주세요.
완료 후 다음을 보고해 주세요: 완료 여부, 생성된 파일, 예산 계산 결과,
예산 위험 발견 여부, 마지막으로 수행한 점검 사항.얼마 지나지 않아 선수들이 차례로 결과를 보내왔습니다.
가장 먼저 완료한 것은 Doubao로 5분이 걸렸고, 두 번째는 Kimi로 6분 16초, 마지막은 거물 선수 WorkBuddy로 약 9분이 걸렸습니다.
완료 시간 순서대로 각 선수의 결과가 어떤지 하나씩 확인해 보겠습니다.
대화창과 폴더의 전반적인 상황을 훑어보니 모두 꽤 훌륭하게 해낸 것처럼 보였습니다.
세 선수 모두 1라운드에서 좋은 성적을 내며 무승부였다고 발표하려던 순간,
각 파일을 열어 꼼꼼히 확인하던 중 몇 가지 문제를 발견했습니다.
Doubao의 Word 보고서에는 글자가 깨지고 글자 크기가 통일되지 않은 문제가 버젓이 나타났습니다.
저는 서둘러 다른 두 선수의 출력 결과도 다시 꼼꼼히 확인했습니다.
WorkBuddy와 Kimi에서는 같은 문제가 나타나지 않았고, 처리가 매우 깔끔했습니다.
1라운드 결과를 보면 Doubao는 문제 해결 속도만큼은 단연 가장 빨랐고 컴퓨터 조작 능력도 괜찮았지만, 품질은 더 다듬을 필요가 있었습니다.
반면 WorkBuddy와 Kimi는 모두 테스트를 훌륭하게 통과했으며 컴퓨터 조작 능력에 아무런 문제가 없었습니다.
장면 2 정보 수집 및 정리 능력
다음으로 세 선수의 정보 수집 능력을 테스트해 보겠습니다.
사실 기존의 채팅 제품도 정보를 수집하고 정리할 수 있지만, 에이전트는 한 단계 더 나아갈 수 있습니다.
정리된 정보를 우리의 요구에 맞는 형태로 보여줄 수 있기 때문입니다.
마침 며칠 전 한국 SK하이닉스의 주가가 크게 하락했다는 소식을 접했으니, 세 선수에게 SK하이닉스의 최신 소식을 수집해 달라고 하겠습니다.
프롬프트는 다음과 같습니다.
SK하이닉스의 최신 뉴스를 검색하고 요약한 뒤, Word 문서를 만들어 요약 내용을 작성하고 출처를 첨부해 주세요.
Doubao는 역시 가장 빨리 완료했으며 3분밖에 걸리지 않았습니다.
직접 Word 문서를 만들지는 않았습니다. 대화창에는 Word, PDF, Markdown의 세 가지 형식으로 내보낼 수 있다고 표시됐고, 여기서 Word로 내보내기를 선택해야 했습니다.
세 가지 선택지를 제시한 것은 사실 감점 요소입니다. 저는 분명히 Word 문서를 만들어 내용을 입력하라고 했는데, 굳이 일을 복잡하게 만들었습니다. 이런 식의 지나친 확장은 AI 환각을 일으키기 쉽습니다.
내용을 살펴보면 겉보기에는 문제가 없습니다. 하이닉스 관련 정보를 많이 수집했지만 최신 정보라는 점은 드러나지 않습니다. Doubao의 정보 요약만으로는 어떤 내용이 새로운 것인지 알 수 없습니다.
엔비디아와 하이닉스의 협력은 사실 7.25에 나온 소식으로 상당히 최신 정보인데, Doubao는 그저 7월의 소식이라고만 적었습니다. 7월 초와 7월 말은 시의성에서 큰 차이가 있습니다.
재미있는 점은 이 정보를 실제로 수집했으면서도 날짜를 명확히 밝히지 않았다는 것입니다. 독자가 직접 확인해 이 일이 정확히 언제 발생했는지 다시 검증해야 합니다.
이번에는 WorkBuddy를 보겠습니다. WorkBuddy와 Kimi 모두 깔끔하게 Word 문서를 내보냈는데, 이 점은 훌륭합니다.
이 요약은 내용 면에서 매우 좋았습니다. 글꼴과 형식의 시각적 완성도, 문장의 가독성, 정보의 풍부함, 날짜 표기까지 모두 훌륭한 정보 요약이었습니다.
마지막은 Kimi의 정보 요약입니다. 읽어 보니 조금 이상했습니다. 정보 요약이라기보다는 짧은 논문에 가까웠고, 하이닉스와 엔비디아의 최근 주요 협력 소식도 포착하지 못했습니다.
논문이라면 Kimi가 우수한 평가를 받을 수도 있겠지만, 이번 과제는 정보 요약이었습니다. 이번 라운드에서 Kimi의 성과는 다소 좋지 않았습니다. 유일한 장점은 문장 전개에서 Kimi의 논리력이 확실히 드러났다는 점입니다.
무작위성의 가능성을 고려해 세 선수에게 두 번째 기회를 주었습니다.
최근 3일간의 AI 뉴스를 수집하도록 했습니다.
최근 3일 이내의 모든 AI 대형 모델 관련 뉴스를 수집하고, 먼저 간략한 소식을 제시한 다음 하나씩 나열해 주세요.
HTML 형식으로 제공해 주세요.Doubao가 정말 빠르다는 점은 인정하지 않을 수 없습니다. 항상 가장 먼저 작업을 완료합니다. 이번에는 Doubao가 어떻게 해냈는지 살펴보겠습니다.
Doubao는 3일 동안, 즉 이번 주 화요일(8.4)부터 현재까지의 뉴스 18건을 수집했습니다. 상세 내용을 꼼꼼히 살펴보니 최근 며칠 동안 AI 분야에서 무슨 일이 일어났는지 빠르게 파악할 수 있었습니다.
두 번째로 완료한 선수이자 방금 가장 좋은 성적을 보인 WorkBuddy의 이번 라운드 결과도 살펴보겠습니다.
기대가 컸던 만큼 조금 실망스러운 결과였습니다.
제가 말한 최근 3일을 WorkBuddy는 8.3부터 계산했습니다. 3일을 과거 72시간으로 이해했을 가능성이 있습니다.
또한 총 16건의 뉴스를 나열해 Doubao보다 2건 적었습니다.
마지막으로 완료한 Kimi의 이번 라운드는 어땠을까요? 이번에도 요약을 짧은 논문처럼 작성했을까요?
시간을 보면 Kimi도 과거 72시간을 기준으로 센 것 같아 WorkBuddy와 같은 문제를 범했습니다.
구체적인 뉴스 내용에서 Kimi는 앞의 두 선수와 조금 달랐습니다. Doubao와 WorkBuddy는 뉴스 원문을 하나씩 나열했습니다.
반면 Kimi는 뉴스의 유형에 따라 나누어 보여주는 방식을 선택했습니다.
수집한 정보도 가장 종합적이었습니다. 그만큼 오래 생각한 모양입니다.
두 라운드를 진행한 결과, 전통적인 Word·PDF 보고서 형식보다 HTML로 결과를 보여줄 때 모든 선수가 더 뛰어난 모습을 보이는 것 같습니다.
1라운드에서 Doubao와 Kimi는 WorkBuddy보다 못했지만, 2라운드에서는 서로 다른 측면에서 모두 앞서는 모습을 보였습니다.
이제 자연스럽게 기대가 됩니다.
마지막 대결에서는 과연 어떤 불꽃이 튈까요?
장면 3 종합 능력
컴퓨터 조작과 정보 수집 능력을 모두 테스트했으니, 마지막으로 업무 환경에서 에이전트 제품의 종합 능력을 시험해 보겠습니다.
종합 보고서는 많은 사람이 어려워하는 업무입니다. 내용이 충분히 포괄적이지 않거나, 깊이가 부족하거나, 조사 대상에 대한 이해가 부족해 어디서부터 시작해야 할지 모르는 경우가 많습니다.
AI의 발전이 스토리지 산업의 또 한 번의 번영을 크게 촉진했다는 사실은 모두 알고 있습니다.
그렇다면 AI에게 스토리지 산업 조사 보고서를 작성하게 하면 각 에이전트는 어떤 성과를 보일까요?
세 선수에게 같은 프롬프트를 보냈습니다.
스토리지 산업이 등장한 이후의 변화를 분석하는 보고서를 작성해 주세요. 각 주요 변화가 발생한 원인을 설명하고, 그 원인을 자세히 분석해 주세요. 현재 스토리지 산업 주요 기업들의 경쟁 구도도 명확히 설명해 주세요. 세련된 HTML 페이지로 디자인해 보여 주세요.Doubao가 단연 먼저, 또다시 가장 먼저 작업을 완료했습니다. 6분이 걸렸습니다. WorkBuddy가 8분으로 뒤를 이었고, Kimi는 무려 15분을 들여 이 보고서를 작성했습니다.
이제 세 선수의 작품이 어떤지 함께 살펴보겠습니다.
다음은 세 선수 보고서의 표지입니다. 어느 선수가 만든 것인지 맞혀 보세요.
정답 공개 시간입니다.
첫 번째는 Kimi의 보고서 표지, 두 번째는 Doubao, 세 번째는 WorkBuddy입니다. 여러분은 맞히셨나요?
이 보고서들의 디자인 스타일 중 개인적으로 가장 마음에 든 것은 wrokbuddy였습니다. 소박하지만 은은한 안정감이 있고, 딱딱하지 않으면서 약간의 젊은 느낌도 있었습니다.
그다음은 Kimi였습니다. AI 시대 특유의 신비롭고 차가운 분위기에 블랙과 골드가 주는 고급스러움이 더해졌습니다.
내용 면에서 흥미로운 점은 Kimi와 WorkBuddy가 모두 제목에 스토리지 산업 70년을 명확히 적었다는 것입니다.
Doubao는 이 부분에서 확실히 자기만의 생각을 보여줬습니다. Doubao는 스토리지 산업에 6번의 변혁이 있었다고 본 반면, WorkBuddy는 7번, Kimi는 10번의 변혁을 제시했습니다.
변혁을 많이 제시할수록 좋은 것은 아니지만, Kimi가 제시한 내용은 실제로 모두 근거가 있고 논리적으로도 잘 맞았습니다.
이번에는 제대로 된 보고서에 빠질 수 없는 도표를 살펴보겠습니다.
다행스럽게도 세 선수 모두 보고서에 각자의 도표를 넣었습니다. 도표의 데이터 출처는 서로 달랐지만, 모두 도표의 필요성을 인식하고 있다는 뜻입니다. 다만 Doubao의 이런 화풍은 정말 보기 좋지 않고 아쉬웠다는 점을 다시 한 번 지적하지 않을 수 없습니다.
전체적으로 내용의 풍부함과 논리성에서는 Kimi가 WorkBuddy보다 어느 정도 앞섰고, WorkBuddy는 다시 Doubao보다 우위였습니다.
Kimi는 웹페이지 디자인에서도 나름의 작은 아이디어를 보여줬습니다.
이번 테스트에서 Kimi는 내용 면에서 의심할 여지 없이 1위를 차지했습니다.
전체적인 논리적 사고 측면에서 Kimi는 역시 중국 최고의 오픈 소스 대형 모델이라는 명성에 걸맞았습니다. 프런트엔드 디자인도 회사명인 ‘달의 어두운 면’과 잘 어울렸고, 다른 두 선수에게서는 볼 수 없었던 실용적인 디자인 아이디어도 있었습니다.
WorkBuddy는 보고서 스타일에서 좋은 평가를 받았으며, 보고서 생성에 Kimi의 절반밖에 걸리지 않았습니다.
Doubao는 속도가 정말 빨랐습니다.
이후 세 선수에게 중국 내 스토리지 산업의 한 세부 분야를 이끄는 모 기업을 조사하게 했습니다. 이 회사의 현재 기업가치에 거품이 있는지 살펴보기 위해서였습니다.
먼저 Doubao의 결과부터 보겠습니다.
더우바오는 PE(TTM)의 업계 내 비교와 업계의 기본 논리를 바탕으로 다음과 같이 판단했습니다.
단기적인 거품이 존재한다.
이번에는 WorkBuddy의 의견을 살펴보겠습니다.
WorkBuddy는 해당 기업의 PE(TTM), PB가 역사적 백분위상 어느 위치에 있는지, 여러 재무 지표와 기관의 전망을 종합적으로 판단해 다음과 같은 결론을 내렸습니다.
뚜렷한 거품이 존재한다.
Kimi는 어떤 결론을 내릴까요?
Kimi 역시 밸류에이션이 지나치게 높으며, 뚜렷한 거품화 특징이 있다고 판단했습니다.
현재의 가격 결정은 수익성에 기반한 가격 결정이 아니라 서사에 기반한 가격 결정이라고 명확히 지적했습니다.
무슨 뜻일까요? 지금의 주가는 이야기를 만들어낸 결과일 뿐이며, 회사의 현재 펀더멘털로는 이 가격을 전혀 뒷받침할 수 없다는 뜻입니다.
Kimi의 거품 판단 논리는 WorkBuddy와 비슷합니다. 둘 다 다양한 기술 지표와 펀더멘털 데이터를 바탕으로 판단을 내립니다.
하지만 Kimi가 한 가지 측면에서는 더 깊이 생각했습니다.
거품화가 반드시 밸류에이션 하락을 의미하는 것은 아니라고 보았습니다. 업황 호조와 국산 대체 서사가 지속되고 회사의 수익성이 개선된다면 밸류에이션은 유지될 수 있지만, 그렇지 못하면 밸류에이션이 본래 수준으로 돌아가려는 압력이 발생한다는 것입니다.
종합하면, 세 참가자가 내린 핵심 판단은 일치합니다. 바로 거품이 존재한다는 것입니다.
다만 각자의 근거가 다르기 때문에 자연스럽게 설득력에는 차이가 있습니다.
저에게는 WorkBuddy와 Kimi의 결론이 더 설득력 있게 느껴졌습니다. 여러 차원의 데이터가 근거로 제시되었기 때문입니다.
특히 Kimi는 미래를 내다보는 방향까지 제시해 주어 놀라웠습니다.
하지만 아쉬운 점도 있습니다. 세 참가자가 작성한 두 보고서 모두 사용한 데이터를 어떤 플랫폼에서 수집했는지만 설명했을 뿐, 구체적인 정보 출처 링크는 제시하지 않았습니다. 이 때문에 정보의 진실성에 대해 약간의 의문이 생겼습니다.
사실 아주 간단한 방법으로 이 문제를 피할 수 있습니다. 프롬프트에 ‘모든 정보에 구체적인 출처 링크를 첨부하라’고 추가하면 됩니다.
그렇다면 왜 처음부터 추가하지 않았을까요? 세 참가자가 이 함정을 피할 수 있는지 확인하고 싶었기 때문입니다. 두 번의 기회를 주었는데도 모두 실패할 줄은 몰랐습니다.
이는 프롬프트가 여전히 매우 중요하다는 사실을 보여줍니다. 명확한 프롬프트는 에이전트가 사용자의 의도를 더 잘 이해하도록 만들 수 있습니다.
정리
몇 차례 테스트를 진행한 결과는 이미 분명해졌습니다.
효율성, 콘텐츠 품질, 가성비를 모두 중시한다면 WorkBuddy가 최고의 업무 파트너입니다. 콘텐츠가 아주 완벽하지는 않을 수 있지만, 결과물을 빠르게 만들어냅니다.
무엇보다 현재까지는 혼위안 3가 무료입니다!
속도가 가장 중요하고, 당장 처리해야 할 일이 있으며, 이때는 결과물의 안정성이 그다지 중요하지 않다면 더우바오를 선택할 수 있습니다. 작업 속도가 매우 빠르고, 에이전트에 필요한 기본적인 능력을 모두 갖추고 있습니다.
결과물의 깊이를 가장 중요하게 생각한다면 Kimi를 추천합니다. 다소 큰 작업을 처리할 때는 속도가 느리지만, 확실히 훌륭한 답안을 내놓습니다.