最近、国内の大手企業は次々とデスクトップ向けagentの開発に取り組んでいる
その結果、さまざまなデスクトップagentが登場し、目移りしてしまうほどだ
一般的な会社員にとって、結局どの製品が最も使いやすいのだろうか？
今回は、それぞれの分野を代表する3つのagent製品を選んで評価し、日常業務に最も適した製品を選んでみた
選手入場
1人目の選手は、テンセントのWorkBuddy。テンセントが独自開発した製品で、職場向けAIデジタル同僚という位置付けだ。社内には7万以上の既存オフィススキルがあり、複数の大規模モデルを搭載しているという。
公式発表によると、WorkBuddyのデイリーアクティブユーザーはすでに1300万人を超え、月間アクティブユーザーは2000万人に達しており、成長率も鈍化の兆しを見せていない。もしかすると、あなたの同僚も使っているかもしれない。
製品の設計思想に合わせるため、今回のテストでは全行程でテンセント独自の混元3を使用した。hy3を使うメリットはもう1つあるが、それについては後ほど説明しよう。
2人目の選手は、先月K3大規模モデルを発表し、一躍注目を集めた月之暗面のKimiだ。ネット上では、K3大規模モデルは現在国内最高水準で、フロントエンド設計能力も他のAIが太刀打ちできないと言われている。
AAランキングでは3位に位置し、史上最大のパラメータ数を持つオープンソースモデルでもある。
これほど目覚ましいデータを持つKimiは、日常業務の場面でどのような実力を見せるのだろうか。さっそく確かめてみよう。
3人目は、誰もがよく知る豆包だ。豆包も参戦できるとは思わなかった人もいるかもしれない。これはagent能力の大比較ではないのか。なぜ選手がチャット製品なのだろうか？
実は、豆包のデスクトップ版では先月、ひっそりとagent機能がリリースされていた。
今回は、宇宙工場出身で、80歳のおばあさんから幼稚園児まで誰もが知っている豆包の実力を見ていこう。
今回の評価は、3つの観点から行う。
評価項目は、パソコン操作能力、情報収集能力、複雑なタスクの処理能力だ。
パソコンを操作できるということは、AIが手足を得て仕事をこなせるということだ。
情報収集によって、必要な情報を自分で一つひとつ探し回ることなく素早く得られる。agentはそれを直接レポートにまとめることもでき、大幅な負担軽減になる。
また、オフィスでは、ある企業や業界の調査など、比較的複雑なタスクに遭遇することも多い。
3つの場面で能力を段階的に評価し、日常業務でよくあるシーンを網羅したうえで、agent製品の業務支援能力を十分に確認する。
まずは表で評価結果を簡単に示そう。
シーン1 パソコン操作能力
まず評価するのは、各agentのパソコン操作能力だ。これはagent製品の基本能力であり、パソコンを操作できてこそ、本当に仕事を助けられる。
今回のテストのために、3人の選手が腕を振るう対象として、雑多なファイルをいくつか入れたフォルダーを特別に作成した。
3人の選手に、次のプロンプトをそれぞれ送った。
「タスク1_ファイル総合処理」フォルダーを整理し、そのまま納品できるプロジェクト資料パッケージを作成してください。
完了後、以下を報告してください：完了したかどうか、作成したファイル、予算計算の結果、
予算上のリスクの有無、最後に行った確認。ほどなくして、各選手から次々と結果が返ってきた。
最初に完了したのは豆包で、所要時間は5分。2番目はKimiで6分16秒。最後は大物選手のWorkBuddyで、約9分かかった。
完了した順番に、各選手の成果を1つずつ確認していこう。
ダイアログとフォルダーの大まかな状況を見たところ、全員とてもよくできているようだった。
3人の選手は第1ラウンドで素晴らしい成果を見せ、引き分けだったと発表しようとしたそのとき、
各ファイルを開いて細かく確認すると、いくつかの問題が見つかった。
豆包のWord版レポートには、文字化けとフォントサイズの不統一がはっきりと現れていた。
急いで、残る2人の選手の出力結果ももう一度詳しく確認した。
WorkBuddyとKimiには同じ問題はなく、きちんと処理されていた。
第1ラウンドでは、豆包は問題解決の速さで確かに他を大きく引き離し、パソコン操作能力もまずまずだったが、品質にはまだ磨きが必要だ。
一方、WorkBuddyとKimiはどちらもテストに問題なく合格し、パソコン操作能力に何の問題もなかった。
シーン2 情報収集・整理能力
次は、3人の選手の情報収集能力をテストしてみよう。
従来のチャット製品でも情報の収集や整理はできたが、agentならさらに一歩進められる。
整理した情報を、こちらの要求に沿った形で提示できるのだ。
ちょうど数日前、韓国SKハイニックスの株価が大幅に下落したというニュースを見かけた。そこで、3人の選手にSKハイニックスの最新情報を集めてもらおう。
プロンプトは次のとおり。
SKハイニックスの最新ニュースを検索して要約し、要約をWordファイルに書き込んで作成してください。情報源も添付してください。
豆包は今回も最速で、わずか3分で完了した。
直接Wordを作成したわけではない。会話ウィンドウにはWord、PDF、Markdownの3形式にエクスポートできると表示されており、そこからWordへのエクスポートを選択する必要がある。
3つの選択肢を提示したことは、実際には減点要素だ。Wordを作成して内容を書き込むよう明確に伝えたのに、余計なことを自分で付け加えている。このような発散思考は、AIの幻覚を招きやすい。
内容を見ると、表面的には問題ない。ハイニックスに関する多くの情報を集めているが、最新情報であることが示されていない。豆包のニュース要約からは、どの情報が新しいのか確認できない。
NVIDIAとハイニックスの提携は実際には7月25日のニュースで、かなり新しい情報だ。しかし豆包は単に7月のニュースだとしか述べていない。7月初旬と7月下旬では、速報性に大きな差がある。
面白いのは、この情報自体は確かに収集できているのに、時期を明確にしていないことだ。読者は、それがいつ起きた出来事なのかを自分でもう一度確認しなければならない。
次にWorkBuddyを見てみよう。WorkBuddyとKimiはどちらも手際よくWord文書を書き出しており、これはとてもよい。
この要約は、内容面では非常に良いと感じた。フォントや書式の見た目、文章の読みやすさ、情報の豊富さ、日時の記載に至るまで、素晴らしいニュース要約になっている。
最後はKimiのニュース要約だ。読んでみると少し奇妙で、ニュース要約というより小論文に近い。ハイニックスとNVIDIAの最近の重要な提携ニュースも押さえられていない。
論文を書くのであれば、Kimiは優秀な評価を得られたかもしれない。しかし今回はニュース要約であり、このラウンドのKimiの出来はかなり悪かった。唯一の長所は、文章からKimiの論理的思考力が確かに感じられることだ。
結果にランダム性がある可能性を考慮し、3人の選手に2回目のチャンスを与えた。
直近3日間のAIニュースを集めてもらった。
直近3日間のAI大規模モデル関連ニュースをすべて収集し、まず速報としてまとめた後、1件ずつ列挙してください。
HTML形式で提示してください。豆包は本当に速い。いつも最初にタスクを完了する。今回はどのような結果になったのか見てみよう。
豆包は3日間、つまり今週火曜日（8.4）から現在までの18件のニュースを収集した。詳細を注意深く確認すると、この数日間にAI分野で何が起きたのかを素早く把握できた。
次に完了したのは、先ほど最も良い成果を見せたWorkBuddyだ。今回はどうだったのだろうか。
期待していた分、少し失望させられた。
私が言った「直近3日間」について、WorkBuddyは8月3日から計算していた。3日間を過去72時間と解釈したのかもしれない。
また、合計16件のニュースしか列挙しておらず、豆包より2件少なかった。
最後に完了したKimiは今回はどうだったのだろう。今回も要約を小論文にしてしまうのだろうか。
時期を見ると、Kimiも過去72時間を数えているようで、WorkBuddyと同じ問題を起こしていた。
具体的なニュース内容では、Kimiは前の2人と少し異なっていた。豆包とWorkBuddyはいずれもニュース本文を1件ずつ列挙した。
一方、Kimiはニュースの種類ごとに分けて表示することを選んだ。
収集した情報も最も網羅的だった。これほど長く考えていたのも納得だ。
2ラウンドを終えると、従来のWordやPDFのレポート形式と比べ、選手たちはHTMLで成果を示したときのほうが優れた結果を出すようだ。
第1ラウンドでは豆包とKimiはWorkBuddyに及ばなかったが、第2ラウンドではそれぞれ異なる面でWorkBuddyを上回った。
これで私は、どうしても期待してしまう。
最後の大勝負では、いったいどんな火花を散らすのだろうか。
シーン3 総合能力
パソコン操作と情報収集の能力は確認した。最後に、agent製品のオフィス環境における総合能力をテストしよう。
総合的なレポート作成は、多くの人が頭を悩ませる作業だ。網羅性が足りない、深さが足りない、あるいは調査対象への理解が不十分で、どこから手を付ければよいかわからないこともある。
AIの発展がストレージ業界の新たな繁栄を大きく後押ししていることは、誰もが知っている。
では、AIにストレージ業界の調査レポートを作成させたら、各agentはどのような成果を見せるのだろうか。
3人の選手に同じプロンプトを送った。
ストレージ業界が登場して以来の分析レポートを作成し、重大な変化が起きた原因を毎回説明してください。原因については詳しく分析し、現在のストレージ業界における各大手企業の競争構図を明確に説明してください。洗練されたHTMLページとしてデザインし、表示してください。豆包がまたもや真っ先にタスクを完了し、所要時間は6分。WorkBuddyが8分で続き、Kimiはこのレポートを書き上げるのに実に15分かかった。
それでは、3人の選手の作品がどのようなものか見てみよう。
以下は3人のレポートの表紙だ。どれが誰の作品か、当ててみてほしい。
答え合わせの時間だ。
1枚目はKimiのレポートの表紙、2枚目は豆包、3枚目はWorkBuddyだ。皆さんは正解できただろうか。
これらのレポートのデザインでは、個人的にはWorkBuddyが最も好きだ。簡素だが淡い落ち着きがあり、少し若々しい雰囲気もあって、堅苦しくない。
次点はKimi。AI時代らしい神秘性と冷たさがあり、黒と金によって高級感も出ている。
内容面で興味深いのは、KimiとWorkBuddyがどちらもタイトルにストレージ業界70年と明記していたことだ。
豆包はこの点で明らかに独自の考えを持っていた。豆包はストレージ業界には6回の変革があったと考え、WorkBuddyは7回、Kimiは10回の変革を挙げている。
挙げた変革の数が多ければよいというわけではないが、Kimiが示した内容は確かに根拠があり、論理も整っていた。
次に、合格レポートに欠かせない図表を見てみよう。
うれしいことに、3人の選手は全員、それぞれのレポートに図表を盛り込んでいた。データソースは異なるものの、全員が図表の必要性を理解していることがわかる。ただ、豆包のこのデザインは本当にひどく、少し残念だと、もう一度言わずにはいられない。
全体を通して見ると、内容の豊富さと論理性ではKimiがWorkBuddyをやや上回り、WorkBuddyは豆包をさらに上回っていた。
Kimiはウェブページのデザインにも独自のちょっとした工夫を施している。
今回のテストでは、内容面でKimiが文句なしの首位に立った。
全体的な論理的思考力を見る限り、Kimiが国内最高のオープンソース大規模モデルと呼ばれるのも納得だ。フロントエンドのデザインも、社名である月之暗面に実によく合っている。ほかの2人の選手にはない、実用的な設計思想も見られた。
WorkBuddyはレポートのスタイルで私から高い評価を得たうえ、レポート生成にかかった時間はKimiの半分だった。
豆包については、確かに速度は非常に速い。
続いて、3人の選手に国内のストレージ業界の特定分野におけるトップ企業を調査させ、その企業の現在のバリュエーションにバブルがあるかどうかを主に確認してみた。
まずは豆包から見てみよう。
豆包は、業界内におけるPE（TTM）の比較と、業界の基本的なロジックに基づいて、次のように判断しました：
一時的なバブルが存在する。
続いて、WorkBuddyの見解を見てみましょう
WorkBuddyは、PE（TTM）、PBの同社における過去の分位点での位置、複数の財務指標、機関投資家の予想などを総合的に判断し、次の結論を出しました：
明らかなバブルが存在する。
Kimiはどのような結論を出すのでしょうか？
Kimiも同様に、割高であり、明らかなバブル化の特徴があると判断しました
現在の価格形成は利益に基づくものではなく、物語に基づくものだと明確に指摘しています
どういう意味でしょうか？つまり、現在の価格は物語によって作られたものであり、会社の現在のファンダメンタルズでは、この価格を到底支えられないということです。
Kimiのバブルに対する判断ロジックはWorkBuddyとほぼ同じで、数多くのテクニカル指標とファンダメンタルズデータに基づいて判断しています
ただし、Kimiはもう一歩深く考えています
バブル化したからといって、必ずしもバリュエーションが下落するとは限らないと考えています。業界の景況感や国産代替のストーリーが続き、会社の収益力が改善すれば、バリュエーションは維持できます。そうでなければ、バリュエーションが本来の水準へ戻る圧力が生じます。
総じて、三者の出した核心的な判断は一致しています。つまり、バブルが存在するということです
ただし、それぞれ根拠が異なるため、説得力には当然差が出ます
私にとっては、WorkBuddyとKimiの結論のほうが説得力があります。多面的なデータが物語っているからです
さらに、Kimiは先を見据えた指針も示しており、これは嬉しい驚きでした
ただ、残念な点もあります。三者が提出した2本のレポートでは、使用したデータをどのプラットフォームで収集したかについては説明されていましたが、具体的な情報源へのリンクは示されていませんでした。そのため、情報の信頼性にわずかな疑念が生じます。
実は、この問題を避ける方法はとても簡単です。プロンプトに「すべての情報に具体的な出典リンクを付けること」と加えれば解決できます。
なぜ最初から加えなかったのでしょうか。三者がこの落とし穴を回避できるか見てみたかったからです。まさか2回の機会を与えても、全員が失敗するとは思いませんでした。
このことからも、プロンプトが依然として非常に重要であることが分かります。明確なプロンプトがあれば、エージェントはあなたの意図をよりよく理解できます。
まとめ
数回のテストを経て、結果はすでに明らかになりました。
効率、内容、コストパフォーマンスのバランスを求めるなら、WorkBuddyが最適な仕事のパートナーです。内容はそれほど完璧ではないかもしれませんが、出力の速さは悪くありません。
何より重要なのは、現時点で混元3が無料であることです！
速度だけを重視し、差し迫ったタスクがあり、この時点では出力の安定性がそれほど重要でないなら、豆包を選ぶとよいでしょう。作業は非常に速く、エージェントとしての基本的な能力は一通り備えています。
出力の深さを最も重視するなら、Kimiをおすすめします。やや大きなタスクの処理速度は遅めですが、確かに非常に良い回答を出してくれます。