Gần đây, các tập đoàn công nghệ lớn trong nước lần lượt bắt đầu nghiên cứu agent trên máy tính để bàn.
Điều này khiến đủ loại agent desktop xuất hiện tràn lan, khiến người xem hoa mắt chóng mặt.
Đối với dân văn phòng thông thường, sản phẩm nào thực sự dễ dùng hơn?
Hôm nay, chúng tôi chọn ba sản phẩm agent tiêu biểu trong từng lĩnh vực để đánh giá, nhằm tìm ra sản phẩm phù hợp nhất cho công việc văn phòng hằng ngày.
Các ứng viên xuất hiện
Ứng viên đầu tiên là WorkBuddy của Tencent, sản phẩm do chính Tencent phát triển, được định vị là đồng nghiệp số AI nơi công sở. Được biết, sản phẩm có hơn 70.000 skill văn phòng sẵn có và tích hợp nhiều mô hình ngôn ngữ lớn.
Theo số liệu được công bố, DAU của WorkBuddy đã vượt 13 triệu, MAU đạt 20 triệu và tốc độ tăng trưởng chưa có dấu hiệu chậm lại. Biết đâu đồng nghiệp của bạn cũng đang sử dụng nó.
Để phù hợp hơn với khung sản phẩm, toàn bộ bài kiểm tra lần này sử dụng Hunyuan 3 của Tencent. Việc dùng hy3 còn có một lợi ích khác, đừng vội, phần sau sẽ tiết lộ.
Ứng viên thứ hai là Moonshot AI-Kimi, sản phẩm vừa ra mắt mô hình lớn K3 vào tháng trước và đang nổi như cồn. Trên mạng, mọi người đều nói mô hình K3 hiện có trình độ số một trong nước, còn năng lực thiết kế frontend thì không một ai (AI) có thể sánh bằng.
Mô hình này đứng thứ ba trên bảng xếp hạng AA, đồng thời là mô hình mã nguồn mở có số lượng tham số lớn nhất từ trước đến nay.
Với những dữ liệu ấn tượng như vậy, Kimi sẽ thể hiện ra sao trong các tình huống văn phòng hằng ngày? Hãy cùng tìm hiểu.
Ứng viên thứ ba là Doubao, cái tên đã quá quen thuộc với mọi người. Có thể một số bạn sẽ thắc mắc: Doubao cũng tham gia được sao? Đây chẳng phải là cuộc thi năng lực agent à, sao ứng viên lại là một sản phẩm chat?
Thực ra là vì phiên bản desktop của Doubao đã âm thầm ra mắt tính năng agent vào tháng trước.
Hôm nay, hãy cùng xem Doubao, xuất thân từ ByteDance và quen thuộc với tất cả mọi người từ các cụ 80 tuổi đến trẻ mẫu giáo, thực lực ra sao.
Đợt đánh giá này sẽ được tiến hành từ ba góc độ.
Cụ thể gồm: khả năng điều khiển máy tính, khả năng thu thập thông tin và khả năng xử lý nhiệm vụ phức tạp.
Điều khiển được máy tính nghĩa là AI đã có tay chân để làm việc.
Khả năng thu thập thông tin giúp chúng ta nhanh chóng có được dữ liệu cần thiết mà không phải vất vả tìm kiếm từng thứ một. Agent còn có thể trực tiếp viết thành báo cáo, giúp tiết kiệm rất nhiều công sức.
Trong môi trường văn phòng, chúng ta luôn gặp những nhiệm vụ tương đối phức tạp, chẳng hạn như nghiên cứu một công ty hoặc một ngành nào đó.
Ba tình huống sẽ lần lượt kiểm tra năng lực theo cấp độ tăng dần, bảo đảm bao phủ các tình huống thường gặp trong công việc văn phòng hằng ngày và đánh giá đầy đủ khả năng hỗ trợ công việc của các sản phẩm agent.
Trước tiên, hãy dùng một bảng để trình bày ngắn gọn kết quả đánh giá.
Tình huống 1: Khả năng điều khiển máy tính
Đầu tiên, chúng ta sẽ đánh giá khả năng điều khiển máy tính của từng agent. Đây là năng lực cơ bản của sản phẩm agent: chỉ khi điều khiển được máy tính, nó mới thực sự có thể giúp chúng ta làm việc.
Để phục vụ bài kiểm tra lần này, tôi đặc biệt tạo một thư mục chứa một số tệp lộn xộn để ba ứng viên thực hiện nhiệm vụ.
Tôi lần lượt gửi cho ba ứng viên prompt sau:
Hãy sắp xếp thư mục “任务1_文件综合处理”, tạo một gói tài liệu dự án có thể bàn giao trực tiếp.
Sau khi hoàn tất, hãy báo cáo: đã hoàn thành hay chưa; đã tạo những tệp nào; kết quả tính ngân sách;
đã phát hiện rủi ro ngân sách hay chưa; cuối cùng đã thực hiện những bước kiểm tra nào.Không lâu sau, lần lượt các ứng viên đều trả về kết quả.
Hoàn thành đầu tiên là Doubao, mất 5 phút; thứ hai là Kimi, mất 6 phút 16 giây; cuối cùng là ứng viên đình đám WorkBuddy, mất gần 9 phút.
Theo thứ tự hoàn thành, chúng ta sẽ lần lượt kiểm tra kết quả của từng ứng viên.
Quan sát sơ qua hộp thoại và tình hình thư mục, có vẻ cả ba đều thể hiện rất tốt.
Ngay khi tôi định tuyên bố cả ba ứng viên đều có màn thể hiện rất tốt ở vòng đầu và hòa nhau,
thì việc mở từng tệp để kiểm tra kỹ lại khiến tôi phát hiện một số vấn đề.
Bản báo cáo Word của Doubao xuất hiện lỗi ký tự và cỡ chữ không đồng nhất.
Tôi vội kiểm tra thật kỹ kết quả đầu ra của hai ứng viên còn lại.
WorkBuddy và Kimi không gặp vấn đề tương tự, cách xử lý rất chỉn chu.
Sau vòng đầu, Doubao quả thực là ứng viên giải quyết vấn đề nhanh nhất, khả năng điều khiển máy tính cũng khá ổn, chỉ là chất lượng vẫn cần được trau chuốt thêm.
WorkBuddy và Kimi đều vượt qua bài kiểm tra một cách tốt đẹp, không gặp bất kỳ vấn đề nào về khả năng điều khiển máy tính.
Tình huống 2: Khả năng thu thập và整理 thông tin
Tiếp theo, hãy kiểm tra khả năng thu thập thông tin của ba ứng viên.
Trước đây, các sản phẩm chat cũng có thể thu thập và整理 thông tin, nhưng agent có thể tiến thêm một bước.
Nó có thể trình bày những thông tin đã整理 theo đúng yêu cầu của chúng ta.
Vừa hay vài ngày trước tôi đọc được tin SK hynix của Hàn Quốc sụt giảm mạnh, vậy hãy để ba ứng viên thu thập tin tức mới nhất về SK hynix.
Prompt như sau:
Tra cứu tin tức mới nhất về SK hynix, tổng hợp lại, tạo một tệp Word và ghi phần tổng hợp vào đó, kèm theo nguồn thông tin.
Doubao vẫn là ứng viên hoàn thành nhanh nhất, chỉ mất 3 phút.
Nó không trực tiếp tạo tệp Word. Có thể thấy cửa sổ hội thoại hiển thị ba định dạng xuất gồm Word, PDF và Markdown; hãy chọn xuất thành Word.
Việc đưa ra ba lựa chọn thực tế là một điểm trừ, vì tôi đã nói rất rõ rằng muốn nó tạo một tệp Word và ghi nội dung vào đó, nhưng nó lại tự ý làm thêm. Kiểu tư duy lan man này rất dễ dẫn đến ảo giác AI.
Xem nội dung, bề ngoài không có vấn đề gì, thu thập khá nhiều tin tức về SK hynix, nhưng lại không thể hiện đâu là tin mới nhất. Trong phần tổng hợp của Doubao, tôi không thể biết thông tin nào là mới.
Hợp tác giữa NVIDIA và SK hynix thực ra là tin ngày 7.25, được xem là khá mới, nhưng Doubao chỉ nói là tin trong tháng 7. Đầu tháng 7 và cuối tháng 7 có khác biệt rất lớn về tính thời sự.
Điều đáng nói là nó thực sự đã thu thập được tin này, nhưng lại không nói rõ thời điểm, khiến người đọc phải tự xác minh xem sự việc xảy ra vào lúc nào.
Tiếp theo là WorkBuddy. Nó và Kimi đều xuất Word rất gọn gàng, đây là một điểm cộng.
Về nội dung, tôi đánh giá bản tổng hợp này rất tốt. Từ cảm nhận về định dạng phông chữ, trải nghiệm đọc câu chữ, độ phong phú của thông tin cho đến cách ghi thời gian, tất cả đều rất ổn.
Cuối cùng là bản tổng hợp tin tức của Kimi. Đọc qua, tôi cảm thấy hơi kỳ lạ: nó không giống một bản tổng hợp tin tức mà giống một bài tiểu luận hơn, đồng thời cũng không nắm bắt được tin tức quan trọng gần đây về sự hợp tác giữa SK hynix và NVIDIA.
Nếu đây là bài luận, Kimi có lẽ sẽ đạt điểm xuất sắc, nhưng đây là bản tổng hợp tin tức, nên màn thể hiện của Kimi ở vòng này thực sự khá tệ. Điểm sáng duy nhất là qua cách hành văn, có thể thấy năng lực logic của Kimi quả thực khá mạnh.
Do có thể tồn tại tính ngẫu nhiên, tôi cho cả ba ứng viên thêm một cơ hội.
Yêu cầu họ thu thập tin tức AI trong ba ngày gần nhất:
Thu thập tất cả tin tức liên quan đến các mô hình ngôn ngữ lớn AI trong ba ngày gần nhất, trước tiên đưa ra bản tin ngắn rồi liệt kê từng tin,
trình bày dưới dạng HTML.Phải nói rằng Doubao thực sự rất nhanh, luôn là ứng viên đầu tiên hoàn thành nhiệm vụ. Hãy xem lần này Doubao thể hiện ra sao.
Có thể thấy Doubao đã thu thập 18 tin tức trong ba ngày, tức từ thứ Ba tuần này (8.4) đến nay. Tôi xem kỹ phần thông tin chi tiết và nhanh chóng nắm được những gì đã xảy ra trong lĩnh vực AI vài ngày qua.
Tiếp theo là ứng viên hoàn thành thứ hai, cũng là WorkBuddy, ứng viên thể hiện tốt nhất vừa rồi. Hãy xem vòng này nó làm được thế nào.
Kỳ vọng càng cao thì thất vọng càng nhiều.
Với “ba ngày gần nhất” mà tôi nói, WorkBuddy bắt đầu tính từ 8.3, có lẽ đã hiểu ba ngày là 72 giờ tính ngược về trước.
Ngoài ra, nó liệt kê tổng cộng 16 tin tức, ít hơn Doubao 2 tin.
Hãy xem Kimi, ứng viên hoàn thành cuối cùng, thể hiện thế nào ở vòng này. Liệu nó có lại biến bản tổng hợp thành một bài tiểu luận không?
Có thể thấy về thời gian, Kimi dường như cũng đếm ngược 72 giờ, mắc cùng một lỗi với WorkBuddy.
Về nội dung cụ thể, Kimi có đôi chút khác hai ứng viên trước. Doubao và WorkBuddy đều liệt kê từng tin tức cụ thể.
Còn Kimi lựa chọn trình bày theo các loại tin tức khác nhau.
Thông tin thu thập được cũng đầy đủ nhất, chẳng trách phải suy nghĩ lâu như vậy.
Sau hai vòng, so với hình thức báo cáo Word và PDF truyền thống, có vẻ các ứng viên đều thể hiện tốt hơn khi trình bày kết quả dưới dạng HTML.
Doubao và Kimi thể hiện kém hơn WorkBuddy ở vòng đầu, nhưng cả hai đều vượt qua WorkBuddy ở những khía cạnh khác nhau trong vòng thứ hai.
Điều này khiến tôi không khỏi mong đợi
Trong cuộc so tài cuối cùng, họ sẽ tạo ra những bất ngờ nào?
Tình huống 3: Năng lực tổng hợp
Đã kiểm tra khả năng điều khiển máy tính và thu thập thông tin, cuối cùng hãy kiểm tra năng lực tổng hợp của các sản phẩm agent trong môi trường văn phòng.
Một báo cáo tổng hợp thường khiến mọi người đau đầu: chưa đủ toàn diện? Chưa đủ chiều sâu? Hay vốn dĩ chưa hiểu rõ đối tượng nghiên cứu nên không biết bắt đầu từ đâu.
Mọi người đều biết sự phát triển của AI đã thúc đẩy mạnh mẽ một lần bùng nổ mới của ngành lưu trữ.
Vậy nếu để AI thực hiện một báo cáo nghiên cứu về ngành lưu trữ, các agent sẽ thể hiện ra sao?
Tiếp theo, tôi gửi cho ba ứng viên cùng một prompt:
Viết một báo cáo phân tích về ngành lưu trữ kể từ khi ngành này xuất hiện, trình bày nguyên nhân của từng thay đổi lớn và phân tích chi tiết các nguyên nhân đó, đồng thời làm rõ cục diện cạnh tranh giữa các tập đoàn lớn trong ngành lưu trữ hiện nay. Thiết kế một trang HTML đẹp mắt để trình bày.Doubao lại dẫn đầu, một lần nữa hoàn thành nhiệm vụ đầu tiên, mất 6 phút. WorkBuddy theo sát với 8 phút, còn Kimi mất tròn 15 phút mới hoàn thành báo cáo.
Tiếp theo, hãy cùng xem tác phẩm của ba ứng viên thực sự như thế nào.
Dưới đây là ảnh bìa báo cáo của ba ứng viên. Mọi người thử đoán xem mỗi ảnh là của ai.
Đến lúc công bố đáp án.
Ảnh đầu tiên là bìa báo cáo của Kimi, ảnh thứ hai là Doubao, ảnh thứ ba là WorkBuddy. Không biết mọi người có đoán đúng không.
Về thiết kế phong cách của các báo cáo, cá nhân tôi thích WorkBuddy nhất: giản dị nhưng có nét điềm đạm nhẹ nhàng, lại phảng phất cảm giác trẻ trung, không cứng nhắc.
Tiếp theo là Kimi, mang vẻ thần bí và lạnh lùng của thời đại AI, cùng sự sang trọng do tông màu đen vàng tạo nên.
Một điểm thú vị về nội dung là cả Kimi và WorkBuddy đều viết rõ “70 năm ngành lưu trữ” ngay trong tiêu đề.
Doubao rõ ràng có cách nghĩ riêng hơn về vấn đề này. Ngoài ra, Doubao cho rằng ngành lưu trữ đã trải qua 6 cuộc chuyển đổi, WorkBuddy cho rằng có 7, còn Kimi liệt kê 10 cuộc chuyển đổi.
Không phải cứ liệt kê càng nhiều thay đổi thì càng tốt, nhưng những thay đổi Kimi đưa ra quả thực đều có lý lẽ, căn cứ và logic chặt chẽ.
Hãy tiếp tục xem những biểu đồ không thể thiếu trong một báo cáo đạt chuẩn.
Điều đáng mừng là cả ba ứng viên đều đưa biểu đồ vào báo cáo. Dù nguồn dữ liệu của các biểu đồ khác nhau, điều đó cho thấy cả ba đều có ý thức này. Tuy nhiên, phải phàn nàn thêm một lần rằng phong cách hình ảnh của Doubao thực sự rất tệ, chưa được như mong đợi.
Xét tổng thể, về độ phong phú và tính logic của nội dung, Kimi có một số ưu thế nhất định so với WorkBuddy, còn WorkBuddy lại dẫn trước Doubao.
Kimi cũng có một vài ý tưởng nhỏ khá thú vị trong thiết kế trang web.
Ở vòng kiểm tra này, Kimi chắc chắn giành vị trí dẫn đầu về nội dung.
Có vẻ như về tư duy logic tổng thể, Kimi quả không hổ danh là mô hình ngôn ngữ lớn mã nguồn mở số một trong nước. Thiết kế frontend của nó thực sự rất phù hợp với tên công ty: Moonshot AI, đồng thời còn có một số ý tưởng thiết kế thực dụng mà hai ứng viên còn lại không có.
WorkBuddy nhận được đánh giá tốt của tôi về phong cách báo cáo, hơn nữa nó chỉ mất một nửa thời gian của Kimi để tạo báo cáo.
Còn Doubao thì tốc độ quả thực rất nhanh.
Sau đó, tôi lại yêu cầu ba ứng viên nghiên cứu một công ty dẫn đầu trong một phân ngành nào đó của ngành lưu trữ trong nước, chủ yếu để xem định giá hiện tại của công ty này có đang bị thổi phồng hay không.
Trước tiên hãy xem Doubao.
Doubao đã đưa ra đánh giá của mình dựa trên so sánh PE (TTM) trong ngành và những logic nền tảng của ngành:
Tồn tại bong bóng mang tính giai đoạn.
Hãy xem WorkBuddy nói gì
WorkBuddy đưa ra kết luận dựa trên PE (TTM), PB, vị thế của các chỉ số này trong phân vị lịch sử của công ty, cùng nhiều chỉ số tài chính và kỳ vọng của các tổ chức:
Tồn tại bong bóng rõ rệt.
Kimi sẽ đưa ra kết luận gì?
Kimi cũng cho rằng định giá quá cao và có những đặc điểm bong bóng rõ rệt
Kimi chỉ ra rõ rằng mức định giá hiện tại là định giá dựa trên câu chuyện, chứ không phải dựa trên lợi nhuận
Điều đó có nghĩa là gì? Giá hiện tại được tạo nên nhờ việc kể chuyện, trong khi nền tảng kinh doanh hiện tại của công ty hoàn toàn không đủ để chống đỡ mức giá này.
Logic đánh giá bong bóng của Kimi khá giống WorkBuddy, đều đưa ra phán đoán dựa trên大量 chỉ số kỹ thuật và dữ liệu nền tảng
Tuy nhiên, Kimi đã suy nghĩ sâu hơn ở một điểm
Kimi cho rằng tình trạng bong bóng không đồng nghĩa với việc định giá nhất định sẽ giảm. Nếu triển vọng ngành và câu chuyện thay thế hàng nội địa tiếp tục được duy trì, đồng thời năng lực sinh lời của công ty được cải thiện, định giá có thể duy trì; nếu không, định giá sẽ chịu áp lực quay về mức hợp lý.
Nhìn chung, phán đoán cốt lõi của cả ba ứng viên là nhất quán: tồn tại bong bóng
Chỉ là cơ sở lập luận của mỗi bên khác nhau, nên sức thuyết phục thể hiện ra cũng đương nhiên có sự chênh lệch
Đối với tôi, kết luận của WorkBuddy và Kimi thuyết phục hơn, vì dữ liệu đa chiều đang lên tiếng
Đặc biệt, Kimi còn đưa ra định hướng mang tính dự báo, khiến tôi khá bất ngờ
Tuy nhiên, một điều đáng tiếc là trong hai bản báo cáo do ba ứng viên đưa ra, họ chỉ nêu các nền tảng được sử dụng để thu thập dữ liệu, chứ không cung cấp liên kết đến nguồn thông tin cụ thể. Điều này khiến độ xác thực của thông tin phần nào bị nghi ngờ.
Thực ra, có một cách rất đơn giản để tránh vấn đề này: chỉ cần thêm vào câu lệnh yêu cầu rằng mọi thông tin phải kèm theo liên kết nguồn cụ thể là được.
Tại sao ngay từ đầu tôi không thêm yêu cầu đó? Tôi chỉ muốn xem ba ứng viên có thể tránh được cái bẫy này hay không. Không ngờ đã cho hai cơ hội mà cả ba vẫn thất bại hoàn toàn.
Điều này cũng cho thấy câu lệnh vẫn vô cùng quan trọng. Một câu lệnh rõ ràng có thể giúp agent hiểu bạn hơn.
Tổng kết
Sau vài vòng thử nghiệm, kết quả đã quá rõ ràng.
Nếu bạn cần sự kết hợp giữa hiệu suất, nội dung và tính đáng tiền, WorkBuddy chính là cộng sự văn phòng tốt nhất dành cho bạn. Nội dung của nó có thể chưa hoàn hảo, nhưng tốc độ tạo ra kết quả không hề chậm.
Quan trọng nhất là tính đến hiện tại, Hunyuan 3 vẫn miễn phí!
Nếu bạn chỉ cần tốc độ và đang có một nhiệm vụ cấp bách, khi tính ổn định của đầu ra không còn quá quan trọng, bạn có thể chọn Doubao. Nó xử lý công việc rất nhanh và có đầy đủ những năng lực cơ bản của một agent.
Nếu điều bạn cần nhất là chiều sâu của kết quả, tôi khuyên bạn nên sử dụng Kimi. Mặc dù tốc độ của nó hơi chậm khi xử lý các nhiệm vụ tương đối lớn, nhưng nó thực sự có thể đưa ra một bài làm rất tốt.