WebCraftBench Đang hoạt động

WebCraftBench là bộ tiêu chuẩn đánh giá khả năng tạo trang web bằng AI do Tencent Hunyuan phối hợp với Đại học Thanh Hoa và Đại học Bắc Kinh phát triển. WebCraftBench trước tiên tự động chèn mã đo lường vào ứng dụng được tạo, để tác nhân sử dụng Playwright trực tiếp thao tác và khám phá chức năng của trang web, dùng độ bao phủ mã để định hướng việc tìm kiếm thiếu sót; sau đó trừu tượng hóa nhật ký tương tác thành biểu đồ trạng thái và chấm điểm riêng theo ba khía cạnh: tính thẩm mỹ, tính dễ sử dụng và mức độ đáp ứng yêu cầu. Bộ tiêu chuẩn gồm 369 yêu cầu thực tế, 5,088 tiêu chí nghiệm thu được con người kiểm tra, bao phủ 6,273 ứng dụng của 17 mô hình tiên tiến, với tỷ lệ nhất quán với sở thích của con người đạt 85.3%.

Tập đánh giá yêu cầu thực tế: Bao gồm 369 yêu cầu người dùng đến từ lưu lượng sử dụng thực tế, đi kèm 5,088 tiêu chí nghiệm thu đã được con người kiểm tra, bao phủ ba loại yêu cầu: chức năng, nội dung và hình ảnh.
Khám phá tự động tương tác: Tác nhân sử dụng Playwright MCP để nhấp, nhập dữ liệu và chuyển trang như một kiểm thử viên, chủ động phát hiện chức năng và kiểm tra các trường hợp biên.
Định hướng bằng độ bao phủ mã: Dựa trên cơ chế tự động chèn mã của Istanbul để theo dõi độ bao phủ theo thời gian thực. Khi phát hiện việc khám phá chưa đầy đủ, mô hình hỗ trợ sẽ gợi ý các hướng mã chưa được tiếp cận.
Trừu tượng hóa và sắp xếp trạng thái: Khử trùng lặp và chuẩn hóa nhật ký thao tác dài, hợp nhất thành biểu đồ chuyển trạng thái, rút ra các bằng chứng vận hành quan trọng để chấm điểm.
Chấm điểm độc lập theo ba chiều: Đánh giá riêng tính thẩm mỹ, tính dễ sử dụng và mức độ đáp ứng yêu cầu, sau đó tổng hợp thành điểm chuẩn hóa.
Xác minh sở thích của con người: So sánh với các lượt bình chọn của con người đã được rà soát trên tập xác minh độc lập; tỷ lệ nhất quán trong đánh giá theo cặp đạt 85.3%, qua đó xác nhận độ tin cậy của phép đánh giá.

Tự động chèn mã để thu thập bằng chứng vận hành: Hệ thống đưa bộ đếm vào mã ứng dụng, hỗ trợ các framework như HTML tĩnh, Vite, Next, CRA và Astro. Sau khi ứng dụng khởi chạy, mỗi tương tác sẽ gửi lại độ bao phủ mã và phần gia tăng, giúp quan sát được “những đoạn mã nào đã được thực thi”.
Khám phá tác nhân được định hướng bằng độ bao phủ: Tác nhân khám phá không xem mã nguồn và cũng không xem danh sách nghiệm thu, mà thao tác trên trang web theo quy trình kiểm thử GUI. Khi ba lần tương tác liên tiếp không tạo ra độ bao phủ mới, hệ thống yêu cầu một mô hình khác phân tích mã chưa được thực thi, rồi chuyển các đề xuất thành ngôn ngữ tự nhiên để tác nhân khám phá tiếp tục thử nghiệm.
Trừu tượng hóa trạng thái để nén quỹ đạo tương tác: Chuẩn hóa cấu trúc trang, hợp nhất các trang giống nhau thành một trạng thái và nối các thao tác thành biểu đồ chuyển trạng thái. Điều này tránh việc ảnh chụp màn hình trùng lặp chiếm ngữ cảnh của mô hình chấm điểm, đồng thời giúp nhìn rõ đường dẫn lỗi.
Chấm điểm đa chiều với sự tách biệt giữa khám phá và chấm điểm: Trong giai đoạn khám phá, hệ thống thu thập bằng chứng mà không xem danh sách nghiệm thu; chỉ ở giai đoạn chấm điểm mới đối chiếu từng tiêu chuẩn để truy tìm bằng chứng. Tính thẩm mỹ và tính dễ sử dụng được đánh giá qua ba vòng “tìm ưu điểm - chỉ ra khuyết điểm - trọng tài quyết định điểm” ( ; mỗi phán định về mức độ đáp ứng yêu cầu phải trích dẫn bằng chứng vận hành và được tính điểm theo tỷ lệ đáp ứng. Mỗi chiều chiếm một phần ba điểm tổng hợp.

Chuẩn bị ứng dụng được tạo: Yêu cầu mô hình được đánh giá tạo một ứng dụng web theo yêu cầu và triển khai ở trạng thái có thể chạy.
Tự động chèn mã: Chạy công cụ chèn mã của WebCraftBench để đưa bộ đếm độ bao phủ vào mã ứng dụng, giúp mỗi tương tác đều gửi lại thông tin thực thi mã.
Khám phá tương tác: Khởi động tác nhân khám phá, sử dụng Playwright MCP để thao tác trên trang web, thực hiện các hành động như nhấp, nhập dữ liệu và chuyển trang, chủ động phát hiện chức năng và kiểm tra các trường hợp biên.
Định hướng tìm kiếm thiếu sót bằng độ bao phủ: Khi ba lần tương tác liên tiếp không tạo ra độ bao phủ mới, mô hình hỗ trợ sẽ phân tích mã chưa được thực thi và tạo đề xuất bằng ngôn ngữ tự nhiên để tác nhân khám phá tiếp tục tìm hiểu, tối đa 100 bước.
Sắp xếp bằng chứng vận hành: Hệ thống tự động trừu tượng hóa trạng thái của cấu trúc trang, khử trùng lặp và hợp nhất nhật ký thao tác thành biểu đồ chuyển trạng thái, đồng thời giữ lại ảnh chụp màn hình và quỹ đạo tương tác.
Chấm điểm theo ba chiều: Các tác nhân chấm điểm lần lượt đánh giá tính thẩm mỹ và tính dễ sử dụng, đồng thời đối chiếu từng tiêu chí nghiệm thu để kiểm tra mức độ đáp ứng yêu cầu; mỗi phán định phải trích dẫn bằng chứng vận hành.
Xuất kết quả: Nhận được điểm chuẩn hóa của ba chiều và tổng điểm, có thể so sánh với thứ hạng trong nhóm mô hình; chênh lệch điểm càng lớn thì kết quả càng đáng tin cậy.

Định hướng theo kiểm thử thực tế: Để tác nhân trực tiếp thao tác trên trang web và chấm điểm, thay vì chỉ xem mã hoặc ảnh chụp màn hình, nhờ đó phát hiện được những vấn đề mà đánh giá tĩnh bỏ sót, như “nút điều hướng bị hỏng, trang chủ không mở được”.
Khám phá được định hướng bằng độ bao phủ: Sử dụng độ bao phủ mã làm “manh mối tìm kiếm thiếu sót”. Khi tác nhân kiểm thử không tìm thấy chức năng, mô hình phía sau sẽ gợi ý hướng khám phá, giảm việc nhầm thất bại trong khám phá với lỗi sản phẩm.
Tách biệt khám phá và chấm điểm: Danh sách nghiệm thu chỉ được sử dụng trong giai đoạn chấm điểm, vừa giữ được các ràng buộc của yêu cầu, vừa không hạn chế việc quan sát các tương tác ngoài danh sách, qua đó mở rộng phạm vi đánh giá.
Chấm điểm độc lập theo nhiều chiều: Tính thẩm mỹ, tính dễ sử dụng và mức độ đáp ứng yêu cầu được chấm riêng, tránh việc điểm tổng duy nhất che giấu điểm yếu của những mô hình “trông đẹp nhưng vừa dùng đã lỗi”.
Mức độ nhất quán cao với sở thích của con người: Trong 197 nhóm so sánh thủ công đã được rà soát, tỷ lệ nhất quán đạt 85.3%; khi chênh lệch điểm lớn (≥0.75), tỷ lệ nhất quán tăng lên 98%, cho thấy độ tin cậy cao.
Tính ổn định đánh giá cao: Sau khi thay đổi mô hình trọng tài chấm điểm, hệ số tương quan thứ hạng vẫn đạt 0.980, thứ tự bốn vị trí đầu không thay đổi; kết luận không phụ thuộc vào một trọng tài duy nhất.

Bài báo kỹ thuật trên arXiv: https://arxiv.org/pdf/2609.15387

Lựa chọn mô hình cho công cụ lập trình AI: Khi lựa chọn mô hình ngôn ngữ lớn để tạo ứng dụng web, nhóm có thể sử dụng điểm số theo ba chiều của WebCraftBench để so sánh khách quan, tránh quyết định chỉ dựa trên hình thức của bản demo.
Kiểm thử nghiệm thu sản phẩm tạo trang web bằng AI: Đưa “quy trình kiểm thử thực tế” của WebCraftBench vào quy trình bàn giao sản phẩm, thay thế việc con người kiểm tra từng trang và tự động phát hiện các vấn đề như lối vào bị hỏng hoặc chức năng không thể tiếp cận.
Kiểm thử hồi quy khi lặp phiên bản mô hình tạo mã: Sau mỗi lần nâng cấp mô hình, chạy lại bộ tiêu chuẩn để so sánh thay đổi về tính thẩm mỹ, tính dễ sử dụng và mức độ đáp ứng yêu cầu, từ đó định lượng phiên bản mới tiến bộ hay thụt lùi.
Chẩn đoán phân tầng chất lượng tạo: Sử dụng việc tách chiều đánh giá và các dấu hiệu độ bao phủ thấp để xác định vấn đề nằm ở thiết kế, lỗi tương tác hay việc hiểu sai yêu cầu, qua đó định hướng tối ưu có mục tiêu.