PersonaTalk Đang hoạt động

PersonaTalk được định vị là một khung lồng tiếng trực quan bằng AI, tập trung giải quyết vấn đề khẩu hình nhân vật không khớp với giọng nói sau khi thay đổi phần lồng tiếng. Công cụ nhận video nhân vật và âm thanh mục tiêu làm đầu vào, tạo phiên bản video có khẩu hình chuyển động theo âm thanh mới, đồng thời duy trì biểu cảm khuôn mặt và phong cách hình ảnh vốn có của nhân vật.

Khung này hướng đến các quy trình sản xuất nội dung cần xử lý cảnh nhân vật nói chuyện, phù hợp với những tác vụ như thay thế ngôn ngữ, lồng tiếng nhân vật và tạo hoạt ảnh khuôn mặt.

Công cụ hỗ trợ ghép âm thanh mục tiêu với khẩu hình của nhân vật trong video, đồng thời cố gắng giữ lại phong cách nói chuyện và biểu cảm khuôn mặt riêng của nhân vật. Cơ chế kết xuất khuôn mặt với hai lớp chú ý tập trung riêng vào vùng môi và các vùng khuôn mặt khác, giúp bảo toàn các chi tiết như kết cấu da, lớp trang điểm và giảm các vấn đề hình ảnh như răng nhấp nháy.

PersonaTalk xử lý nhân vật mới theo phương thức zero-shot; tài liệu cho biết không cần huấn luyện hoặc tinh chỉnh riêng cho từng nhân vật mới.

Trong biên dịch phim ảnh, công cụ có thể tạo bản lồng tiếng bằng nhiều ngôn ngữ, giúp khẩu hình nhân vật thay đổi theo ngôn ngữ mục tiêu. Các đội ngũ quảng cáo có thể chuyển cùng một video sang phiên bản ngôn ngữ cho nhiều khu vực khác nhau mà vẫn giữ lại biểu hiện của nhân vật trong hình ảnh gốc.

Nội dung giáo dục trực tuyến có thể dùng công cụ để chuyển đổi ngôn ngữ bài học hoặc tạo video giáo viên ảo. Các nhà làm hoạt hình và phát triển nhân vật kỹ thuật số có thể sử dụng công cụ để tạo khẩu hình và biểu cảm khuôn mặt cho nhân vật, đặc biệt phù hợp với tư liệu có cảnh nhân vật nói chuyện trực diện.

Trước khi sử dụng, cần chuẩn bị video nhân vật và âm thanh mục tiêu. Kết quả cuối cùng phụ thuộc vào mức độ phù hợp của tư liệu đầu vào với việc xử lý khuôn mặt và khẩu hình. Đối với các đoạn có nhân vật bị che khuất, chuyển động khuôn mặt phức tạp hoặc quan hệ giữa âm thanh và hình ảnh không rõ ràng, cần kiểm tra từng đoạn sau khi xuất để bảo đảm khẩu hình, răng và kết cấu khuôn mặt trông tự nhiên.

Hiện tài liệu chưa cung cấp các thông tin như quy trình triển khai cụ thể, yêu cầu phần cứng, tốc độ xử lý và định dạng đầu ra, cũng chưa nêu rõ giới hạn sử dụng trong các cảnh phức tạp. Trước khi áp dụng thực tế, nên đọc tài liệu dự án và thử nghiệm bằng các tư liệu đại diện.