Công cụ có tên Pix2pix3d cho phép mọi người tạo phiên bản thực tế 3D qua phác hoạ 2D bằng cách sử dụng các công cụ trí tuệ nhân tạo Generative AI như các ứng dụng chỉnh sửa và tạo ảnh AI phổ biến. 

Generative AI là một lớp của trí tuệ nhân tạo mà nó có khả năng tạo ra dữ liệu mới mà chúng không hề tồn tại trong thế giới thực. Thay vì học từ dữ liệu như hầu hết các mô hình trí tuệ nhân tạo khác, Generative AI sử dụng các kỹ thuật và mô hình học máy đặc biệt để tạo ra dữ liệu mới có tính chất giống với dữ liệu huấn luyện mà nó được đưa vào. Các ứng dụng của Generative AI bao gồm tạo ra ảnh, âm nhạc, văn bản, video và nhiều loại dữ liệu khác có tính chất tương tự.

Jun-Yan Zhu, trợ lý giáo sư tại Trường Khoa học Máy tính và là thành viên của nhóm Pix2pix3d cho biết: Mục tiêu nghiên cứu của chúng tôi là làm cho nhiều người có thể tiếp cận việc sáng tạo nội dung hơn thông qua sức mạnh của máy học và các phương pháp tiếp cận dựa trên dữ liệu. 

Không giống như các công cụ khác với khả năng tạo hình ảnh hai chiều, Pix2pix3d là mô hình sử dụng Generative AI có điều kiện nhận biết 3D, cho phép người dùng nhập bản phác thảo hai chiều hoặc thông tin chi tiết hơn từ bản đồ nhãn, chẳng hạn như bản đồ phân đoạn hoặc cạnh. Sau đó, Pix2pix3d tổng hợp biểu diễn dưới nhiều góc nhìn từ hình học, hình dạng và nhãn của vật thể, giúp tạo ra hình ảnh ba chiều chân thực giống như một bức ảnh.

Nhóm nghiên cứu cho biết, người dùng có thể tạo mô hình 3D tuỳ chỉnh của riêng mình chỉ với một bản phác thảo. Pix2pix3d đã được phát triển về các bộ dữ liệu bao gồm ô tô, mèo và khuôn mặt người, đồng thời nhóm đang nỗ lực mở rộng các khả năng đó. 

Trong tương lai, công cụ này có thể được sử dụng trong thiết kế các sản phẩm tiêu dùng, chẳng hạn như cung cấp cho mọi người khả năng tùy chỉnh đồ nội thất cho ngôi nhà của họ. Cả nhà thiết kế chuyên nghiệp và người mới bắt đầu đều có thể sử dụng nó để tùy chỉnh các nội dung trong môi trường thực tế ảo, trò chơi điện tử hoặc thêm hiệu ứng cho phim.

Sau khi Pix2pix3d tạo hình ảnh 3D, người dùng có thể sửa đổi hình ảnh đó trong thời gian thực bằng cách xóa và vẽ lại bản phác thảo hai chiều ban đầu. Tính năng này cho phép người dùng tự do hơn trong việc tùy chỉnh và tinh chỉnh hình ảnh mà không cần phải kết xuất lại toàn bộ dự án. Các thay đổi được phản ánh trong mô hình 3D và chính xác từ nhiều góc nhìn.

Tính năng chỉnh sửa tương tác khiến Pix2pix3d khác biệt với các công cụ lập mô hình khác vì người dùng có thể thực hiện các điều chỉnh nhanh chóng và hiệu quả. Khả năng này có thể đặc biệt hữu ích trong các lĩnh vực như sản xuất vì người dùng có thể dễ dàng thiết kế, thử nghiệm và điều chỉnh sản phẩm. Khi được cung cấp dữ liệu chính xác và chi tiết hơn từ bản đồ phân đoạn hoặc cạnh, mô hình có thể tạo ra hình ảnh 3D rất tinh vi.

Hải Hà