Ngày 16/12, tại Zalo AI Summit 2023, mô hình ngôn ngữ lớn (Large Language Model - LLM) của Zalo AI đã có màn chào sân thông qua thử thách game Kahoot cùng loạt mô hình ngôn ngữ lớn hiện có trên thị trường hiện nay.

Cụ thể, trong thử thách được đặt ra bởi Tinhte.vn, chatbot Kiki dựa trên LLM của Zalo AI, GPT-4, GPT-3.5 (OpenAI), QWen (Alibaba), LLaMA (Meta), và một mô hình khác của Việt Nam vừa được ra mắt gần đây đã thực hiện trả lời 20 câu hỏi trắc nghiệm thuộc nhiều lĩnh vực khác nhau như đời sống - xã hội, khoa học thường thức, văn học, lịch sử, địa lý và tiếng Anh... với thời gian hạn định chỉ 10 giây/câu hỏi.

Kết quả trung bình các LLM đã trả lời đúng 8/20 câu hỏi, trong đó, nhiều câu có độ thử thách cao, mà một người bình thường khó có thể trả lời chính xác chỉ trong 10 giây. Kiki của Zalo cũng xuất sắc giành được hạng 3 chung cuộc chỉ sau một mô hình ngôn ngữ lớn là GPT-4 của OpenAI và quản trị viên Tinhte.vn.

Theo thông tin được đưa ra tại Zalo AI Summit 2023, phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention và Llama với dữ liệu hướng dẫn chất lượng cao.

Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi... Trước đó, LLM này cũng đã từng được thử nghiệm để tạo ra hàng triệu bài thơ nhân dịp 8/3 và 20/10.

Ông Nguyễn Minh Tú, Giám đốc Công nghệ Zalo, cho biết tổ chức này bắt đầu xây dựng LLM cho tiếng Việt từ đầu năm. Một số ứng dụng nhỏ của công nghệ AI tạo sinh như viết thơ, dựng avatar đã được đưa vào app và có hàng triệu người dùng đón nhận.

Hiện Zalo đang phát triển LLM của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B - 30B tham số. Phiên bản chatbot Kiki được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số. Trong tương lai, Zalo tiếp tục cải tiến mô hình của mình trước khi ra mắt người dùng và cung cấp nền tảng cho các ứng dụng hữu ích như chatbot, chăm sóc khách hàng, trình sáng tạo nội dung...

Trong một đánh giá khác thực hiện trên VMLU - Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các LLM, được hợp tác phát triển bởi Zalo AI và Viện khoa học Công nghệ Tiên tiến Nhật Bản (JAIST), cho thấy mô hình của Zalo xếp thứ hai chỉ sau GPT-4 trong hầu hết mục đánh giá. Đây là một kết quả đáng khích lệ với một mô hình có thời gian huấn luyện không lâu, cho thấy tiềm năng phát triển và bắt kịp thế giới của ngành AI Việt Nam.

Khánh An