Bar Exam được biết đến là kỳ thi gian khổ kéo dài hai ngày do Hội đồng Giám định Luật Quốc gia (NCBE) xây dựng và tổ chức nhằm đặt ra tiêu chuẩn thống nhất cho các luật sư tương lai. Những người muốn trở thành luật sư bắt buộc phải vượt qua kỳ thi này để được cấp phép hành nghề tại Hoa Kỳ.

Nghiên cứu này viện dẫn, trong cuộc thử nghiệm được tiến hành bởi hai giáo sư luật và hai nhân viên của công ty công nghệ pháp lý Casetext, mô hình trí tuệ nhân tạo GPT-4 mới nâng cấp và phát hành hôm 14/3 bởi OpenAI đã dễ dàng vượt qua Bar Exam với số điểm 297.

Điểm số này đặt GPT-4 ở vị trí thứ 90 trong số các thí sinh và đủ để được công nhận là luật sư tại hầu hết các tiểu bang.

Kỳ thi Bar Exam đánh giá cả kiến thức lẫn tư duy, bao gồm cả bài luận và bài kiểm tra hiệu suất, nhằm mô phỏng công việc thực tế của một luật sư, cùng với đó là các câu hỏi theo hình thức trắc nghiệm.

Các mô hình ngôn ngữ lớn hiện nay có thể đáp ứng được tiêu chuẩn đánh giá cho các luật sư ở hầu hết các khu vực tại Hoa Kỳ. Những mô hình này có khả năng xử lý các nhiệm vụ phức tạp, đòi hỏi kiến thức pháp lý sâu rộng cùng với khả năng đọc hiểu và viết lách".

Được biết, chỉ chưa đầy bốn tháng trước, hai trong số các nhà nghiên cứu đã kết luận phiên bản cũ của ChatGPT không đạt được số điểm đậu trong kỳ thi Bar. Kết quả nghiên cứu mới đã cho thấy sự tiến bộ nhanh chóng của công nghệ này.

Thế hệ GPT-4 mới đã vượt qua gần 76% số câu hỏi trắc nghiệm trong Bar Exam, trội hơn khoảng 7% so với thí sinh dự thi thực tế, ngoài ra cũng vượt lên hẳn 50% so với kết quả thử nghiệm trước đó từ đàn em GPT-3.5. Nhờ đó, OpenAI cũng dựa vào số điểm khảo sát ấn tượng này để quảng bá mô hình ngôn ngữ mới GPT-4 vào hôm 14/3.

Hội nghị Giám khảo Luật sư Quốc gia (The National Conference of Bar Examiners), đơn vị tổ chức thiết kế phần trắc nghiệm, cho biết các luật sư có những kỹ năng độc đáo được tích lũy thông qua quá trình học tập và kinh nghiệm mà "hiện tại trí tuệ nhân tạo chưa thể so sánh được".

Trong một cuộc phỏng vấn, Giáo sư Daniel Martin Katz, một trong những tác giả của nghiên cứu tại trường Luật Chicago-Kent, cho biết ông đã rất bất ngờ về khả năng của GPT-4 khi trả lời bài luận và phần kiểm tra hiệu suất khá mạch lạc và sát câu hỏi.

"Tôi từng nghe rất nhiều người nhận định rằng nó có thể làm được bài trắc nghiệm nhưng không bao giờ có thể làm tốt các bài luận", ông Daniel Martin Katz cho hay.

Trí tuệ nhân tạo cũng đã thể hiện được khả năng ưu việt trên các kỳ thi chuẩn hóa khác, bao gồm cả SAT và GRE, nhưng việc vượt qua kỳ thi luật lần này đã thu hút được rất nhiều sự chú ý từ cộng đồng.

Ông Sean Silverman, một giáo viên hướng dẫn cho kỳ thi Bar, giải thích rằng hiện tượng này xảy ra bởi kỳ thi Bar đã được công nhận là một kỳ thi rất khó. Tỷ lệ đậu lần đầu cho kỳ thi này trong năm nay là 78% đối với những người đã hoàn thành chương trình học 3 năm tại đại học Luật.

Ông Silverman cho rằng việc trí tuệ nhân tạo vượt qua một kỳ thi dành cho học sinh trung học như SAT có thể sẽ không gây ấn tượng bằng việc đỗ kỳ thi Bar khó nhằn được công nhận trên toàn thế giới.

Khánh Linh