ChatGPT đạt khả năng lập trình đáng kinh ngạc, nghiên cứu mới chỉ ra AI chatbot này vượt trội hơn mong đợi
Dẫu ChatGPT có được đánh giá cao trong lĩnh vực lập trình, nghiên cứu mới chỉ ra rằng khả năng trả lời của chatbot AI này không thực sự vượt trội như người ta tưởng
Trước sự xuất hiện và phổ biến của ChatGPT, Stack Overflow đã trở thành một nguồn tài nguyên không thể thiếu cho các lập trình viên khi cần lời khuyên cho dự án của họ. Tuy nhiên, giống như các diễn đàn thông thường khác, bạn phải chờ đợi ai đó có kiến thức về vấn đề cụ thể để có thể trả lời câu hỏi của bạn.
Khác với điều đó, ChatGPT có khả năng cung cấp câu trả lời cho các câu hỏi bất kỳ, vào bất kỳ thời điểm nào, điều này đã thu hút sự quan tâm của nhiều người hơn Stack Overflow. Tuy nhiên, ngoại trừ một số bài kiểm tra riêng lẻ, không có nhiều dữ liệu cho thấy ChatGPT hiệu quả như thế nào trong việc đáp ứng câu hỏi của lập trình viên. Vì vậy, một nghiên cứu mới từ Đại học Purdue quyết định khám phá vấn đề này.
Để hiểu được mức độ hiệu quả của ChatGPT trong việc trả lời các câu hỏi về kỹ năng lập trình, nhà nghiên cứu đã sử dụng 517 câu hỏi từ Stack Overflow để kiểm tra chất lượng và độ chính xác của các câu trả lời.
Kết quả có thể khiến nhiều người bất ngờ với khả năng lập trình của ChatGPT. Trong số 517 câu hỏi, khoảng 52% (259 câu) câu trả lời của ChatGPT được cho là sai và chỉ có 48% (248 câu) được coi là đúng. Hơn nữa, tới 77% câu trả lời dài dòng, chỉ có một phần nhỏ các câu trả lời tương đồng với cách mà con người trả lời.
Mặc dù trả lời thiếu chính xác đáng kể cho các câu hỏi, nhưng kết quả cho thấy 65% các câu trả lời có khả năng hiểu rõ và giải quyết được tất cả các khía cạnh của câu hỏi.
Để điều tra sâu hơn về chất lượng phản hồi của ChatGPT, các nhà nghiên cứu đã yêu cầu 12 người chuyên gia lập trình đưa ra ý kiến của họ về các vấn đề này.
Mặc dù người tham gia thích câu trả lời từ Stack Overflow hơn là từ ChatGPT khi người dùng chỉ lựa chọn 39,34% câu trả lời từ ChatGPT, nhưng thực tế là người tham gia cũng không thể đánh giá được tất cả các câu trả lời sai do ChatGPT tạo ra.
Theo nghiên cứu, câu trả lời từ ChatGPT được trình bày rõ ràng, thường khiến người dùng không để ý tới những thông tin sai lệch trong câu trả lời.
The revised content is as follows:
"Người dùng có thể bỏ qua thông tin không chính xác trong các câu trả lời tạo ra bởi ChatGPT (chiếm 39,34% tổng số câu trả lời), do các câu trả lời này cung cấp thông tin chi tiết, rõ ràng và giống như người thật", như các nhà nghiên cứu đã chỉ ra.
Sự xuất hiện các câu trả lời có vẻ hợp lý nhưng không chính xác là một vấn đề nghiêm trọng đối với tất cả các chatbot AI, vì nó có thể lan truyền thông tin sai lệch. Ngoài nguy cơ đó, độ chính xác thấp trong các câu trả lời là lí do để chúng ta không nên quá tưởng tượng về khả năng của ChatGPT, đặc biệt là trong lĩnh vực lập trình.
Google thử nghiệm AI mới siêu toàn diện, giúp người dùng giải quyết mọi vấn đề
