LLM là gì khi được sử dụng như một Thẩm phán

Các tác nhân AI lập kế hoạch, lý luận qua nhiều bước, gọi các công cụ bên ngoài và hoạt động tự động trong các môi trường phức tạp. Quy trình CI/CD truyền thống không còn phù hợp với nhu cầu ngày càng tăng của các lần lặp tác nhân. Sự thay đổi đó đã bộc lộ một khoảng trống nghiêm trọng: các phương pháp đánh giá mà chúng ta đã dựa vào trong nhiều năm đơn giản là không được xây dựng cho điều này.

Các chỉ số cổ điển như BLEU và ROUGE được thiết kế xung quanh sự trùng lặp từ vựng (hoặc sự tương đồng từ vựng). Chúng kiểm tra xem văn bản được tạo ra có chia sẻ từ hoặc cụm từ với câu trả lời tham chiếu hay không. Đối với các nhiệm vụ hẹp như dịch máy, cách tiếp cận đó hoạt động khá tốt. Nhưng khi một tác nhân cần lý luận qua một vấn đề nhiều bước, quyết định sử dụng công cụ nào, hoặc đưa ra câu trả lời tinh tế, nhạy cảm với ngữ cảnh, việc khớp từ hầu như không cho bạn biết liệu đầu ra có thực sự tốt hay không.

Vấn đề không chỉ dừng lại ở sự tinh tế định tính. Các tiêu chuẩn truyền thống cũng gặp khó khăn với phạm vi, tính nhất quán và quy mô. Việc chạy đánh giá con người quy mô lớn rất tốn kém và chậm chạp. Và các tiêu chuẩn tĩnh có nguy cơ trở nên lỗi thời, hoặc tệ hơn, bị nhiễm bẩn, khi các mô hình được đào tạo trên chính dữ liệu mà chúng đang được kiểm tra. Đánh giá AI ngày nay đòi hỏi một cách tiếp cận hoàn toàn khác, một cách tiếp cận có thể mở rộng, nhận biết ngữ cảnh và dựa trên cách con người thực sự đánh giá chất lượng. 

LLM-as-a-judge là một phương pháp đánh giá trong đó một mô hình ngôn ngữ lớn được sử dụng để đánh giá chất lượng đầu ra do một hệ thống AI khác tạo ra. Thay vì yêu cầu một người đánh giá hoặc một hàm chấm điểm mã hóa cứng, mô hình thẩm phán đọc đầu vào, phản hồi được tạo ra và một tập hợp các tiêu chí đánh giá, sau đó tạo ra một điểm số, một nhãn hoặc một đánh giá có cấu trúc.

Lý do rất đơn giản: LLM mạnh mẽ có khả năng hiểu ngôn ngữ mạnh, có thể theo dõi các hướng dẫn tinh tế và có thể đánh giá các phẩm chất khó thực sự hóa trong mã, chẳng hạn như giọng điệu, sự hữu ích, tính nhất quán logic và sự phù hợp với các giá trị con người. Nghiên cứu đã chỉ ra rằng các thẩm phán LLM có thể đồng ý với người đánh giá con người khoảng 80 đến 85 phần trăm thời gian trên nhiều nhiệm vụ đánh giá, khiến chúng trở thành một đại diện thực tế và tiết kiệm chi phí cho đánh giá con người ở quy mô lớn.

Cách tiếp cận này đã thu hút sự chú ý đáng kể trong các nhóm khoa học dữ liệu và kỹ thuật ML. Các trường hợp sử dụng hiện tại bao gồm: 

• Đánh giá chatbot hỗ trợ khách hàng về chất lượng phản hồi, độ chính xác và giọng điệu 

• Đánh giá nội dung sinh ra về mức độ liên quan và an toàn 

• Giám sát các đường dẫn tác nhân AI phức tạp nơi nhiều tác nhân hợp tác, chuyển giao nhiệm vụ hoặc đàm phán đầu ra 

• Chạy các bài kiểm tra hồi quy tự động khi một mô hình được cập nhật hoặc tinh chỉnh 

Một cuộc khảo sát toàn diện được công bố vào năm 2025 đã phát hiện rằng LLM-as-a-judge đã trở thành một trong những chiến lược đánh giá được áp dụng rộng rãi nhất trong các hệ thống AI sản xuất, một phần vì nó có thể hoạt động liên tục mà không gặp phải nút thắt cổ chai của các chu kỳ chú thích con người.

Cách LLM Đánh Giá Các Tác Nhân AI: Các Phương Pháp Cốt Lõi

Thiết lập một hệ thống LLM-as-a-judge đòi hỏi các lựa chọn thiết kế có chủ ý. Ba thiết lập đánh giá phổ biến nhất mỗi cái phục vụ các mục đích khác nhau. 

Đánh giá dựa trên gợi ý là hình thức trực tiếp nhất. Mô hình thẩm phán nhận được một gợi ý có cấu trúc bao gồm đầu vào ban đầu, đầu ra của tác nhân và hướng dẫn chấm điểm gắn liền với các tiêu chí cụ thể. Ví dụ, một thẩm phán có thể được yêu cầu đánh giá một phản hồi trên thang điểm từ một đến năm về độ chính xác thực tế và riêng biệt về sự hữu ích. Các tiêu chí được xác định bằng ngôn ngữ tự nhiên, điều này mang lại cho phương pháp này sự linh hoạt nhưng cũng có nghĩa là chất lượng của đánh giá phụ thuộc nhiều vào kỹ thuật gợi ý. 

Đánh giá dựa trên tiêu chí thêm cấu trúc bằng cách cung cấp cho thẩm phán một hướng dẫn chấm điểm chi tiết, tương tự như một tiêu chí chấm điểm mà giáo viên sẽ sử dụng. Mỗi mức điểm được mô tả rõ ràng. Một điểm số năm cho độ chính xác thực tế có thể yêu cầu tất cả các tuyên bố đều có thể kiểm chứng và không có thông tin nào bị thiếu, trong khi một điểm số hai có thể chỉ ra nhiều lỗi thực tế. Phương pháp này cải thiện tính nhất quán trên các lần chạy đánh giá lớn và làm cho việc chấm điểm có thể tái tạo hơn.

So sánh cặp đôi và đánh giá theo kiểu bảng xếp hạng có một góc độ khác. Thay vì chấm điểm một phản hồi đơn lẻ trong sự cô lập, thẩm phán được hiển thị hai phản hồi cạnh nhau và được yêu cầu cái nào tốt hơn, hoặc tốt hơn bao nhiêu. Định dạng này giảm bớt khó khăn trong việc gán điểm tuyệt đối và đã được sử dụng rộng rãi trong các nền tảng như Vellum LLM Leaderboard để xếp hạng các mô hình so với nhau. So sánh cặp đôi thường tạo ra sự đồng thuận giữa các người đánh giá cao hơn so với chấm điểm tuyệt đối, mặc dù chúng yêu cầu nhiều tính toán hơn cho mỗi lần đánh giá vì mỗi lần so sánh liên quan đến hai đầu ra.

Trên các lựa chọn cấu trúc này, các thẩm phán LLM có thể đánh giá cả các chỉ số khách quan và chủ quan. Các chiều khách quan bao gồm độ chính xác thực tế, tỷ lệ hoàn thành nhiệm vụ, độ trễ và độ chính xác sử dụng công cụ. Các chiều chủ quan bao gồm sự phù hợp về giọng điệu, sự mạch lạc của phản hồi và an toàn. Đối với đánh giá tác nhân AI cụ thể, các nhóm thường cần cả hai, vì một phản hồi chính xác về mặt kỹ thuật vẫn có thể thất bại nếu nó được đưa ra theo cách làm suy yếu niềm tin của người dùng.

Khoa Học Dữ Liệu Ẩn Sau

Hiểu tại sao LLM-as-a-judge hoạt động và nơi nó gặp trục trặc đòi hỏi phải xem xét khoa học dữ liệu làm nền tảng cho nó. Ba lĩnh vực quan trọng nhất: thiết kế mẫu, phương pháp tổng hợp và độ tin cậy thống kê. 

Phương Pháp Lấy Mẫu Cho Bộ Đánh Giá

Chất lượng của một lần chạy đánh giá phụ thuộc nhiều vào những gì được đánh giá. Đánh giá chỉ các trường hợp phổ biến, dễ dàng nhất sẽ cho bạn một bức tranh hiệu suất bị thổi phồng. Một mẫu đánh giá được thiết kế tốt nên bao gồm: 

• Các trường hợp điển hình: Các loại truy vấn phổ biến nhất mà hệ thống của bạn gặp phải trong sản xuất 

• Các trường hợp biên: Các truy vấn hiếm nhưng có rủi ro cao, chẳng hạn như các đầu vào mơ hồ, các gợi ý đối kháng hoặc các yêu cầu ở ranh giới của khả năng của hệ thống 

• Các mẫu phân tầng theo chủ đề hoặc phân đoạn người dùng: Nếu tác nhân của bạn xử lý các lĩnh vực đa dạng, mẫu của bạn nên đại diện tỷ lệ cho mỗi lĩnh vực 

Trong thực tế, nhiều nhóm sử dụng lấy mẫu ngẫu nhiên phân tầng để đảm bảo độ bao phủ trên các danh mục này. Một số cũng sử dụng lấy mẫu quan trọng, nơi các tương tác khó hơn hoặc có rủi ro cao hơn được lấy mẫu quá mức so với tần suất của chúng, vì thất bại ở đó quan trọng hơn. Đối với đánh giá AI, có một tập dữ liệu đại diện và được phân tầng cẩn thận là điều phân biệt một đánh giá có ý nghĩa với một đánh giá trông tốt trên giấy nhưng bỏ lỡ các chế độ thất bại trong thế giới thực.

Kỹ Thuật Tổng Hợp Chú Thích 

Một mô hình thẩm phán đơn lẻ có thể sai, thiên vị hoặc không nhất quán. Phản ứng tiêu chuẩn trong khoa học dữ liệu là tổng hợp trên nhiều thẩm phán hoặc nhiều lần đánh giá. Các kỹ thuật phổ biến nhất là: 

Bỏ phiếu đa số là đơn giản và được sử dụng rộng rãi. Nhiều thẩm phán LLM độc lập đánh giá cùng một phản hồi, và điểm số hoặc nhãn cuối cùng được xác định bởi kết quả mà đa số chọn. Điều này hoạt động tốt khi nhiệm vụ có câu trả lời đúng rõ ràng, nhưng có thể gây hiểu lầm khi các lỗi có tương quan, chẳng hạn như khi tất cả các thẩm phán chia sẻ cùng một thiên vị đào tạo. Bỏ phiếu đa số tiêu chuẩn không tính đến sự không đồng nhất và tương quan giữa các phản hồi mô hình, điều này hạn chế hiệu quả của nó trong các cài đặt phức tạp. Thông thường, sử dụng nhà cung cấp LLM khác nhau cho mỗi thẩm phán có thể là một cách tốt để giảm thiểu rủi ro thiên vị.

Tổng hợp có trọng số giải quyết điều này bằng cách gán trọng số khác nhau cho các thẩm phán khác nhau dựa trên hồ sơ theo dõi của họ hoặc hiệu chuẩn so với nhãn của con người. Nghiên cứu đã giới thiệu các thuật toán như Trọng số Tối ưu tận dụng thông tin bậc cao hơn từ đầu ra của thẩm phán để vượt trội hơn bỏ phiếu đa số đơn giản một cách nhất quán trên các nhiệm vụ đánh giá.

Chấm điểm độ tin cậy yêu cầu thẩm phán báo cáo không chỉ một điểm số mà còn một mức độ chắc chắn kèm theo. Các đánh giá có độ tin cậy thấp sau đó có thể được đánh dấu để xem xét của con người, điều này tạo ra một hệ thống con người trong vòng lặp thực tế tập trung nỗ lực của con người vào nơi cần thiết nhất. 

Các chỉ số đồng thuận giữa các người đánh giá như Kappa của Cohen hoặc Alpha của Krippendorff cung cấp cho các nhóm một thước đo thống kê về mức độ đồng ý của các thẩm phán khác nhau. Các phương pháp đồng thuận đa thẩm phán đã được chứng minh đạt điểm Macro F1 từ 97,6 đến 98,4 phần trăm với các giá trị Kappa của Cohen mạnh, khiến chúng đáng tin cậy hơn đáng kể so với các thiết lập thẩm phán đơn lẻ.

Độ Tin Cậy Thống Kê và Các Chế Độ Thất Bại Đã Biết 

Ngay cả các hệ thống thẩm phán LLM được thiết kế tốt cũng mang theo các rủi ro hệ thống mà các nhà khoa học dữ liệu cần phải giám sát tích cực. 

Thiên vị vị trí là một trong những vấn đề được ghi nhận nhiều nhất. Các thẩm phán LLM có xu hướng ưu tiên các phản hồi dựa trên vị trí của chúng trong gợi ý, thường thích bất kỳ tùy chọn nào xuất hiện đầu tiên trong so sánh cặp đôi hoặc cuối cùng trong danh sách. Một nghiên cứu hệ thống được công bố tại IJCNLP 2025 đã xác nhận điều này trên nhiều mô hình thẩm phán và định dạng đánh giá, cho thấy rằng thiên vị vị trí không phải là nhiễu ngẫu nhiên mà là một mô hình nhất quán, có thể tái tạo. Biện pháp giảm thiểu tiêu chuẩn là ngẫu nhiên hóa thứ tự phản hồi trong các lần chạy đánh giá và trung bình kết quả.

Thiên vị độ dài là một vấn đề nổi tiếng khác: các thẩm phán LLM thường đánh giá cao các phản hồi dài hơn, chi tiết hơn so với các phản hồi ngắn gọn nhưng cũng đúng, bất kể độ dài thêm có thực sự mang lại giá trị hay không.

Chơi trò chơi đối kháng là một mối quan tâm cấu trúc nghiêm trọng hơn. Nếu mô hình đang được đánh giá có quyền truy cập vào thông tin về cách thẩm phán chấm điểm các phản hồi, nó có thể học cách tạo ra các đầu ra đạt điểm cao mà không thực sự tốt hơn. Điều này tương tự như Luật Goodhart trong thống kê: khi một thước đo trở thành mục tiêu, nó không còn là một thước đo tốt nữa. 

Ô nhiễm dữ liệu và rò rỉ tiêu chuẩn có lẽ là những mối đe dọa lớn nhất đối với tính hợp lệ của đánh giá AI. Nếu một mô hình được đào tạo trên dữ liệu trùng lặp với tiêu chuẩn, điểm số của nó sẽ bị thổi phồng và vô nghĩa như một chỉ số về hiệu suất thực tế.

Báo cáo khoảng tin cậy là một thực hành tốt thường bị bỏ qua. Một điểm số tổng hợp đơn lẻ che giấu thông tin quan trọng về sự biến đổi. Các khung xây dựng khoảng tin cậy tính đến sự không chắc chắn từ cả tập dữ liệu kiểm tra và tham chiếu nhãn con người cung cấp cho các nhóm một bức tranh trung thực hơn nhiều về mức độ đáng tin cậy của các con số đánh giá của họ thực sự là bao nhiêu.

Tương Lai Của Đánh Giá Tác Nhân AI 

Lĩnh vực này không đứng yên. Một số xu hướng đang định hình lại cách các nhóm nghĩ về đánh giá cho nền tảng tác nhân AI.

Các khung đánh giá đa tác nhân phân phối nhiệm vụ đánh giá trên một bảng điều khiển của các tác nhân đánh giá chuyên biệt, mỗi tác nhân tập trung vào một chiều khác nhau như an toàn, độ chính xác thực tế hoặc hoàn thành nhiệm vụ. Kết hợp các đầu ra của họ làm giảm nguy cơ các điểm mù hệ thống mà bất kỳ mô hình thẩm phán đơn lẻ nào cũng mang theo. Nghiên cứu từ Amazon Science đã chỉ ra rằng sự hợp tác đa tác nhân trong đánh giá đường dẫn cải thiện đáng kể độ tin cậy và công bằng của các đánh giá LLM-as-a-judge.

Đánh giá dựa trên quỹ đạo đang thu hút sự chú ý đối với các hệ thống tác nhân cụ thể. Thay vì chỉ chấm điểm đầu ra cuối cùng, đánh giá quỹ đạo kiểm tra từng bước mà tác nhân đã thực hiện để đến đó, các công cụ mà nó đã gọi, các quyết định mà nó đã đưa ra và liệu con đường lý luận của nó có hợp lý ngay cả khi câu trả lời cuối cùng tình cờ đúng.

Đánh giá mạnh mẽ không phải là một bước hoàn thiện trong phát triển AI. Đó là cơ sở hạ tầng liên tục. Khi các hệ thống AI tự động đảm nhận các nhiệm vụ có mức độ rủi ro cao hơn, có các phương pháp chính xác, có thể mở rộng và dựa trên thống kê để đánh giá hiệu suất của chúng là điều phân biệt AI đáng tin cậy với AI chỉ đơn thuần là đáng tin cậy trên bảng xếp hạng.

Bắt đầu đánh giá các tác nhân AI của bạn với các công cụ như bộ công cụ đánh giá AgentX và xem cách nhiều thẩm phán LLM từ các nhà cung cấp khác nhau làm việc cùng nhau. Nó tương thích với bất kỳ nền tảng xây dựng tác nhân nào như LangChain, CrewAI, AutoGen, LlamaIndex, OpenAI, Anthropic, v.v. Chỉ mất vài phút để có được một báo cáo đánh giá đầy đủ về Tác nhân của bạn.