AI agents วางแผน เหตุผลในหลายขั้นตอน เรียกใช้เครื่องมือภายนอก และทำงานอัตโนมัติในสภาพแวดล้อมที่ซับซ้อน การใช้ CI/CD pipeline แบบดั้งเดิมไม่สามารถตอบสนองความต้องการที่เพิ่มขึ้นของการทำซ้ำของเอเจนต์ได้ การเปลี่ยนแปลงนี้ได้เปิดเผยช่องว่างที่สำคัญ: วิธีการประเมินที่เราเคยพึ่งพามาหลายปีไม่ได้ถูกสร้างขึ้นมาเพื่อสิ่งนี้
ตัวชี้วัดแบบคลาสสิกเช่น BLEU และ ROUGE ถูกออกแบบมาเพื่อ การทับซ้อนทางศัพท์ (หรือความคล้ายคลึงทางศัพท์) พวกเขาตรวจสอบว่าข้อความที่สร้างขึ้นมีคำหรือวลีร่วมกับคำตอบอ้างอิงหรือไม่ สำหรับงานที่แคบเช่นการแปลภาษาเครื่อง วิธีนี้ทำงานได้ดีพอสมควร แต่เมื่อเอเจนต์ต้องใช้เหตุผลผ่านปัญหาหลายขั้นตอน ตัดสินใจว่าจะใช้เครื่องมือใด หรือให้คำตอบที่ละเอียดอ่อนและมีบริบท การจับคู่คำบอกคุณเกือบจะไม่มีอะไรเกี่ยวกับว่าผลลัพธ์นั้นดีจริงหรือไม่
ปัญหานี้เกินกว่าความละเอียดอ่อนเชิงคุณภาพ ตัวชี้วัดแบบดั้งเดิมยังประสบปัญหากับการครอบคลุม ความสม่ำเสมอ และขนาด การประเมินมนุษย์ในขนาดใหญ่มีค่าใช้จ่ายสูงและช้า และตัวชี้วัดแบบคงที่เสี่ยงที่จะล้าสมัย หรือแย่กว่านั้น ถูกปนเปื้อนเมื่อโมเดลถูกฝึกฝนด้วยข้อมูลที่พวกเขากำลังถูกทดสอบ AI benchmarking ในปัจจุบันต้องการวิธีการที่แตกต่างกันโดยสิ้นเชิง ซึ่งสามารถขยายได้ มีบริบท และยึดตามวิธีที่มนุษย์ตัดสินคุณภาพจริงๆ
LLM-as-a-judge เป็นวิธีการประเมินที่ใช้โมเดลภาษาขนาดใหญ่ในการประเมินคุณภาพของผลลัพธ์ที่สร้างโดยระบบ AI อื่น แทนที่จะต้องการผู้ตรวจสอบมนุษย์หรือฟังก์ชันการให้คะแนนที่ถูกเขียนโค้ดอย่างหนัก โมเดลผู้ตัดสินจะอ่านข้อมูลนำเข้า การตอบสนองที่สร้างขึ้น และชุดของเกณฑ์การประเมิน จากนั้นสร้างคะแนน ป้ายกำกับ หรือการประเมินที่มีโครงสร้าง
เหตุผลนั้นตรงไปตรงมา: LLMs ที่มีพลังมีความเข้าใจภาษาที่แข็งแกร่ง สามารถปฏิบัติตามคำแนะนำที่ละเอียดอ่อน และสามารถประเมินคุณสมบัติที่ยากต่อการดำเนินการในโค้ด เช่น โทน ความช่วยเหลือ ความสอดคล้องทางตรรกะ และการสอดคล้องกับค่านิยมของมนุษย์ งานวิจัยได้แสดงให้เห็นว่า LLM judges สามารถเห็นด้วยกับผู้ตรวจสอบมนุษย์ประมาณ 80 ถึง 85 เปอร์เซ็นต์ในหลายงานประเมิน ทำให้พวกเขาเป็นตัวแทนที่มีประสิทธิภาพและคุ้มค่าต่อการประเมินของมนุษย์ในขนาดใหญ่
วิธีการนี้ได้รับความนิยมอย่างมากในทีมวิทยาศาสตร์ข้อมูลและวิศวกรรม ML กรณีการใช้งานปัจจุบันรวมถึง:
การประเมินแชทบอทสนับสนุนลูกค้าสำหรับคุณภาพการตอบสนอง ความถูกต้อง และโทน
การประเมินเนื้อหาที่สร้างขึ้นสำหรับความเกี่ยวข้องและความปลอดภัย
การตรวจสอบท่อส่ง AI Agent ที่ซับซ้อนที่ หลายเอเจนต์ร่วมมือกัน ส่งต่อภารกิจ หรือเจรจาผลลัพธ์
การรันการทดสอบการถดถอยอัตโนมัติเมื่อโมเดลถูกอัปเดตหรือปรับแต่ง
การสำรวจที่ครอบคลุมที่ตีพิมพ์ในปี 2025 พบว่า LLM-as-a-judge ได้กลายเป็นหนึ่งในกลยุทธ์การประเมินที่ได้รับการยอมรับอย่างกว้างขวางที่สุดในระบบ AI ที่ใช้งานจริง ส่วนหนึ่งเพราะมันสามารถทำงานได้อย่างต่อเนื่องโดยไม่ต้องมีคอขวดของรอบการทำหมายเหตุของมนุษย์
วิธีที่ LLMs ประเมิน AI Agents: วิธีการหลัก
การตั้งค่าระบบ LLM-as-a-judge ต้องการการออกแบบที่ตั้งใจ สามการตั้งค่าการประเมินที่พบบ่อยที่สุดแต่ละแบบมีวัตถุประสงค์ที่แตกต่างกัน
การประเมินแบบ Prompt-based เป็นรูปแบบที่ตรงที่สุด โมเดลผู้ตัดสินได้รับ prompt ที่มีโครงสร้างซึ่งรวมถึงข้อมูลนำเข้าต้นฉบับ ผลลัพธ์ของเอเจนต์ และคำแนะนำการให้คะแนนที่เชื่อมโยงกับเกณฑ์เฉพาะ ตัวอย่างเช่น ผู้ตัดสินอาจถูกขอให้ให้คะแนนการตอบสนองในระดับหนึ่งถึงห้าสำหรับความถูกต้องของข้อเท็จจริง และแยกต่างหากสำหรับความช่วยเหลือ เกณฑ์ถูกกำหนดในภาษาธรรมชาติ ซึ่งทำให้วิธีนี้มีความยืดหยุ่น แต่ก็หมายความว่าคุณภาพของการประเมินขึ้นอยู่กับการออกแบบ prompt อย่างมาก
การประเมินแบบ Rubric-based เพิ่มโครงสร้างโดยให้ผู้ตัดสินมีคู่มือการให้คะแนนที่ละเอียด คล้ายกับการให้คะแนนที่ครูใช้ แต่ละระดับคะแนนถูกอธิบายอย่างชัดเจน คะแนนห้าสำหรับความถูกต้องของข้อเท็จจริงอาจต้องการให้การอ้างสิทธิ์ทั้งหมดสามารถตรวจสอบได้และไม่มีข้อมูลที่ขาดหายไป ในขณะที่คะแนนสองอาจบ่งชี้ถึงข้อผิดพลาดทางข้อเท็จจริงหลายประการ วิธีนี้ช่วยปรับปรุงความสม่ำเสมอในการประเมินขนาดใหญ่และทำให้การให้คะแนนสามารถทำซ้ำได้มากขึ้น
การเปรียบเทียบแบบคู่และการประเมินแบบกระดานผู้นำ ใช้มุมมองที่แตกต่าง แทนที่จะให้คะแนนการตอบสนองเดียวในแบบแยก ผู้ตัดสินจะเห็นการตอบสนองสองรายการเคียงข้างกันและถูกถามว่ารายการใดดีกว่า หรือดีกว่าเท่าใด รูปแบบนี้ลดความยากลำบากในการให้คะแนนแบบสัมบูรณ์และถูกใช้กันอย่างแพร่หลายในแพลตฟอร์มเช่น Vellum LLM Leaderboard เพื่อจัดอันดับโมเดลเมื่อเทียบกัน การเปรียบเทียบแบบคู่มักจะสร้างความเห็นพ้องของผู้ประเมินมากกว่าการให้คะแนนแบบสัมบูรณ์ แม้ว่าจะต้องใช้การคำนวณมากกว่าต่อการประเมินเนื่องจากการเปรียบเทียบแต่ละครั้งเกี่ยวข้องกับสองผลลัพธ์
นอกเหนือจากการเลือกโครงสร้างเหล่านี้ LLM judges สามารถประเมินทั้ง ตัวชี้วัดที่เป็นวัตถุประสงค์และเชิงอัตวิสัย มิติที่เป็นวัตถุประสงค์รวมถึงความถูกต้องของข้อเท็จจริง อัตราการทำภารกิจสำเร็จ ความล่าช้า และความถูกต้องในการใช้เครื่องมือ มิติที่เป็นเชิงอัตวิสัยครอบคลุมการจัดโทน ความสอดคล้องของการตอบสนอง และความปลอดภัย สำหรับ AI agent evaluation โดยเฉพาะ ทีมมักต้องการทั้งสองอย่าง เพราะการตอบสนองที่ถูกต้องทางเทคนิคยังคงล้มเหลวได้หากถูกส่งในลักษณะที่บั่นทอนความไว้วางใจของผู้ใช้
วิทยาศาสตร์ข้อมูลภายใต้ประทุน
การเข้าใจว่า LLM-as-a-judge ทำงานอย่างไร และที่ใดที่มันล้มเหลว ต้องดูที่วิทยาศาสตร์ข้อมูลที่สนับสนุนมัน สามพื้นที่ที่สำคัญที่สุดคือ การออกแบบการสุ่มตัวอย่าง วิธีการรวม และความน่าเชื่อถือทางสถิติ
วิธีการสุ่มตัวอย่างสำหรับชุดการประเมิน
คุณภาพของการประเมินขึ้นอยู่กับสิ่งที่ถูกประเมิน การประเมินเฉพาะกรณีที่พบมากที่สุดและง่ายที่สุดจะให้ภาพลวงตาของประสิทธิภาพที่สูงขึ้น ตัวอย่างการประเมินที่ออกแบบมาอย่างดีควรครอบคลุม:
กรณีทั่วไป: ประเภทคำถามที่พบบ่อยที่สุดที่ระบบของคุณพบในสภาพแวดล้อมการผลิต
กรณีขอบ: คำถามที่หายากแต่มีความเสี่ยงสูง เช่น ข้อมูลนำเข้าที่คลุมเครือ prompt ที่เป็นปฏิปักษ์ หรือคำขอที่อยู่ขอบเขตของความสามารถของระบบ
ตัวอย่างที่แบ่งชั้นตามหัวข้อหรือกลุ่มผู้ใช้: หากเอเจนต์ของคุณจัดการโดเมนที่หลากหลาย ตัวอย่างของคุณควรเป็นตัวแทนของแต่ละโดเมนตามสัดส่วน
ในทางปฏิบัติ หลายทีมใช้การสุ่มตัวอย่างแบบแบ่งชั้นเพื่อให้แน่ใจว่ามีการครอบคลุมในหมวดหมู่เหล่านี้ บางทีมยังใช้การสุ่มตัวอย่างที่สำคัญ ซึ่งการโต้ตอบที่ยากขึ้นหรือมีความเสี่ยงสูงจะถูกสุ่มตัวอย่างมากกว่าความถี่ของพวกเขา เพราะความล้มเหลวในที่นั้นมีความสำคัญมากกว่า สำหรับ AI benchmarking การมีชุดข้อมูลที่เป็นตัวแทนและแบ่งชั้นอย่างระมัดระวังคือสิ่งที่แยกการประเมินที่มีความหมายออกจากการประเมินที่ดูดีบนกระดาษแต่พลาดโหมดความล้มเหลวในโลกจริง
เทคนิคการรวมคำอธิบายประกอบ
โมเดลผู้ตัดสินเดียวอาจผิด มีอคติ หรือไม่สอดคล้องกัน การตอบสนองมาตรฐานในวิทยาศาสตร์ข้อมูลคือการ รวมจากผู้ตัดสินหลายคนหรือการประเมินหลายครั้ง เทคนิคที่ใช้กันมากที่สุดคือ:
การลงคะแนนเสียงข้างมาก เป็นเรื่องง่ายและใช้กันอย่างแพร่หลาย ผู้ตัดสิน LLM หลายคน ประเมินการตอบสนองเดียวกันอย่างอิสระ และคะแนนหรือป้ายกำกับสุดท้ายถูกกำหนดโดยผลลัพธ์ที่เสียงข้างมากเลือก วิธีนี้ทำงานได้ดีเมื่อภารกิจมีคำตอบที่ถูกต้องค่อนข้างชัดเจน แต่สามารถทำให้เข้าใจผิดได้เมื่อข้อผิดพลาดมีความสัมพันธ์กัน เช่น เมื่อผู้ตัดสินทั้งหมดมีอคติในการฝึกอบรมเดียวกัน การลงคะแนนเสียงข้างมากมาตรฐานล้มเหลวในการพิจารณาความหลากหลายและความสัมพันธ์ระหว่างการตอบสนองของโมเดล ซึ่งจำกัดประสิทธิภาพในสภาพแวดล้อมที่ซับซ้อน โดยปกติ การใช้ผู้จำหน่าย LLM ที่แตกต่างกันสำหรับผู้ตัดสินแต่ละคนสามารถเป็นวิธีที่ดีในการลดความเสี่ยงของอคติ
การรวมแบบถ่วงน้ำหนัก แก้ไขปัญหานี้โดยการกำหนดน้ำหนักที่แตกต่างกันให้กับผู้ตัดสินต่างๆ ตามประวัติการทำงานหรือการปรับเทียบกับป้ายกำกับของมนุษย์ งานวิจัยได้แนะนำอัลกอริทึมเช่น Optimal Weighting ที่ใช้ข้อมูลระดับสูงจากผลลัพธ์ของผู้ตัดสินเพื่อให้ผลลัพธ์ที่ดีกว่าการลงคะแนนเสียงข้างมากอย่างสม่ำเสมอในงานประเมิน
การให้คะแนนความมั่นใจ ขอให้ผู้ตัดสินรายงานไม่เพียงแต่คะแนนแต่ยังรวมถึงระดับความมั่นใจด้วย การตัดสินที่มีความมั่นใจต่ำสามารถถูกตั้งค่าสถานะสำหรับการตรวจสอบของมนุษย์ ซึ่งสร้างระบบมนุษย์ในวงจรที่มุ่งเน้นความพยายามของมนุษย์ในที่ที่จำเป็นที่สุด
ตัวชี้วัดความเห็นพ้องของผู้ประเมิน เช่น Cohen's Kappa หรือ Krippendorff's Alpha ให้ทีมมีมาตรการทางสถิติว่าผู้ตัดสินต่างๆ เห็นพ้องกันอย่างไร วิธีการเห็นพ้องของผู้ตัดสินหลายคนได้รับการแสดงให้เห็นว่าสามารถบรรลุคะแนน Macro F1 ที่ 97.6 ถึง 98.4 เปอร์เซ็นต์ด้วยค่า Cohen's Kappa ที่แข็งแกร่ง ทำให้พวกเขามีความน่าเชื่อถือมากกว่าการตั้งค่าผู้ตัดสินเดียว
ความน่าเชื่อถือทางสถิติและโหมดความล้มเหลวที่รู้จัก
แม้แต่ระบบผู้ตัดสิน LLM ที่ออกแบบมาอย่างดีก็มีความเสี่ยงเชิงระบบที่นักวิทยาศาสตร์ข้อมูลต้องเฝ้าติดตามอย่างแข็งขัน
อคติตำแหน่ง เป็นหนึ่งในปัญหาที่มีการบันทึกมากที่สุด ผู้ตัดสิน LLM มักจะชอบการตอบสนองตามตำแหน่งใน prompt มักจะชอบตัวเลือกใดก็ตามที่ปรากฏก่อนในการเปรียบเทียบแบบคู่หรือสุดท้ายในรายการ การศึกษาที่เป็นระบบที่ตีพิมพ์ใน IJCNLP 2025 ยืนยันสิ่งนี้ในหลายโมเดลผู้ตัดสินและรูปแบบการประเมิน แสดงให้อคติตำแหน่งไม่ใช่เสียงรบกวนแบบสุ่มแต่เป็นรูปแบบที่สอดคล้องและสามารถทำซ้ำได้ การลดผลกระทบมาตรฐานคือการสุ่มลำดับการตอบสนองในการประเมินและเฉลี่ยผลลัพธ์
อคติความยาว เป็นปัญหาที่รู้จักกันดีอีกประการหนึ่ง: ผู้ตัดสิน LLM มักจะให้คะแนนการตอบสนองที่ยาวกว่าและละเอียดกว่าสูงกว่าการตอบสนองที่กระชับแต่ถูกต้องเท่าๆ กัน โดยไม่คำนึงว่าความยาวเพิ่มเติมนั้นเพิ่มมูลค่าจริงหรือไม่
การเล่นเกมเชิงปฏิปักษ์ เป็นข้อกังวลเชิงโครงสร้างที่ร้ายแรงกว่า หากโมเดลที่กำลังถูกประเมินสามารถเข้าถึงข้อมูลเกี่ยวกับวิธีที่ผู้ตัดสินให้คะแนนการตอบสนอง มันสามารถเรียนรู้ที่จะสร้างผลลัพธ์ที่ได้คะแนนดีโดยไม่จริงๆ ดีขึ้น นี่เป็นสิ่งที่คล้ายกับกฎของ Goodhart ในสถิติ: เมื่อการวัดกลายเป็นเป้าหมาย มันจะหยุดเป็นการวัดที่ดี
การปนเปื้อนข้อมูลและการรั่วไหลของตัวชี้วัด อาจเป็นภัยคุกคามที่ใหญ่ที่สุดต่อความถูกต้องของ AI benchmarking หากโมเดลถูกฝึกฝนด้วยข้อมูลที่ทับซ้อนกับตัวชี้วัด คะแนนของมันจะถูกเพิ่มขึ้นอย่างเทียมและไร้ความหมายเป็นตัวบ่งชี้ประสิทธิภาพในโลกจริง
การรายงานช่วงความเชื่อมั่น เป็นแนวปฏิบัติที่มักถูกมองข้าม คะแนนรวมเดียวซ่อนข้อมูลสำคัญเกี่ยวกับความแปรปรวน เฟรมเวิร์คที่สร้างช่วงความเชื่อมั่นที่คำนึงถึงความไม่แน่นอนจากทั้งชุดข้อมูลทดสอบและการอ้างอิงป้ายกำกับของมนุษย์ให้ทีมมีภาพที่ซื่อสัตย์มากขึ้นว่าตัวเลขการประเมินของพวกเขาน่าเชื่อถือเพียงใด
อนาคตของการประเมิน AI Agent
สาขานี้ไม่ได้หยุดนิ่ง หลายแนวโน้มกำลังเปลี่ยนแปลงวิธีที่ทีมคิดเกี่ยวกับการประเมินสำหรับ แพลตฟอร์ม AI agent
กรอบการประเมินหลายเอเจนต์ แจกจ่ายงานการตัดสินไปยังกลุ่มของเอเจนต์ประเมินเฉพาะทาง แต่ละตัวเน้นไปที่มิติต่างๆ เช่น ความปลอดภัย ความถูกต้องของข้อเท็จจริง หรือการทำภารกิจสำเร็จ การรวมผลลัพธ์ของพวกเขาลดความเสี่ยงของจุดบอดเชิงระบบที่โมเดลผู้ตัดสินเดียวมี งานวิจัยจาก Amazon Science ได้แสดงให้เห็นว่า การร่วมมือกันของหลายเอเจนต์ในการประเมิน ท่อส่งช่วยปรับปรุงความน่าเชื่อถือและความยุติธรรมของการประเมิน LLM-as-a-judge อย่างมีนัยสำคัญ
การประเมินตามเส้นทาง กำลังได้รับความนิยมสำหรับระบบที่มีการกระทำเฉพาะทาง แทนที่จะให้คะแนนเฉพาะผลลัพธ์สุดท้าย การประเมินตามเส้นทางจะตรวจสอบทุกขั้นตอนที่เอเจนต์ทำเพื่อไปถึงที่นั่น เครื่องมือที่เรียกใช้ การตัดสินใจที่ทำ และเส้นทางการใช้เหตุผลของมันถูกต้องหรือไม่แม้ว่าคำตอบสุดท้ายจะถูกต้องก็ตาม
การประเมินที่แข็งแกร่ง ไม่ใช่ขั้นตอนสุดท้ายในการพัฒนา AI มันเป็นโครงสร้างพื้นฐานที่ต่อเนื่อง เมื่อระบบ AI ที่ทำงานอัตโนมัติรับหน้าที่งานที่มีความเสี่ยงสูงขึ้น การมีวิธีการที่ถูกต้อง ขยายได้ และยึดตามสถิติในการวัดประสิทธิภาพของพวกเขาคือสิ่งที่แยก AI ที่น่าเชื่อถือออกจาก AI ที่ดูเหมือนน่าเชื่อถือบนกระดานผู้นำ
เริ่มประเมิน AI agents ของคุณด้วยเครื่องมืออย่าง AgentX evaluation toolkit และดูว่า LLM judges จากผู้จำหน่ายหลายรายทำงานร่วมกันอย่างไร มันเข้ากันได้กับแพลตฟอร์มสร้างเอเจนต์ใดๆ เช่น LangChain, CrewAI, AutoGen, LlamaIndex, OpenAI, Anthropic เป็นต้น ใช้เวลาเพียงไม่กี่นาทีเพื่อรับ รายงานการประเมินเต็มรูปแบบบน Agent ของคุณ
