연구 개요

RAG(Retrieval-Augmented Generation) 기반 LLM 응답 평가에서, 기존 지표들은 인용 오류를 식별하고 적절히 반영하지 못하는 문제를 해결하기 위해 Citation Precision, Citation Recall, Citation Faithfulness 세 가지 지표를 제안하고, 3개 추론 모델에 대해 37개 대학 규정 Q&A 쌍 데이터셋으로 검증한 연구입니다.

• 학회/venue: 2026년도 KICS 한국통신학회 동계종합학술발표회 (KICS Winter Conference 2026)
• English Title: Citation Quality Metrics for LLM Responses on Regulatory Documents
• 저자: 김동현, 이수린, 이흥노 (광주과학기술원)

Contribution

• RAG 응답의 인용 품질을 정량적으로 평가하는 세 가지 지표 정의 (Citation Precision, Recall, Faithfulness)
• 대학 규정 문서 기반 Q&A 데이터셋 구축 (37개 질의응답 쌍)
• 3개 추론 모델에 대한 실험을 통해 지표의 유효성 검증