ResearchLLM 평가📚 LLM 평가
LLM 모델 교체 평가 - 검색을 고정하고 모델만 비교하기
다른 모델로 교체하거나 양자화·파인튜닝을 적용할 때, 파이프라인 전체가 아니라 LLM 자체의 변화만 떼어 내 평가하는 방법과 워크플로를 정리했습니다.
2026.09.014분#LLM#평가지표#LLM-as-a-Judge#양자화
/tags
3 posts
다른 모델로 교체하거나 양자화·파인튜닝을 적용할 때, 파이프라인 전체가 아니라 LLM 자체의 변화만 떼어 내 평가하는 방법과 워크플로를 정리했습니다.
검색과 생성을 분리해 원인을 찾는 RAGAS의 네 가지 지표와, LLM 평가를 pytest처럼 다루는 DeepEval의 메트릭 개념을 정리했습니다.
비결정적인 LLM 출력을 어떻게 수치로 평가할지, 자동 지표·LLM-as-a-Judge·인간 평가와 주요 벤치마크, 그리고 벤치마크를 믿기 전에 알아야 할 함정을 정리했습니다.