한글 제목: Model Soups: 여러 개의 Fine-Tuned 모델 가중치를 평균하여 성능 향상시키기1. 논문 소개 및 리뷰 목적Model Merging은 서로 다른 학습 과정에서 생성된 모델들의 가중치를 결합하여 새로운 모델을 만드는 방법입니다.이번 대학원에 들어와 맡은 과제가 Model Merging와 관련이 많기 때문에 Model Merging을 도와주는 툴킷인 mergekit에서 소개하는 논문을 하나씩 리뷰해 보고자 합니다.이 논문에서는 Model Soup이라는 새로운 기법을 제안하여, 여러 개의 Fine-Tuned 모델의 가중치를 평균(Averaging)함으로써 성능을 향상시키는 방법을 소개합니다. Model Soup는 추가적인 추론 비용 없이 성능을 개선할 수 있으며, 다양한 데이터셋과 모..

1. 논문 소개 및 리뷰 목적최근 Retrieval-Augmented Generation (RAG) 모델의 발전에 관심을 가지고 연구를 살펴보던 중, 지난 1월 24일 마이크로소프트에서 기존 RAG의 단점인 단일 검색 방식의 한계를 극복한 CoRAG (Chain-of-Retrieval Augmented Generation) 모델이 발표된 것을 보았습니다.기존 RAG 모델은 한 번의 검색을 통해 정보를 가져오지만, 이는 다단계 추론(multi-hop reasoning)이 필요한 복잡한 질의에서 부족함을 보였습니다. 이에 CoRAG는 검색을 동적으로 조정하면서 여러 단계에 걸쳐 질의를 개선하는 방식을 적용하여 기존 RAG의 한계를 극복합니다.이 리뷰에서는 CoRAG 논문의 주요 개념과 실험 결과를 정리하고,..