한글 제목: Model Soups: 여러 개의 Fine-Tuned 모델 가중치를 평균하여 성능 향상시키기1. 논문 소개 및 리뷰 목적Model Merging은 서로 다른 학습 과정에서 생성된 모델들의 가중치를 결합하여 새로운 모델을 만드는 방법입니다.이번 대학원에 들어와 맡은 과제가 Model Merging와 관련이 많기 때문에 Model Merging을 도와주는 툴킷인 mergekit에서 소개하는 논문을 하나씩 리뷰해 보고자 합니다.이 논문에서는 Model Soup이라는 새로운 기법을 제안하여, 여러 개의 Fine-Tuned 모델의 가중치를 평균(Averaging)함으로써 성능을 향상시키는 방법을 소개합니다. Model Soup는 추가적인 추론 비용 없이 성능을 개선할 수 있으며, 다양한 데이터셋과 모..

이번에 대학원에 입학해 자연어 처리 관련 연구를 하고 있어 블로그에 공부한 내용을 하나씩 정리해보고자 합니다.이번 글에 나온 기법들은 다 나온지 꽤 오래된 내용들이지만, 자연어처리에서 한 획을 그은 방법인 만큼 간략하게 정리해보았습니다. 들어가기에 앞서, 이 내용은 제 지도교수님이신 건국대학교 김학수 교수님의 자연어처리개론 강의를 참고했음을 밝힙니다. 자연어처리(NLP)에서 단어를 수치화하여 컴퓨터가 이해할 수 있도록 변환하는 과정은 매우 중요합니다.이 글은 원-핫 인코딩부터 분산 표현, Word2Vec, GloVe, BPE 등의 내용을 담고 있고 뒤로 갈 수록 앞선 방식을 개선했다고 보면 됩니다.1. 원-핫 인코딩 (One-Hot Encoding)가장 간단한 단어 표현 방식단어 사전을 구성하고 해당 단..

안녕하세요. 블로그를 다시 시작하며.. 뭐 적을 것 없을까 하다가 대학원 합격후기를 올려봅니다.이번 25년도 전기 대학원 석사 과정에 총 세 곳 합격했습니다. 인공지능 대학원 입학을 희망하시는 분들께 도움이 되고자 합격 후기를 남깁니다.1. 스펙학교: 가천대학교전공: 컴퓨터공학성적: 4.00/4.50학부 연구생: 약 1년논문:국내저널 1개(정보과학회, 1차 심사중)자격증:기사 2개 (정보처리기사, 빅데이터분석기사)국가공인 4개 (ADsP, SQLD, 네트워크관리사 2급, 리눅스마스터 1급)프로젝트: 머신러닝 1개, 자연어처리 2개, 컴퓨터비전 2개대학원 희망 연구 분야: 자연어처리, 멀티모달→ 자격증은 많지만, 개인적으로 높은 스펙이라고 생각되지는 않습니다. 특히 학점은 다른 지원자들과 비교했을 때, 코..

1. 논문 소개 및 리뷰 목적최근 Retrieval-Augmented Generation (RAG) 모델의 발전에 관심을 가지고 연구를 살펴보던 중, 지난 1월 24일 마이크로소프트에서 기존 RAG의 단점인 단일 검색 방식의 한계를 극복한 CoRAG (Chain-of-Retrieval Augmented Generation) 모델이 발표된 것을 보았습니다.기존 RAG 모델은 한 번의 검색을 통해 정보를 가져오지만, 이는 다단계 추론(multi-hop reasoning)이 필요한 복잡한 질의에서 부족함을 보였습니다. 이에 CoRAG는 검색을 동적으로 조정하면서 여러 단계에 걸쳐 질의를 개선하는 방식을 적용하여 기존 RAG의 한계를 극복합니다.이 리뷰에서는 CoRAG 논문의 주요 개념과 실험 결과를 정리하고,..