GemmaSprint Fine-Tuning 프로젝트 (2024 Google MLB)

2024 구글 머신러닝 부트캠프의 마지막 과제인 Gemma Sprint 를 진행했다.

 

 

1. 주제

경제 관련 기사 요약

 

2. 데이터 선정

https://huggingface.co/datasets/Lightscale/financial-advise-summarization

 

3. 베이스 모델

google/gemma2-2b-it

 

4. 최종 모델 성능

학습 완료 후 확인해보니, Test 데이터 입력에 대해 엉뚱한 요약을 답변했다.

Input  데이터 수가 너무 적다보니, 성능이 낮았던 것 같다.

 

5. 후기

대용량 모델 파인튜닝 경험이 거의 없었고, Gemma를 처음 다루다보니 생각보다 어려웠다.

그래서 결과물도 크게 기대하진 않았지만, 역시 성능이 좋지 않았다.

Fine-Tuning과 Gemma를 처음 다뤄보는 데에 의의가 있는 프로젝트 경험이었다.

 

 

- Hugging Face 모델 페이지 링크

 

- Colab 코드 링크