LLaMA3.1, Gemma2, Qwen2 등 최근에는 한국어도 충분히 잘하는 Multilingual LLM 들이 쏟아지고 있는데요. 그럼 이중에서 어떤걸 쓰는게 좋을까요?
누군가의 랩과 고객의 GPU를 절약해주기 위해서 공개된 KMMLU 평가셋에 대해서 한국어 좀 한다는 모델들 성능을 측정해보고 정리해놓았습니다.
LLaMA3.1 405B가 아무래도 크기 때문에 가장 잘하긴 합니다만 Qwen2는 사이즈까지 고려했을때 좋은 선택으로 보입니다. 참고로 Gemma2-9B 한국어 잘하는데...KMMLU 에서는 Qwen2-7B 보다 낮게 나오네요. (다른 한국어 평가셋에서는 Gemma2가 높은 경우가 있습니다) LLM 구축 작업에 참조하십시오~~~
김한수님의 글 중에서.....
'생성 AI' 카테고리의 다른 글
| 7B ~ 10B 사이의 중형 모델에 대한 최근 벤치마크 자료 (0) | 2024.08.13 |
|---|---|
| 8월 생성 AI기반 시큐리티 코파일럿 세미나 개최 안내의 건 (0) | 2024.08.11 |
| 2024년 7월 생성 AI 트렌드 및 자료를 공유하고자 합니다. (0) | 2024.07.24 |
| 오늘 드디어 LLaMA 3.1이 공개되었다고 합니다.... (0) | 2024.07.24 |
| 2024년 6월 생성 AI 트렌드 및 자료를 공유하고자 합니다. (0) | 2024.06.23 |
