분류 전체보기43 7B ~ 10B 사이의 중형 모델에 대한 최근 벤치마크 자료 Park Sang님의 7B ~ 10B 사이의 중형 모델에 대한 지능 평가를 진행하고 결과를 소개합니다. 영어와 한국어 각각에 대한 평가를 진행했고 영어는 MMLU, 한국어는 KMMLU를 벤치마크 데이터셋으로 평가를 수행했습니다. 모든 평가는 별도의 special training method를 적용하지 않은 base model에 대한 평가로 제한했으며, pretraining 과정 중에 습득한 지식을 측정하는 형태로 진행했습니다. 결과는 다음과 같습니다. - Qwen2는 영어와 한국어 모두 가장 성능이 좋은 모델입니다. 초기 버전은 별도의 remote code가 존재하는 등 모델링과 토크나이저 문제가 있었으나 2 버전에 이르러서는 대부분의 프레임워크가 잘 지원하며 호환성 문제가 없습니다. 현존하는 가장 뛰어.. 2024. 8. 13. 8월 생성 AI기반 시큐리티 코파일럿 세미나 개최 안내의 건 안녕하십니까? JSI LAB 마케팅팀입니다.아래와 같이 최근 각광 받고 있는 챗GPT 같은 생성 AI 기술을 보안 관제 센터에활용할 수 있는 시큐리티 코파일럿 솔루션과 Auto ML기반의 XDR 솔루션에 대한 소개를 드리고자 합니다. 바쁘시더라도 많은 관심을 부탁 드리고자 합니다.[8월 생성 AI 기반 시큐리티 코파일럿 세미나]일시 : 2024년 8월 21일(수) 오후 2시 ~ 5시장소 : 위플레이스 강남2호점 , 서울시 서초구 서초대로73길 9, 타임빌딩 B1내용 :14:00 ~ 15:30 생성 AI 트렌드와 프로젝트 진행 방안15:30 ~ 15:40 휴식15:40 ~ 16:10 생성 AI 기반 시큐리티 코파일럿, X-Chat16:15 ~ 16:45 Auto ML기반의 XDR, X-ITM 아래.. 2024. 8. 11. 어떤 LLM이 한글을 더 잘할까요? LLaMA3.1, Gemma2, Qwen2 등 최근에는 한국어도 충분히 잘하는 Multilingual LLM 들이 쏟아지고 있는데요. 그럼 이중에서 어떤걸 쓰는게 좋을까요? 누군가의 랩과 고객의 GPU를 절약해주기 위해서 공개된 KMMLU 평가셋에 대해서 한국어 좀 한다는 모델들 성능을 측정해보고 정리해놓았습니다. LLaMA3.1 405B가 아무래도 크기 때문에 가장 잘하긴 합니다만 Qwen2는 사이즈까지 고려했을때 좋은 선택으로 보입니다. 참고로 Gemma2-9B 한국어 잘하는데...KMMLU 에서는 Qwen2-7B 보다 낮게 나오네요. (다른 한국어 평가셋에서는 Gemma2가 높은 경우가 있습니다) LLM 구축 작업에 참조하십시오~~~ 김한수님의 글 중에서..... 2024. 7. 26. 2024년 7월 생성 AI 트렌드 및 자료를 공유하고자 합니다. 메타, '라마 3.1' 출시..."오픈 소스 최강 넘어 GPT-4·클로드와 성능 맞먹어"https://www.aitimes.com/news/articleView.html?idxno=161884 테슬라 휴머노이드 '옵티머스' 내년부터 공장 배치…"판매는 2026년"https://www.aipostkorea.com/news/articleView.html?fbclid=IwZXh0bgNhZW0CMTEAAR3mPMwwt_ignAZ1Y3srqJYLR_v9HTrTT51R_9FhRYGrBUoexxgXprjFSgA_aem_Lmx6_5btvQ_Gz8TARVurGQ&idxno=2883&utm_source=pocket_shared 가장 독창적 로봇 회사, 네이버랩스의 새로운 접근들https://naverlabs.com/sto.. 2024. 7. 24. 이전 1 2 3 4 5 ··· 11 다음
