알레프 알파, 유럽 주권 내세운 개방형 모델 Kolibri 공개
독일어·영어 전문가 혼합 모델로 780억 매개변수에 토큰당 약 30억 개가 활성화되며, 가중치를 Apache 2.0으로 공개했다.
핵심 3줄
- 780억 매개변수 중 토큰당 약 30억 개만 활성화되는 전문가 혼합 구조
- 학습 데이터의 21.3%가 독일어이며 최대 100만 토큰 컨텍스트 윈도 지원
- 독일·핀란드에서 B200 768개로 학습했고 행정·항공·산업용을 표방
왜 중요한가
유럽이 EU 인공지능법을 내세워 자국어 중심 개방형 모델로 미국·중국과 차별화를 시도하는 흐름이다. 한국어 특화 모델 전략을 짤 때도 참고할 지점이 있다.
배경
알레프 알파는 품질과 운영비 균형에서 동급 구조 모델들을 앞선다고 주장했고, 합성 데이터 생성에는 중국 모델들도 썼다고 밝혔다. 가중치는 허깅페이스에서 내려받을 수 있다.
원문 보기
새 탭에서 열립니다. 숫자·날짜·고유명사는 원문을 기준으로 확인해 주세요.