뉴스/정보
MS, phi-3.5 발표
작성자
작성일
2024-08-21 10:01
조회
881
Microsoft에서 Phi-3.5 시리즈 모델을 출시했습니다!
Phi-3.5-MoE-instruct: 42B 매개변수 MoE, 6.6B 활성 매개변수, 128k 컨텍스트 길이, 512개 H100에서 4.9T 토큰으로 학습, 다국어(데이터 세트의 10%)https://huggingface.co/microsoft/Phi-3.5-MoE-instruct
phi-3.5-mini-instruct: 3.8B 매개변수 dense, 128k 컨텍스트 길이, 512개 H100에서 3.4T 토큰으로 학습, 다국어
https://huggingface.co/microsoft/Phi-3.5-mini-instruct
Phi-3.5-vision-instruct: 이미지 인코더, 커넥터, 프로젝터, Phi-3 Mini LM이 포함된 4.2B 매개변수, 128k 컨텍스트 길이, 256개 A100에서 500B 비전+텍스트 토큰으로 학습, 다중 프레임 이미지 이해 및 추론 가능
https://huggingface.co/microsoft/Phi-3.5-vision-instruct
전체 0