뉴스/정보
Jamba 1.5 패밀리 출시
작성자
하이룽룽
작성일
2024-08-23 00:33
조회
893
https://huggingface.co/collections/ai21labs/jamba-15-66c44befa474a917fcf55251
AI21 Jamba 모델 제품군은 최첨단 하이브리드 SSM-Transformer 명령어를 따르는 기초 모델입니다.
https://huggingface.co/ai21labs/AI21-Jamba-1.5-Mini (𝟷𝟸𝙱/𝟻𝟸𝙱)
https://huggingface.co/ai21labs/AI21-Jamba-1.5-Large (𝟿𝟺𝙱/𝟹𝟿𝟾𝙱)
AI21 Jamba 모델 제품군은 최첨단 하이브리드 SSM-Transformer 명령어를 따르는 기초 모델입니다.
https://huggingface.co/ai21labs/AI21-Jamba-1.5-Mini (𝟷𝟸𝙱/𝟻𝟸𝙱)
https://huggingface.co/ai21labs/AI21-Jamba-1.5-Large (𝟿𝟺𝙱/𝟹𝟿𝟾𝙱)
| Benchmark | Jamba 1.5 Mini | Jamba 1.5 Large |
| Arena Hard | 46.1 | 65.4 |
| Wild Bench | 42.4 | 48.5 |
| MMLU (CoT) | 69.7 | 81.2 |
| MMLU Pro (CoT) | 42.5 | 53.5 |
| GPQA | 32.3 | 36.9 |
| ARC Challenge | 85.7 | 93 |
| BFCL | 80.6 | 85.5 |
| GSM-8K | 75.8 | 87 |
| RealToxicity (lower is better) | 8.1 | 6.7 |
| TruthfulQA | 54.1 | 58.3 |
전체 0