자유게시판
2025년 말까지 ~3e27 FLOP의 훈련 실행을 완료할 예정
작성자
admin
작성일
2024-07-26 10:14
조회
1015




새로운 GB200s 칩을 사용하고 모델을 약 100일 동안 훈련한다고 가정
GB200 = 2개의 B200s
100,000개의 GB200s 칩 사용
각 GB200는 2개의 B200s 포함
각 B200은 약 4.5e15 FLOP/s 수행
총 훈련 시간은 약 1e7 초
활용도는 약 0.3
총 연산량은 약 2.7e27 FLOP
flop가 뭐지
컴퓨팅 연산 측정하는 단위인데 1 플롭이 1초 동안 소수점 포함한 숫자 사칙연산 1번 할 수 있다는 의미셈
딥러닝이 학습할때 소수점 포함한 숫자를 가지고 연산을 하기 때문에 중요함