자유게시판

2025년 말까지 ~3e27 FLOP의 훈련 실행을 완료할 예정

작성자
admin
작성일
2024-07-26 10:14
조회
1015




새로운 GB200s 칩을 사용하고 모델을 약 100일 동안 훈련한다고 가정
GB200 = 2개의 B200s
100,000개의 GB200s 칩 사용
각 GB200는 2개의 B200s 포함
각 B200은 약 4.5e15 FLOP/s 수행
총 훈련 시간은 약 1e7 초
활용도는 약 0.3
총 연산량은 약 2.7e27 FLOP

 
전체 2

  • 2024-08-19 23:40

    flop가 뭐지


    • 2024-08-19 23:44

      컴퓨팅 연산 측정하는 단위인데 1 플롭이 1초 동안 소수점 포함한 숫자 사칙연산 1번 할 수 있다는 의미셈
      딥러닝이 학습할때 소수점 포함한 숫자를 가지고 연산을 하기 때문에 중요함