원래 엔트로피는 증가하는 거셈
냉장고를 생각해보면 냉장고 안을 차갑게 만들기 위해 냉장고 바깥에는 열이 더 많이 나오는 것이셈
마찬가지로 신경망의 엔트로피를 낮추려면 gpu로 불태워야 하는 것이셈 우리는 이것을 학습이라고 부름!
그래서 딥러닝을 더 강력하게 만들려면 더 많은 연산이 필요한 것이셈 알트만이 에너지를 외치는 이유이기도 한 듯
191
2024-11-03 14:54
신경망의 엔트로피를 왜 낮춰야함?
하이룽룽
2024-11-03 15:39
그리고 우리가 에너지를 아끼면 그 절약한 에너지로 ai 학습에 더 많은 연산 투입할 수 있어서 가속에 도움되나 봄!!
191
2024-11-03 14:55
신경망 엔트로피낮추면 왜 학습이됨?
하이룽룽
2024-11-03 15:37
엔트로피를 낮춘다는건 무질서에서 질서로 간다는 것이셈
즉 신경망이 무질서한 정보 속에서 패턴을 인식하고 규칙을 찾아낼 수 있게 지능이 형성되는 것이셈 신경망이 처음에는 입력 데이터를 어떻게 처리할지 모르는 무질서 상태에서 시작해서 학습을 통해 불확실성을 줄이고 입력과 출력 간의 관계를 파악하며 예측을 하게 되는 것인데 엔트로피를 낮추는 것이 이런 과정을 반영한다고 보면 될 듯
원래 엔트로피는 증가하는 거셈
냉장고를 생각해보면 냉장고 안을 차갑게 만들기 위해 냉장고 바깥에는 열이 더 많이 나오는 것이셈
마찬가지로 신경망의 엔트로피를 낮추려면 gpu로 불태워야 하는 것이셈 우리는 이것을 학습이라고 부름!
그래서 딥러닝을 더 강력하게 만들려면 더 많은 연산이 필요한 것이셈 알트만이 에너지를 외치는 이유이기도 한 듯
신경망의 엔트로피를 왜 낮춰야함?
그리고 우리가 에너지를 아끼면 그 절약한 에너지로 ai 학습에 더 많은 연산 투입할 수 있어서 가속에 도움되나 봄!!
신경망 엔트로피낮추면 왜 학습이됨?
엔트로피를 낮춘다는건 무질서에서 질서로 간다는 것이셈
즉 신경망이 무질서한 정보 속에서 패턴을 인식하고 규칙을 찾아낼 수 있게 지능이 형성되는 것이셈 신경망이 처음에는 입력 데이터를 어떻게 처리할지 모르는 무질서 상태에서 시작해서 학습을 통해 불확실성을 줄이고 입력과 출력 간의 관계를 파악하며 예측을 하게 되는 것인데 엔트로피를 낮추는 것이 이런 과정을 반영한다고 보면 될 듯
하.. 너무 어렵셈.. 나는 그냥 최대한 전기를 아끼겠셈..