나는 종종 쓴 교훈에 대한 불완전한 현대적 해석을 봅니다.

효과적으로 확장되는 간단한 방법은 과학적 장점만으로는 경쟁 방법(이론적으로 더 설득력이 있을 수 있음)을 능가한다고 해서 승리할 수 없습니다. 아마도 알고리즘 최적성보다 더 중요한 것은 *경제성*이 빅 모델 + 빅 데이터의 지배력에서 큰 역할을 한다는 것입니다.

Bitter Lesson의 핵심은 더 많은 매개변수, 더 많은 데이터 및 더 많은 FLOPS를 통해 예측 가능하게 개선될 간단한 방법의 확장에 대한 확고한 강조입니다. 이는 R&D가 개념 증명 알고리즘을 더 큰 생산 규모에 적용하는 방법을 알아내는 데 필요한 혁신에 상당한 또는 심지어 대부분의 자원을 소비하는 기술 역량 연구의 다른 많은 영역에서 널리 퍼져 있는 패러다임과 극명한 대조를 이룹니다. . 그렇다면 Bitter Lesson과 같은 확장의 가장 중요한 속성 중 하나는 실제로 경제적 통찰력일 수 있습니다. 즉, 무제한의 R&D 위험(자본, 시간 및 인적 노동 측면에서)을 감수하고 이를 엔지니어링 과제로 전환할 수 있다는 것입니다. (단단하지만 제한적).

즉, Bitter Lesson은 엔지니어링과 관련하여 우수한 기능 탄력성을 나타내는 방법이 그렇지 않은 방법보다 성능이 뛰어날 것이라고 주장합니다. "비싸지만 다루기 쉽다"는 것은 극복하기 매우 어려운 기준입니다!