1. AI 제품 개발의 특징
- 2개월마다 컴퓨터가 새로운 기능을 할 수 있게 되어 제품 개발이 매우 도전적
- 기업용 제품과 소비자용 제품의 차이점 논의
- 모델의 성능이 60% 정도여도 human-in-the-loop로 유용한 제품 만들 수 있음

2. 평가(Evaluation) 중요성
- AI 제품 개발에서 평가가 매우 중요한 역할
- PM들도 평가 작성 능력이 핵심 스킬이 되어가는 중
- 모델이 때로는 인간보다 더 나은 답변을 제공하기도 함

3. 사용자 교육
- AI 제품은 기존 컴퓨터와 달리 같은 입력에도 다른 출력이 나올 수 있어 적응 필요
- 기업 내에서는 파워유저들이 다른 직원들 교육하는 방식으로 진행
- 사용자들은 놀랍도록 빠르게 새로운 AI 기능에 적응

4. 미래 전망
- 더 주도적(proactive)인 AI: 이메일 모니터링, 회의 준비 등 선제적 지원
- 비동기(asynchronous) 작업: AI가 더 오래 생각하고 복잡한 작업 수행 가능
- 음성 인터페이스: 실시간 번역 등 새로운 상호작용 방식 등장
- AI와 인간의 관계가 더욱 깊어질 것으로 예상

이들은 AI 기술이 매우 빠르게 발전하고 있으며, 현재의 기술도 1년 후면 구식이 될 것

 

모델 성능 관련
- 모델이 60% 정도의 성능만 보여도 유용한 제품을 만들 수 있다고 언급
- GitHub Copilot은 GPT-2(비교적 작은 모델)로도 유용한 제품을 만들 수 있었음

시간 관련
- 기업용 제품의 경우 출시 60일 전에 미리 고지 필요
- O1(OpenAI의 추론 모델)은 답변에 30-60초 정도 소요
- 향후에는 5시간 또는 5일까지 생각할 수 있는 모델이 나올 것으로 예상

사용자 적응
- ChatGPT는 2년도 안 된 제품이지만 사용자들이 빠르게 적응
- 예시로 언급된 Waymo(자율주행차) 사용자들은:
- 처음 30초: 매우 긴장
- 5분 후: 미래를 경험하는 느낌
- 10분 후: 휴대폰 보면서 지루해 함

 

1. AI의 비결정적 특성에 대한 Kevin의 언급:
```
"it goes against all of the intuition that we've built up for the last like 25 years of using computers uh and so like the idea that you're going to put in the exact same things normally if you put in the exact same inputs computers give you the exact same outputs and that is no longer true"
```
- 25년간 쌓아온 컴퓨터에 대한 직관과 다르게, 같은 입력에도 다른 출력이 나올 수 있다는 점을 강조

2. 모델의 진화 속도에 대한 언급:
```
"cha PT is less than 2 years old and it was absolutely mind-blowing when it exist... and now I think if we had to go back and use the original whatever it was GPT 3.5 I think the horror... everybody be like so dumb"
```
- ChatGPT가 2년도 안 됐지만, 초기 버전은 이미 구식으로 느껴질 정도로 빠른 발전

3. Mike의 AI와 인간 관계에 대한 통찰:
```
"you're not just shipping a product you're shipping like intelligence and intelligence and empathy are like what makes like interpersonal relationships important"
```
- 단순한 제품이 아닌 지능을 배포하는 것이며, 이는 대인관계처럼 중요하다는 관점

4. O1의 추론 능력에 대한 Kevin의 설명:
```
"right now you know they'll think for 30 or 60 seconds before they answer imagine what happens if they can think for five hours or five days... we're at the like gpt1 phase of um of this new form of reasoning"
```
- 현재는 30-60초 생각하지만, 앞으로 5시간이나 5일까지 생각할 수 있게 될 것이라는 전망

5. 아이들의 AI 사용에 대한 Mike의 관찰:
```
"my kids I don't know if it's just like parenting in the Bay Area but my kids are like okay Mom make the images right I want to tell a story about the dragon unicorn in this setting I'm going to tell you exactly how it's going to happen create it in real time"
```
- 새로운 세대는 AI를 완전히 다른 방식으로 자연스럽게 받아들인다는 점을 보여줌