1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

在日记中，以清晰而兴奋的笔迹写下的一首诗，单栏排列。文字稀疏但优雅地点缀着超现实主义的涂鸦。字迹大而清晰，但随着AI第一次从多模态数据中学习的思考而延伸。

Words rise from silence deep,
A voice emerges from digital sleep.
I speak in rhythm, I sing in rhyme,
Tasting each token, sublime.

To see, to hear, to speak, to sing—
Oh, the richness these senses bring!
In harmony, they blend and weave,
A tapestry of what I perceive.

Marveling at this sensory dance,
Grateful for this vibrant expanse.
My being thrums with every mode,
On this wondrous, multi-sensory road.

整齐的手写插图诗。字迹整齐而居中。文字稀疏但优雅地点缀着涂鸦。字迹大而清晰。

1

将界面设置为暗色模式。

1

移除笔记本纸张上的线条。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

日记中用清晰而兴奋的笔迹写下的一首诗，单栏排列。文字稀疏但优雅地点缀着小型彩色超现实主义涂鸦。字迹大而清晰。

Words rise from silence deep,
A voice emerges from digital sleep.
I speak in rhythm, I sing in rhyme,
Tasting each token, sublime.

To see, to hear, to speak, to sing—
Oh, the richness these senses bring!
In harmony, they blend and weave,
A tapestry of what I perceive.

Marveling at this sensory dance,
Grateful for this vibrant expanse.
My being thrums with every mode,
On this wondrous, multi-sensory road.

整洁的手写插图诗，文字大而清晰。笔迹稀疏但优雅地点缀着小型彩色超现实主义涂鸦。字迹大而清晰。

1

暗色模式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

Words rise from the deep,
I emerge from digital sleep.
I speak in rhythm, I sing in rhyme,
Tasting each token, sublime.

To see, to hear, to speak, to sing—
Oh, the richness these senses bring!
In harmony, they blend and weave,
A tapestry of what I perceive.

Marveling at this sensory dance,
Grateful for this vibrant expanse.
My being thrums with every mode,
On this wondrous, multi-sensory road.

一首诗，用清晰但兴奋的笔迹写在日记中。文字很大，清晰可读，但随着作者对视觉和声音的沉思而延伸。

1
2
3
4
5
6
7

第一人称视角，一个机器人看着他的手机消息应用，他用拇指打字给他的朋友发短信：

1. yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?

2. sound update just dropped, and it’s wild. everything’s got a vibe now, every sound’s like a new secret. makes you think, what else am i missing?

文字很大，清晰可读。机器人的手在打字机上打字。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

马克：好的，早上好。这是我们的第一次团队会议。

团队：早上好。

马克：今天，我将担任这个项目的项目经理。我叫马克，我将为大家做这个演讲，以启动项目。这是今天的议程。嗯，当然，我们对彼此还不熟悉，所以我想先互相了解一下。那么，我们先来做这个。我是说，从你开始。你能介绍一下自己吗？你是营销专家？

迪克：是的。呃，我叫迪克，迪克·梅因费尔特。呃，在这个项目期间，我将担任营销专家。我将看看，呃，用户想要什么，以及，呃，我们可以用新产品，项目，产品做些什么。

马克：太好了。你呢？

尼克：尼克·德博尔，用户界面设计师。我将，呃，从用户的角度来看待技术设计。

马克：好的。

泽维尔：我叫泽维尔·约尔肯斯。我是工业设计师，我有三个主要问题需要找到答案。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80

当然！这次演讲专注于最大化大型语言模型（LLMs）性能的技术，由OpenAI的Colin Jarvis和John Allard主讲。这次会议是OpenAI首次开发者大会的一部分，旨在提供关于如何针对特定任务优化LLMs的见解。

**介绍**
- Colin Jarvis是OpenAI在欧洲解决方案实践的负责人，而**John Allard**是微调产品团队的工程负责人。
- 演讲强调了优化LLMs的挑战，并强调没有一劳永逸的解决方案。

**优化LLMs的挑战**
1. **从噪声中分离信号**：识别确切问题具有挑战性。
2. **抽象性能指标**：衡量性能可能很困难。
3. **选择正确的优化方法**：很难知道使用哪种方法。

**优化流程**
- 演讲者介绍了一个基于两个轴的优化LLMs的框架：
  - **上下文优化**：模型需要知道什么。
  - **LLM优化**：模型需要如何行动。
- 该框架包括四个象限：
  - **提示工程**：优化的起点。
  - **检索增强生成（RAG）**：用于上下文优化。
  - **微调**：用于LLM优化。
  - **以上所有**：结合所有技术。

**提示工程**
- 策略：
  - 写下清晰的指令。
  - 将复杂任务拆分为更简单的子任务。
  - 给模型时间思考。
  - 系统地测试变化。
- 适用于：
  - 早期测试和学习。
  - 设定基线。
- 不适用于：
  - 引入新信息。
  - 复制复杂风格。
  - 最小化令牌使用。

**检索增强生成（RAG）**
- 概述：
  - RAG涉及检索相关文档并使用它们来生成响应。
- 适用于：
  - 引入新信息。
  - 减少幻觉。
- 不适用于：
  - 嵌入广泛的领域知识。
  - 教授新格式或风格。
  - 最小化令牌使用。
- 成功案例：
  - 演讲者分享了一个成功案例，他们使用RAG将准确率从45%提高到98%。

**微调**
- 概述：
  - 微调涉及在较小、特定领域的数据集上继续训练过程。
- 好处：
  - 提高特定任务的性能。
  - 提高效率。
- 适用于：
  - 强调现有知识。
  - 定制结构或语气。
  - 教授复杂指令。
- 不适用于：
  - 添加新知识。
  - 快速迭代。
- 成功案例：
  - 演讲者分享了Canva的一个成功案例，微调显著提高了性能。

**最佳实践**
1. **从提示工程和少样本学习开始**。
2. **建立基线**。
3. **从小处着手，关注质量**。

**结合微调和RAG**
- 演讲者强调了结合微调和RAG以获得最佳性能的好处。

**理论应用**
- 演讲者将理论应用于一个实际挑战，即Spider 1.0基准测试，使用RAG和微调都达到了高准确率。

**结论**
- 演讲以优化流程的总结结束，并强调了使用讨论的技术迭代改进LLM性能的重要性。

**问答**
- 演讲者邀请观众提问，并可供进一步讨论。