Lex Fr­i­d­m­an 五小时播客实录：论中美 AI 竞争与国运

GPU走私

**Nathan Lambert**：AI 技术进步得越快，特别是考虑到 NVIDIA 的领先地位，市场的增长和扩张速度就会越快。而 NVIDIA 目前是唯一一家能够可靠提供所有所需 GPU 的公司。

**Lex Fridman**：是的，因为 NVIDIA 目前还没有真正的竞争对手。不过，另一家公司也在大量使用 NVIDIA 的 GPU——

**Nathan Lambert**：而且这家公司一直是 NVIDIA 的重要客户。

**Dylan Patel**：他们以前还在新闻稿中高调宣称自己是中国最大的 NVIDIA 客户，对吧？

**Lex Fridman**：没错，我的意思是——

**Dylan Patel**：不过，现在他们已经不再公开谈论这件事了。我认为其中一个重要原因是他们不想透露自己究竟拥有多少 GPU。是的，他们有 H800，他们有 H20，而且他们甚至还有一些 H100，对吧？但问题是，这些 H100 是通过非法途径获得的。

**Lex Fridman**：你能具体讲讲 GPU 走私的情况吗？一个国家会为了帮助企业走私 GPU 吗？规模到底有多大？这真的可能发生吗？

**Dylan Patel**：我认为这里涉及多个层面的“走私”，对吧？字节跳动实际上是中国最大的 GPU 走私者之一。按规定，中国本不应该获得如此多的 GPU，但字节跳动却拥有超过 50 万个 GPU。为什么？因为这些 GPU 是从世界各地的公司流入的。他们从 Oracle、谷歌，以及许多小型云计算公司那里获取，包括一些新兴企业。这些公司本身拥有大量 GPU，也会向外出售一部分。字节跳动这样做的主要目的是为了支撑他们在全球范围内的业务，比如运营 TikTok，对吧？他们需要最强大的算力支持——

**Nathan Lambert**：有点跑题了。

**Dylan Patel**：和 Meta 的情况类似，对吧？关键是，目前这些 GPU 主要被用于合规的商业目的。问题是，美国已经在尽力阻止这类 GPU 流入中国。按规定，AI 芯片的出口受限，拜登政府在最后一周推出的政策仍然生效，未来看起来这些限制可能会继续强化，甚至影响到了美国的盟友，比如新加坡。新加坡贡献了 NVIDIA 20% 至 30% 的收入，但由于能源供应问题，新加坡已经暂停新建数据中心 15 年了。因此，这些 GPU 现在到底流向了哪里？

**Nathan Lambert**：哦，天哪……

**Dylan Patel**：我不是说所有 GPU 都流入了中国，但的确有一部分去了那里。此外，很多 GPU 被送往马来西亚，比如微软和 Oracle 在马来西亚的大型数据中心。GPU 可能从东南亚流向不同地区，也可能进一步流向西亚。GPU 的流向非常复杂，但 AI 供应政策已经明确规定了 GPU 采购和分配的限制。比如，每个国家只能购买一定数量的 GPU，单个转让给中国的 GPU 集群不得超过 2000 颗。这些规则严格限制了 GPU 的非法流入。

目前，GPU 走私最常见的方式之一是，一些不知名的小公司先购买 16 台服务器，然后再将其运往中国。我甚至看到一位半导体行业人士分享了一张照片——他是某家与 NVIDIA 竞争的网络芯片公司的高管。他拍下了一张在硅谷机场的照片，地点是美联航的休息室，画面中有人正在等待飞往上海或深圳的航班，而他们的行李箱里装着大量 GPU。这些人通常会选择头等舱，想想看，头等舱票价大约在 3000 到 5000 美元，而一台服务器在美国的售价大约是 24 万到 25 万美元，但在中国却可以卖到 30 万美元左右。换句话说，走私者不仅能赚取差价，还能获得免费的机票升舱奖励。

当然，这只是小规模的走私。更大规模的 GPU 走私主要依赖新加坡、马来西亚等国家的公司进行。他们通过各种市场获取 GPU，或者利用完全合法的方式租赁 GPU，再转手出售给需要的企业。

**Nathan Lambert**：我想插一句。这样的 GPU 走私规模到底有多大？我听一些懂经济学的人说，当走私规模从 10 亿美元增长到 100 亿美元时，就像你在隐藏某些规模的经济活动。对政府来说最合理的解释是，走私规模达到一定程度时，就会变得非常明显，更容易被发现。而且——

**Dylan Patel**：是的。所以，我认为去年大致是这样，NVIDIA 生产了一百万片 H20，这些显卡无法允许直接运往中国，我们之前也讨论过 H20 其实更适用于推理，而不是训练或通用算力。然而，他们还有数十万片 GPU，我们认为大约有 20 万到 30 万片 GPU 通过新加坡、马来西亚、美国等地流入中国。一些公司通常以批量采购 16 片、64 片 GPU 的方式走私，然后再转卖到中国。华为从 2018 年被禁后，建立了一张复杂的网络来获取所需的算力。

所以，这并不是一件新鲜事，但我同意 Nathan 的观点，GPU 走私的规模可能远不止 100 亿美元。

第二个来源是，现在刚刚被禁止的，以前不被认为是走私，但实际上也是非法的，就是中国公司租赁 GPU。我相信根据我们的研究，字节跳动是 Oracle 最大的 GPU 客户。对于谷歌来说，我认为字节跳动是他们的第二大客户。你去看看云服务提供商的名单，尤其是那些“超大规模”的小型云公司，除了 CoreWeave 和 Lambda 之外，还有 60 家云公司在提供 NVIDIA GPU 服务。我认为字节跳动租用了其中大量的 GPU，几乎全部用到了，对吧？

因此，这些公司将 GPU 租给中国公司，这在 AI 供应规则出台前是完全合法的，扩张规模也是前几年才生效的。即使现在，你仍然可以租用少于 2000 片的 GPU 集群，或者你可以购买 GPU 并运往特定地区，只要数量少于 1500 片 GPU，仍然有一些走私途径。但是，NVIDIA 的收入规模不断增长，去年收入达到了一万多亿美元，今年还在翻倍增长。如果照此趋势，未来的 GPU 走私规模可能会继续攀升，甚至超越毒品走私和武器走私。

是的，走私活动永远不会消失，中国仍然能够获得一定数量的 GPU，DeepSeek 级别的模型、GPT-4 级别的模型。O1 级别的模型理论上在中国还能获取算力进行训练，甚至可以训练出更高级的模型。但如果我们快速推进到更大规模的模型，比如价值十亿美元的模型，或者价值数百亿美元的模型，那么情况就会变成“中国在训练模型和服务模型方面都存在算力劣势”。

DeepSeek 今天无法为其模型提供服务。他们的 GPU 存货已经很低，他们的应用在 App Store 上的排名已经开始下降，下载量也在下降。因为你下载应用后，尝试注册，他们会告诉你“我们不再接受注册”，因为他们没有足够的算力。你打开应用，即使你申请获得推理权限，你也只能获得每秒不到 5 个 token 的生成速度，对吧？因为他们确实没有足够的算力来为模型提供服务，即使他们的模型效率已经相当高了。

**Lex Fridman**：观察 GPU 走私将会非常有趣。因为我的意思是，有毒品走私，对吧？那是一个市场。还有武器走私。而 GPU 走私的规模在某些时候甚至可能超过毒品和武器走私。

**Nathan Lambert**：芯片可能是单位重量价值最高的商品。我还想问你一个问题，Dylan，你是否跟踪模型 API 的国际访问情况？中国公司从美国云服务提供商那里租用 API 服务容易吗？

---

### **DEEPSEEK 是否用于 OPENAI 数据**

**Dylan Patel**：是的，这非常容易，对吧？OpenAI 公开表示 DeepSeek 使用了他们的 API，并且他们说他们有证据，对吧？这是 DeepSeek 训练机制的一个重要组成部分。OpenAI 声称 DeepSeek 的模型是蒸馏模型，也就是说，他们使用 OpenAI 的模型，生成大量输出数据，然后再用这些数据来训练自己的模型进行训练。即使真是这样，DeepSeek 在效率方面所做的优化仍然令人惊叹，顺便说一句——

**Nathan Lambert**：蒸馏是 AI 业内的标准做法。无论如何，如果你是一家封闭的实验室，非常注重服务条款和知识产权，你都会希望自己的数据进行蒸馏。我虽然不是 AI 研究员，但对于开发大模型而言，你就会使用 OpenAI 的数据进行蒸馏。