OpenAI不敢公开的技术：DeepSeek低成本训练内幕
大家好，我是编程乐趣。
DeepSeek杀疯了！DeepSeek的综合能力与ChatGPT已经不分伯仲了。
这几天我也看了很多资料，来了解DeepSeek如何实现低成本的。
在介绍DeepSeek低成本训练内幕之前，我们先来聊聊改变了哪些行业格局。
DeepSeek的崛起打破了AI大模型烧钱、堆算力的固有印象，大大降低了AI门槛，使得更多的企业和开发者能够用上先进的AI大模型，同时也能训练先进的AI大模型，也打破了美国AI垄断的局面。
总的来说，只要你敢于创新、敢于尝试、在有限的资金和算力下，也是有可能实现先进的AI大模型。
DeepSeek做了如下创新，使得成本大大降低。
1、创新性地提出了 MLA(多头潜在注意力机制)架构和MOE混合专家模式架构，将显存占用大幅降低至过去常用 MHA 架构的 5%-13% 。
2、在模型架构方面也做了很多优化，它通过定制芯片间通信方案，使得数据在运算过程中传输更加高效，减少因通信延迟或数据传输错误导致的额外开销。
3、DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。
以上是 DeepSeek的具体做法，但更重要的是 DeepSeek创始人的理念。
DeepSeek创始人认为要赶超美国，不能单纯的模仿，更是要有魄力去创新，DeepSeek就是走的就是一条他人从未走过的路，这是非常冒险的事情，但可喜的是 DeepSeek成功了，这是其他大厂没去尝试、可能也不敢尝试的路。
另外DeepSeek的目标是做AGI，也就是通用人工智能，不仅仅搞一个大模型而已，现有的ChatGPT模式是非常消耗资源的，要实现AGI的目标，现有模式肯定是走不通的，必须寻找其他路径。
理念和目标不同，自然会驱动思维和技术的创新。
DeepSeek的模式对于我们普通程序员来说，也是非常有启发的。
我们学习编程的时候，前期肯定要优先选择模仿、跟随，更是要深入理解他人的编程理念。
在结合他人的理念基础上，我们要根据自己的目标，提出适合自己目标的编程理念，有了自己独特理念，自然能在技术做出创新。