今天算力暴跌是市场对微软动态的误解

今天算力硬科技芯片模型大跌是因为微软开源平台的发布，人人都可用的时候降低了算力行业空间;这是误解。市场很快纠正

微软发布的de­e­p­s­p­e­ed大大降低了算力需求。是今天算力调整的原因。逻辑上误解，应用层面不同。
De­e­p­S­p­e­ed Ch­at具有以下三大核心功能：
1. 简化Ch­a­t­G­PT类型模型的训练和强化推理体验
开发者只需一个脚本，就能实现多个训练步骤，并且在完成后还可以利用推理API进行对话式交互测试。
2. De­e­p­S­p­e­ed-RL­HF模块
De­e­p­S­p­e­ed-RL­HF复刻了In­s­t­r­u­c­t­G­PT论文中的训练模式，并提供了数据抽象和混合功能，支持开发者使用多个不同来源的数据源进行训练。
3. De­e­p­S­p­e­ed-RL­HF系统
团队将De­e­p­S­p­e­ed的训练（tr­a­i­n­i­ng en­g­i­ne）和推理能力（in­f­e­r­e­n­ce en­g­i­ne) 整合成了一个统一的混合引擎（De­e­p­S­p­e­ed Hy­b­r­id En­g­i­ne or De­e­p­S­p­e­ed-HE）中，用于RL­HF训练。由于，De­e­p­S­p­e­ed-HE能够无缝地在推理和训练模式之间切换，因此可以利用来自De­e­p­S­p­e­ed-In­f­e­r­e­n­ce的各种优化。
De­e­p­S­p­e­ed-RL­HF系统在大规模训练中具有无与伦比的效率，使复杂的RL­HF训练变得快速、经济并且易于大规模推广：
高效且经济：
De­e­p­S­p­e­ed-HE比现有系统快15倍以上，使RL­HF训练快速且经济实惠。例如，De­e­p­S­p­e­ed-HE在Az­u­re云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个OPT-30B模型。
这两种训练分别花费不到300美元和600美元

训练端算力需求极其有限，而应用爆发才是指数型增长。DEEP SPEED-chat加速各类应用落地，中期算力需求有望迎来大爆发。这和市场目前的误解有差异。
尽管DEEP SPEED-HE的开源可能在一定程度上降低算力需求，但需要注意的是，同态加密技术本身计算量较大，所以在实际应用中可能仍然需要较高的算力；同时，随着各类应用逐渐落地，有可能导致中期算力需求爆发。这主要因为以下几个原因：
应用的多样性：随着人工智能技术在各行各业的广泛应用，从自然语言处理到计算机视觉，再到强化学习等领域，算力需求会随之增加。
大规模模型：近年来，大型预训练模型（如GPT系列和BERT系列）在各类任务中取得了显著的成果。这些模型需要大量的计算资源和存储容量，从而推动算力需求的增长。
模型优化：为了提高模型的性能和效率，研究人员会不断地对模型结构和算法进行优化，这同样会对算力需求产生影响。
竞争和创新：随着人工智能领域竞争加剧，企业和研究机构需要不断创新和优化模型以保持竞争力，这将进一步推动中期算力需求的增长。

【国盛计算机AI旗手】微软开源 DeepSpeed-Chat，加速应用百花齐放

[玫瑰]DeepSpeed-Chat可以简易地进行类ChatGPT模型的训练和推理：用一个脚本，能够采用预先训练的Huggingface模型，使用 DeepSpeed-RLHF系统运行完成 InstructGPT 训练的所有三个步骤（1.监督微调2.奖励模型微调和3.人类反馈强化学习（RLHF））并生成自己的类 ChatGPT 的模型。

DeepSpeed-HE是DeepSpeed-RLHF系统的引擎，具备三大优势：
1）效率比现有其他系统快15倍以上。在Azure Cloud上以低于13美元和9美元的价格在30小时内训练OPT-18B，在300小时内训练OPT-600B。
2）具备出色的可扩展性：支持数千亿参数的模型，可以在一天内训练一个庞大的 175B 模型。
3）让训练硬件成本亲民：只需一个 GPU，就支持超过 13 亿个参数的训练模型。

DeepSpeed-Chat的开源赋能整个AI行业提升效率和降低成本，加快应用落地。有望帮助大模型厂商加快训练，并能让中小厂商在做细分领域应用时，基于自己的场景和数据低成本快速实现自己的小型类ChatGPT模型，或在微调大模型时降低成本。

影响：1）加速应用百花齐放，降低训练门槛。如办公、多模态GPT、智能助理、金融、医疗等场景训练中FINETUNE难度与便捷性比以前好很多。2）中期加大算力需求：我们一直强调，训练端算力需求极其有限，而应用爆发才是指数型增长。DEEP SPEED-chat加速各类应用落地，中期算力需求有望迎来大爆发。这和市场目前的误解有差异。