据媒体报道，英伟达全新发布的开源模型Nemotron-4 340B，有可能彻底改变训练LLM的方式！从此，或许各行各业都不再需要昂贵的真实世界数据集了。而且，Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，甚至可以和GPT-4掰手腕。据悉，Nemotron-4 340B是一系列具有开创意义的开源模型，最大的技术变化在于进一步拥抱MOE架构，引入ROPE优化算法。
2022年以来，AI大模型已经成为科技巨头重金投入的领域，这让算力变得十分宝贵，光模块景气度与下游需求有望持续成长。
东北证券 认为，MOE架构相比传统Transformer模型具备更高的效率和更低的成本，在海外谷歌Gemini、英伟达Nemotron等AI大模型积极采用MoE架构的推动下，MoE大模型有望成为全球AI大模型主流技术路线，对通信网络更高需求推动高性能交换机加速落地。具体来看主要是推动单交换机峰值速率提升，以及交换机总需求量增加。AI算力基础设施建设预计将保持扩张周期，带动上游光模块、交换机等环节需求提升。
出处：财联社
免责条款：★★以上摘录不保证没有疏漏，仅供参考！★★