DeepSeek 开源 FlashMLA:高效 MLA 解码新时代
DeepSeek发布的FlashMLA是一款为Hopper GPU设计的高效多头潜在注意力解码内核。它支持BF16计算、采用分页KV缓存技术(块大小64),并在H800 GPU上实现了3000 GB/s内存带宽和580 TFLOPS计算性能。该项目主要优化变长序列推理,可显著降低显存占用和计算开销。FlashMLA的主要应用场景包括大语言模型推理、机器翻译、语音识别和推荐系统等领域。它能加速Transformer计算,提高推理吞吐量,优化长文本处理,降低延迟。该项目受到FlashAttention 2&3和CUTLASS的启发,是2025年AI计算优化领域的重要突破。项目已开源,开发者可通过简单的Python安装命令快速部署使用。这一技术创新将为依赖GPU计算的企业和开发者带来显著的性能提升,推动AI计算效率迈向新的高度。
随笔
未读
DeepSeek 开源周:他们正在发布什么?
DeepSeek启动了为期五天的开源周活动,计划每天发布一个核心组件。目前已发布了Fire-Flyer AI-HPC研究论文和部分核心仓库。该论文介绍了一种软硬件协同设计框架,通过使用Fire-Flyer 2方案和10,000张PCIe A100 GPU,实现了接近DGX-A100的性能,同时将成本减半、能耗降低40%。论文还介绍了HFReduce通信优化技术,以及包含HaiScale、3FS和HAI-Platform的软件堆栈。
在GitHub开源计划方面,DeepSeek已发布核心推理引擎和分布式训练框架两个仓库,未来三天将继续发布数据处理与预处理工具、模型微调与部署工具,以及完整推理系统与应用示例。DeepSeek选择开源的目的是降低AI研发门槛、促进知识共享、推动AI技术应用,希望通过社区协作推进AGI研究和工程发展。所有更新将在GitHub和Twitter(X)平台同步发布,欢迎开发者关注和参与。
随笔
未读
xAI发布Grok 3:全球最强AI模型免费开放,性能超越GPT-4o
马斯克的xAI公司发布了全新AI模型Grok 3并宣布免费使用。Grok 3在多项基准测试中展现出超强性能,在数学推理、代码生成和多模态理解等方面超越了Gemini 2 Pro、Claude 3.5和GPT-4等竞品。其推理能力优于主流大模型,并在ChatBot Arena榜单上首次突破1400分,位居世界第一。
Grok 3的两大创新功能是DeepSearch和Think。DeepSearch是一个强大的AI代理,能快速整合信息并从复杂性中提取清晰结论;Think功能则增强了系统在数学、科学和编程任务中的推理能力。
在DeepSearch功能测试中,以比特币在全球经济危机期间的表现分析为例,系统展示了出色的信息整合和分析能力。分析显示比特币在金融危机期间往往充当避风港,特别是在银行业不稳定时期表现突出。如2020年疫情期间,比特币在初期下跌后强劲反弹,表现优于传统市场;2023年银行业危机期间,其价格从2万美元上涨至3万美元。不过在不同类型的经济危机中,比特币的表现会有所差异。