All Posts

[2411.17116v1] Star Attention: Efficient LLM In...

04-14-2025

由于自我注意机制的二次方复杂性,基于变换器的大型语言模型(LLM)在长序列上的推理既昂贵又缓慢。我们引入了 Star Attention,这是一种分两个阶段的块稀疏近似方法它通过在多个主机之间分片处理注意力来提高计算效率,同时最大限度地减少通信开销在第一阶段,使用跨主机的分块本地注意力并行处理上下文。在第二阶段,查询和响应标记会通过序列全局注意力关注所有先前缓存的标记。Star Attention...

modelscope/ClearerVoice-Studio: An AI-Powered S...

04-14-2025

该工具包包含了语音增强、分离和目标发言人提取等功能的最先进预训练模型,如FRCRN 和 MossFormer。用户可以直接使用这些预训练模型,而无需从头开始。ClearerVoice-Studio 设计了一个统一的推理平台,使得模型的使用变得简单而灵活。此外,该工具包还提供了训练和推理脚本,以及一个名为 SpeechScore 的语音质量评估工具包,用于评估不同模型的性能。...