摩尔线程宣布正式开源高性能线性代数模板库MUTLASS 加速国产GPU开发
发布时间：2024-11-13 08:29
发布者：eechina
|
近日，摩尔线程宣布正式开源高性能线性代数模板库MUTLASS，这一举措旨在帮助开发者更高效地针对摩尔线程GPU的MUSA Core及Tensor Core等单元进行编程，从而加速基于国产GPU的算子开发以及算法创新。MUTLASS的开源地址为：https://github.com/MooreThreads/mutlass。 作为摩尔线程专为自研MUSA架构优化的高性能计算库，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于开源模板库CUTLASS进行的MUSA适配和定制化开发、优化。在数值计算和深度学习领域，矩阵乘法（GEMM）及其变种（如FlashAttention、Convolution）是构建复杂上层应用的基石。然而，为了追求更高的算子融合效率或更创新的算法，开发者们往往需要超越标准化计算接口的限制，如标准BLAS接口以及芯片厂商的计算库接口，以实现高性能的定制化算子。MUTLASS正是为满足这一需求而设计。 针对矩阵乘法及相关变种，MUTLASS提供了一系列高性能的C++模板组件，并采用了与muDNN库类似的分层分解及数据搬运策略，以确保性能的充分发挥。在本次开源的版本中，摩尔线程适配了CuTe后端库，为其增加了第三代MUSA架构的MMA计算原语，支持TF32/FP16/BF16/INT8等多种数据精度。以此为基础，初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。 借助MUTLASS，开发者们既可以灵活复用不同层级的模板组件，也可以按需修改各种模板组件的实现细节，以较低的开发成本实现定制化的高性能算子。这将在摩尔线程全功能GPU上充分释放性能，并鼓励开发者尝试更多的算法创新。摩尔线程表示，将持续优化MUTLASS的性能，并不断引入新的功能。 摩尔线程的这一开源举措，不仅为开发者提供了更为便捷和高效的工具，同时也展示了摩尔线程在推动国产GPU生态建设方面的坚定决心。此前，摩尔线程已经相继开源了OpenCV-MUSA计算机视觉库、MooER音频理解大模型以及vLLM-MUSA大语言模型高速推理框架，这些开源项目都在不同程度上促进了基于摩尔线程GPU的应用开发和算法创新。 |
网友评论