Meta的工程师在领英上晒出了一组数字:在数千块英伟达Blackwell GPU上训练GEM模型,端到端模型浮点运算利用率(MFU)做到 20–25% ,前向传播最高提速 2倍 。支撑这组数字的,是Meta自研的Triton低层扩展(Triton Low-Level Extensions,TLX)。 TLX要解决的问题很具体:现代GPU架构提供了warp特化、异步内存搬运、张量内存、集群级执行这些性能优化能力,但它们偏离了Triton的传统编程模型。Triton简化了内核开发,代价是把低层执行结构抽象掉了。 举个Meta工程师给出的例子:一个现代FlashAttention内核,可能让一个warp组专门发起TMA传输,另一个warp组执行张量核心计算。一个Blackwell GEMM内核,则可能同时协调多个warp组、TMEM分配和集群资源。这两种情况下,性能不只取决于算了什么,还取决于多个执行单元怎么配合。 要用上这些能力,过去得写“大量架构特定的编排代码”,因为它们并不是Triton编译器现成的抽象。TLX的定位,就是让工程师在保留Triton编程模型的同时,对GPU执行拿到显式控制权。 为此TLX引入了一个新的执行模型——多指令多warp(Multiple Instructions, Multiple Warps,MIMW),在CUDA的线程级控制和Triton的块级抽象之间搭桥。它从五个方向扩展Triton: warp组编排 同步 内存编排 集群执行 可选布局 合起来看,TLX占的是Triton的生产力和CUDA的控制力之间的那块空间。开发者保留Python、自动调优、分块张量编程的好处,同时直接拿到那些越来越决定现代GPU性能的执行结构。 Meta披露,TLX已在生产环境部署数月,跑在三个主要负载上。除了GEM训练,还有推荐推理中的内核内广播优化(In-Kernel Broadcast Optimization,IKBO):在H100上,一个线性压缩内核提速 4倍 ,协同设计的模型里计算密集型网络延迟最多降低 三分之二 。第三块是LLM预训练的分布式分组GEMM,在大规模GPU集群、长时间训练的场景下改善了性能、可靠性和可维护性。 AI工程师Kritika Choudary在领英上评论说,她当年在M2上用Metal从零写Flash Attention时,大部分思考都花在把tile加载进threadgroup内存、以及把屏障放在哪里,看到TLX把这些显式化是件好事。Amirul Islam则强调,把warp组交接显式化、同时让布局保持可选,是一条有用的边界——生产者/消费者流水线在源码里看得见,又不必让每个融合阶段都从手动布局记账开始。 Meta的计划是继续扩展TLX:增加对更多英伟达、AMD以及自定义加速器架构的支持,通过更高层抽象自动化warp组编排,并把TLX与torch.compile集成。 特别

![[流言板]江苏半场35-31浙江,江苏庞峥麟和小外缺阵、浙江命中率27%](/img/about/[%e6%b5%81%e8%a8%80%e6%9d%bf]%e6%b1%9f%e8%8b%8f%e5%8d%8a%e5%9c%ba35-31%e6%b5%99%e6%b1%9f%ef%bc%8c%e6%b1%9f%e8%8b%8f%e5%ba%9e%e5%b3%a5%e9%ba%9f%e5%92%8c%e5%b0%8f%e5%a4%96%e7%bc%ba%e9%98%b5%e3%80%81%e6%b5%99%e6%b1%9f%e5%91%bd%e4%b8%ad%e7%8e%8727%25.jpg)
![[流言板]雷霆首发:亚历山大、麦凯恩、阿杰伊、肯威、哈尔滕施泰因](/img/about/[%e6%b5%81%e8%a8%80%e6%9d%bf]%e9%9b%b7%e9%9c%86%e9%a6%96%e5%8f%91%ef%bc%9a%e4%ba%9a%e5%8e%86%e5%b1%b1%e5%a4%a7%e3%80%81%e9%ba%a6%e5%87%af%e6%81%a9%e3%80%81%e9%98%bf%e6%9d%b0%e4%bc%8a%e3%80%81%e8%82%af%e5%a8%81%e3%80%81%e5%93%88%e5%b0%94%e6%bb%95%e6%96%bd%e6%b3%b0%e5%9b%a0.jpg)
