Koyeb与Tenstorrent合作:AI加速器新篇章

字数 1593,阅读大约需 8 分钟

Koyeb与Tenstorrent合作:AI加速器新篇章
Koyeb是一个无服务器云平台,旨在为开发者提供便捷的应用部署方式,支持Docker容器以及多种流行编程语言。Koyeb允许根据需求自动扩展应用,并特别关注AI应用的低延迟体验。

Serverless云平台Koyeb携手Tenstorrent,开启AI加速器新篇章

Tenstorrent的AI加速器与Koyeb的强强联合

近日,在芯片制造商Tenstorrent成功筹集近7亿美元资金后,开发者迎来了一个令人振奋的消息:他们现在可以在Koyeb平台上体验Tenstorrent的AI加速器了。Tenstorrent专注于基于RISC-V指令集架构构建的AI处理器,并推出了自家的开源神经网络库TT-NN和开源低级编程模型TT-Metalium。作为致力于构建Nvidia GPU和CUDA库替代品的公司之一,Tenstorrent在行业内与Axelera、Etched、Groq等公司展开竞争。

Koyeb,由前Scaleway高管创立,旨在为寻求云基础设施抽象层的开发者打造一个无服务器云平台。该平台与Fly.io、Railway和Render等公司同台竞技。Koyeb提供了便捷的应用部署方式,开发者只需通过命令行界面或git push,便可将应用部署到多个虚拟机上。它支持Docker容器以及众多流行的编程语言。

Koyeb的一个亮点功能是其自动扩展能力。当应用需求激增时,它能自动将应用扩展到数百台服务器;而当流量减少时,又能自动缩减服务器基础设施。近期,Koyeb特别关注AI应用领域。借助其无服务器平台的特性,Koyeb能够为AI工作负载提供低延迟的体验。在硬件方面,Koyeb已经在其数据中心部署了Tenstorrent的PCIe板卡。开发者可以利用Tenstorrent的低级TT-Metalium SDK编写主机和内核程序。

在Koyeb的文档和管理面板中,开发者可以发现两种全新的实例类型:TT-N300S实例配备了24GB的GDDR6内存、192MB的SRAM,并提供高达466 FP8 TFLOPS的计算能力,还搭配了64GB的RAM和4个vCPU。而TT-LoudBox实例则拥有四个N300S,提供了96GB的GDDR6、768MB的SRAM,以及高达1,864 FP8 TFLOPS的计算能力,并具备256GB的RAM和16个vCPU。

通过此次发布,Koyeb正努力将自己塑造成一个与硬件无关的云平台。Koyeb的联合创始人兼CEO Yann Leger表示:“这让我们想起了ARM在高性能芯片服务器市场上的首次亮相。自从我们在Scaleway推出ARM进入市场以来,在2013-2014年提供完全定制的服务器,我们拥有部署各种架构和运营不同硬件的经验。”

对于Tenstorrent而言,这家AI芯片制造商正在积极寻求合作伙伴,以围绕其开源编程模型构建一个开发者生态系统。要提供Nvidia AI堆栈的替代方案,一个完整的社区支持是不可或缺的。

Koyeb与Tenstorrent合作:AI硬件与软件生态的崭新篇章

在芯片制造商Tenstorrent成功融资近7亿美元后的短短几周内,开发者现在可以在Koyeb平台上体验Tenstorrent的AI加速器。Tenstorrent专注于基于RISC-V指令集架构的AI处理器,并开发了自家的开源神经网络库TT-NN和低级编程模型TT-Metalium。该公司旨在构建Nvidia GPU和CUDA库的替代品,与Axelera、Etched、Groq等企业展开竞争。

Koyeb由前Scaleway高管创立,致力于为寻求云基础设施层面抽象的开发者打造无服务器云平台。其竞争对手包括Fly.io、Railway和Render。Koyeb允许开发者通过命令行界面或与代码仓库集成后的git push操作,将应用部署到多个虚拟机上,支持Docker容器和多种流行语言。Koyeb的一项关键特性是能够根据需求自动扩展应用到数百台服务器,而在流量减少时则自动缩减服务器基础设施。

近期,Koyeb特别关注AI应用。由于其平台的无服务器性质,它能为AI工作负载提供低延迟体验。在硬件方面,Koyeb已在数据中心部署了Tenstorrent的PCIe板卡。开发者可以利用Tenstorrent的低级TT-Metalium SDK编写主机和内核程序。在Koyeb的文档和管理面板中,开发者会发现两种新型实例:

  • TT-N300S实例:配备24GB GDDR6内存、192MB SRAM,提供高达466 FP8 TFLOPS的性能,搭配64GB RAM和4个vCPU。
  • TT-LoudBox实例:包含四个N300S,提供96GB GDDR6、768MB SRAM和高达1,864 FP8 TFLOPS的性能,配备256GB RAM和16个vCPU。

通过此次发布,Koyeb试图将自己定位为与硬件无关的云平台。Koyeb联合创始人兼CEO Yann Leger表示:“这让我们想起了ARM在服务器市场凭借高性能芯片的首次亮相。自从我们在Scaleway时代将ARM引入市场,提供2013-2014年的全定制服务器以来,我们在部署各种架构和运营多样化硬件方面积累了丰富经验。”

对于Tenstorrent而言,这家AI芯片制造商正在寻求合作伙伴,以围绕其开源编程模型构建开发者生态系统。要提供Nvidia AI堆栈的替代方案,需要整个行业的共同努力。Koyeb与Tenstorrent的合作,不仅为开发者提供了一个全新的机会,使他们能够在无服务器云平台上利用Tenstorrent的AI加速器,提高了AI工作负载的性能和效率,降低了开发和部署的复杂性,还进一步巩固了Koyeb在无服务器云平台市场的地位。同时,这也为Tenstorrent提供了一个展示其AI加速器能力的平台,吸引更多开发者使用其开源工具,构建一个更强大的开发者生态系统。从行业角度看,这次合作标志着AI硬件和软件生态系统的持续发展与演变,预计未来将有更多类似的合作与创新,推动整个行业向前发展。

© 版权声明

相关文章

暂无评论

暂无评论...