Etched.ai
Etched.ai：引领AI创新的前沿技术平台
产品介绍
Etched.ai是一家位于美国加利福尼亚州的人工智能芯片初创公司，由三名哈佛辍学生于2022年创立，主要致力于制造大型语言模型的人工智能加速芯片。
核心产品
- Sohu芯片：
- 专为Transformer模型设计：Sohu芯片是世界上第一个针对Transformer架构大模型研发的专用芯片，其设计高度聚焦于Transformer模型的计算需求，能够高效处理自然语言处理和图像识别等任务中基于Transformer架构的模型，而在执行这些模型时比传统GPU更高效.
- 高性能：采用台积电4纳米工艺制造，拥有144GB的HBM3E显存，在单位面积上集成了更多的晶体管，极大地提升了芯片的计算密度和能效比，显著降低了能耗。与英伟达H100 GPU相比，一台8芯片的Sohu服务器每秒可处理超过50万个Llama 70B token，而英伟达H100服务器仅为2.3万个，速度快20倍以上；与英伟达下一代Blackwell（B200）GPU相比，Sohu芯片在推理性能上快10倍以上.
- 高利用率与强扩展性：Sohu芯片的FLOPS（每秒浮点运算次数）利用率超过90%，远高于GPU的TRT-LLM的大约30%。每个核心可以支持高达100万亿参数的模型，支持专家混合（MoE）和各种Transformer变体，能够满足处理大规模AI模型的需求.
- 创新技术：采用了名为“连续批处理”的创新技术，可将多个输入和输出序列组合在一起处理，充分利用芯片的计算资源，进一步提高处理效率.
- 软件栈开源：Etched.ai开放了从驱动程序到内核的整个软件栈，消除了逆向工程的需要，提高了灵活性，方便商业客户部署.
- Sohu Developer Cloud：Etched.ai计划推出的在线平台，让潜在客户能够预览Sohu芯片的功能，并为特定AI模型定制，有助于吸引更多客户，进一步推动公司的销售收入.
重要技术原理
Etched.ai的核心技术包括深度学习模型和算法，如卷积神经网络（CNN）、循环神经网络（RNN）等。这些模型和算法可以处理和分析大量的数据，从而实现对复杂任务的自动化和智能化。
优势
相比其他AI技术平台，Etched.ai的优势在于其深度学习模型和算法的先进性，以及对AI技术趋势的敏锐洞察力。此外，Etched.ai还与行业合作伙伴建立了紧密的合作关系，能够及时了解和满足不同行业的需求。
Etched.ai 的发展历程
Etched.ai 由哈佛辍学生 Gavin Uberti 和 Chris Zhu 于 2022 年创立。这两位年轻的创业者怀揣着对 AI 技术的热爱和对未来的憧憬，决定投身到充满挑战和机遇的 AI 芯片领域。他们专注于开发 AI ASIC 芯片，旨在通过优化硬件设计，提升 AI 运算能力，从而推动 AI 技术的发展和应用。
在创立初期，Etched.ai 就获得了包括 Ebay 前 CEO Devin Wenig 在内的 536 万美元的种子轮投资。此后，公司不断发展壮大，吸引了众多投资者的关注。2024 年 6 月 25 日，Etched.ai 完成了 1.2 亿美元的 A 轮融资，由 Primary Venture Partners 和 Positive Sum 领投，Two Sigma Ventures、Peter Thiel 和 Kyle Vogt 等人参投。
Etched.ai 的发展历程充满了创新和挑战。公司的创始人凭借着丰富的科技履历和顶尖的学习能力，将全部精力投入到打造世界上第一个针对 Transformer 的专用芯片 ——Sohu。Sohu 芯片专为 Transformer 模型设计，通过优化硬件架构和算法，实现了推理速度的大幅提升。据官方数据显示，Sohu 芯片在推理速度上比英伟达 H100 快 20 倍，这一性能优势无疑让它在 AI 芯片市场中脱颖而出。
除了在技术上的不断突破，Etched.ai 还积极与其他企业合作，拓展市场。公司宣布与台湾半导体制造公司合作生产 Sohu 芯片，这将进一步提升芯片的生产能力和质量，为公司的发展奠定坚实的基础。
Etched.ai 的融资情况
Etched.ai 在融资方面取得了显著的成绩。2022 年，公司创立之初就获得了 536 万美元的种子轮投资。2024 年 6 月 25 日，Etched.ai 完成了 1.2 亿美元的 A 轮融资，投资者包括 Primary Venture Partners、Positive Sum、Two Sigma Ventures、Peter Thiel 和 Kyle Vogt 等人。此次融资将为公司的进一步发展提供强大的资金支持。
Etched.ai 的融资成功得益于其在 AI 芯片领域的创新技术和巨大潜力。公司开发的 Sohu 芯片是专为 Transformer 架构大模型研发的 ASIC 芯片，相比于占据 AI 芯片垄断地位的英伟达 GPU，Sohu 芯片在性能、功耗和成本方面实现了显著优化。Sohu 芯片每秒能处理超过 50 万个 tokens，运行 Llama 70B 模型，相当于可以在两秒内写完《圣经》，或者一年写 15 万亿个 tokens。
