今日应用
今日话题
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
重点标签 Transformer芯片、Etched公司、AI芯片、哈佛辍学生、投资1.2亿美元
文章摘要
Etched.ai公司,由几位哈佛辍学生创立,最近宣布了一款名为Sohu的Transformer芯片,它在运行大型语言模型(LLM)时表现出色,推理性能远超现有产品。Sohu芯片在处理Llama 70B模型时,每秒能生成高达500000个token的输出,相当于20张英伟达H100或10张B200的计算能力。这家成立不久的公司已经获得了1.2亿美元的融资,投资者中包括硅谷知名人士Peter Thiel。
Etched.ai的创始人之一Gavin Uberti认为,他们的芯片是针对Transformer模型优化的,运行速度远超GPU,这可能是AI领域的一个重要突破。Sohu芯片的高吞吐量和专用性,使其在AI模型推理任务中具有显著优势。尽管Sohu目前只能运行Transformer模型,但考虑到目前大多数先进AI模型都基于这一架构,其潜在市场仍然巨大。
此外,Etched.ai的团队对于Transformer模型的未来充满信心,他们认为扩展模型规模是提升AI智能的关键,而Sohu芯片正是为了满足这一需求而设计。尽管GPU在AI领域长期占据主导地位,但随着摩尔定律的放缓,专用芯片如Sohu的出现,可能会改变市场格局。
Sohu芯片的另一个优势是其软件的简化。由于只针对Transformer模型,Sohu的软件栈不需要处理多种不同的机器学习架构,从而简化了开发和维护工作。Etched.ai计划将其软件完全开源,进一步降低使用门槛。
Etched.ai的创始人团队虽然年轻,但拥有丰富的技术背景和创业经验。他们的目标是挑战现有的AI芯片霸主英伟达,并在AI硬件领域创造新的里程碑。随着AI技术的快速发展,专用芯片的出现似乎是行业发展的必然趋势,而Etched.ai和Sohu芯片可能会在这一过程中扮演重要角色。
文章来源
原文地址: 点我阅读全文
原文作者: AIGC新智界