Cerebras Systems周二宣布为开发人员提供人工智能推理解决方案。根据该公司的说法,这是一个更快的推理解决方案,比Nvidia的产品快20倍。
Cerebras将提供更大的芯片来运行AI应用程序,据该公司称,这些芯片也比Nvidia GPU便宜。行业标准的Nvidia GPU通常通过云服务提供商访问,以运行ChatGPT等大型语言模型。对于许多小公司来说,获得访问权限通常并不容易,而且成本很高。
Cerebras声称其新芯片可以提供超越GPU的性能
人工智能推理是操作已经训练好的人工智能模型以获得输出的过程,例如来自聊天机器人的答案和解决不同任务。推理服务是当今人工智能应用程序的支柱,因为它们依赖于它们进行日常操作以方便用户。
Cerebras表示,推理是人工智能行业增长最快的部分,因为它占云计算中所有人工智能相关工作负载的40%。Cerebras首席执行官Andrew Feldman表示,该公司的超大芯片比GPU提供了更高的性能。他说,GPU无法达到这个水平。费尔德曼在接受路透社采访时表示。
他补充说,
“我们以最高的精度做到这一点,我们以最低的价格提供。”来源:路透社。
首席执行官表示,现有的人工智能推理服务并不能让所有客户都满意。他在旧金山对另一组记者说,该公司对更快、更具成本效益的解决方案“产生了各种兴趣”。
到目前为止,Nvidia凭借其金标准芯片和计算统一设备架构(CUDA)编程环境主导了人工智能计算市场。这有助于Nvidia通过提供大量工具将开发人员锁定在其生态系统中。
Cerbras芯片的内存是Nvidia H100 GPU的7000倍
Cerebras表示,其高速推理服务是人工智能行业的一个转折点。该公司的新芯片被称为晶圆级发动机,其大小与餐盘相当。他们每秒可以处理1000个代币,该公司表示,这与宽带互联网的引入相当。
据该公司称,新芯片为各种AI模型提供了不同数量的输出。对于Llama 3.1 8B,新芯片每秒可以处理多达1800个代币,而对于Llama 3.1 70B,它每秒可以处理450个代币。
Cerebras以每百万个代币10美分的价格提供推理服务,这低于基于GPU的服务。根据行业观点,通常替代方法会损害性能的准确性,而Cerebras公司声称,Cerebras的新芯片能够保持准确性。
Cerebras表示,它将提供不同形式的人工智能推理产品。该公司计划通过其云和开发人员密钥引入推理服务。该公司还将向数据中心客户和希望运营自己系统的客户出售新芯片。
新的晶圆级发动机芯片有自己的集成冷却和电力输送模块,是Cerebras数据中心系统CS-3的一部分。根据不同的报道,Cerebras CS-3系统是该公司推理服务的支柱。
该系统的内存容量是Nvidia H100 GPU的7000倍。这也解决了内存带宽的基本问题,许多芯片制造商正试图解决这个问题。
巴西国家石油公司也在努力成为一家上市公司。为此,该公司本月向美国证券交易委员会(SEC)提交了一份机密招股说明书。
微信里点“发现”,扫一下二维码便可将本篇文章分享至朋友圈
主题测试文章,只做测试使用。发布者:币安赵长鹏,转转请注明出处:https://www.paipaipay.cn/354137.html