东谈主工智能初创公司Cerebras本日告示推出Cerebras Inference调教 av，据称是全国上最快的东谈主工智能推相识决决议。该公司示意:“Cerebras　Inference为Llama 3.18B每秒提供1800个token，为Llama 3.170B每秒提供450个token，比基于英伟达(NVDA.US)GPU的超大限度云快20倍。”

哥也操

Cerebras Inference由第三代晶圆级引擎(WaferScaleEngine)提供能源，同期由于排斥了内存带宽进犯，速率更快。Cerebras称其GPU惩处决议的推理本钱是微软Azure云讨论平台的三分之一，而使用的功率是微软Azure云讨论平台的六分之一。

该公司示意:“Cerebras通过制造全国上最大的芯片，并将通盘这个词模子存储在芯片上，惩处了内存带宽瓶颈。”“凭借咱们专有的晶圆级策画，咱们疏忽在单个芯片上集成44GB的SRAM，从而排斥了对外部存储器和联贯外部存储器和讨论机的慢速通谈的需求。”

提供东谈主工智能模子沉寂分析的东谈主工智能分析公司(Artificial Analysis)齐集首创东谈主兼首席践诺官MicahHill-Smith示意:“Cerebras在东谈主工智能推理基准方面处于最初地位。Cerebras为Meta的Llama3.18B和70BAI模子提供的速率比基于GPU的惩处决议快一个数目级。咱们在Llama3.18B上测量的速率逾越每秒1800个输出token，在Llama3.170B上测量的速率逾越每秒446个输出token，这是这些基准测试中的新纪录。”

他称，“凭借推至性能前沿的速率和具有竞争力的价钱，Cerebras Inference对具有及时或大容量需求的东谈主工智能垄断表情的开垦东谈主员特殊有蛊惑力。”

值得一提的是，狠狠 射这可能会在通盘这个词东谈主工智能生态系统中产生四百四病。跟着推理变得更快、更高效，开垦东谈主员将疏忽打破东谈主工智能的极限。仍是因硬件放肆而受阻的垄断表情当前可能会蕃昌发展，并激励出此前被判定为不行能的立异。不外， J. Gold Associates 分析师杰克·戈尔德 (Jack Gold) 也冷落，“但在咱们取得更具体的试验基准和大限度运营之前，当前忖度它到底有多优厚还为时过早。”

本月早些期间，Cerebras提交了初度公开募股(IPO)肯求，瞻望将于本年下半年上市。该公司最近还任命了两名新的董事会成员:曾在IBM(IBM.US)、英特尔(INTC.US)和西班牙电信(TEF.US)担任高管的格伦达•多查克;以及VMware和Proofpoint前首席财务官保罗·奥维尔(Paul Auvil)。

这家初创公司还朝上市迈出了伏击的一步，本月早些期间聘任鲍勃•科明(Bob Komin)担任首席财务官。Komin曾在Sunrun担任首席财务官，引导了该公司的IPO历程。他还曾在被雅虎收购的Flurry和被微软(MSFT，US)收购的TellmeNetworks担任CFO。

Cerebras首席践诺官兼齐集首创东谈主AndrewFeldman说，“鲍勃在他的事业糊口中一直是一个要道的运营引导者，在几家公司担任创业高管，这些公司发明了首要的技能和交易花式立异，并速即成长为行业引导者。他在成弥远和上市公司的财务引导方面的丰富教学对Cerebras来说口角常贵重的。”

海量资讯、精确解读，尽在新浪财经APP

包袱裁剪：于健 SF069调教 av