据澎湃新闻报道,AI芯片公司Groq近日宣布,其大模型每秒输出近500个token,实现了极低的延迟,成为全球最快的大模型。有网友将其与GPT-4、Gemini对标,看看它们完成一个简单代码调试问题所需的时间。 没想到,Groq完全碾压两者,在输出速度上比Gemini快10倍,比GPT-4快18倍。Groq的处理器名为LPU(语言处理单元),是一种新型的端到端处理单元系统,可以为具备序列组件的计算密集型应用(比如LLM)提供极快的推理速度。Groq还在LPU上运行了最新锐的开源模型Mixtral,模型在不到一秒的时间内回复了包含数百个单词的事实性的、引用的答案。