行业新闻
比GPT-4快18倍,世界最快大模型Groq登场
发布时间:  2024-02-22  

据澎湃新闻报道,AI芯片公司Groq近日宣布,其大模型每秒输出近500个token,实现了极低的延迟,成为全球最快的大模型。有网友将其与GPT-4、Gemini对标,看看它们完成一个简单代码调试问题所需的时间。 没想到,Groq完全碾压两者,在输出速度上比Gemini快10倍,比GPT-4快18倍。Groq的处理器名为LPU(语言处理单元),是一种新型的端到端处理单元系统,可以为具备序列组件的计算密集型应用(比如LLM)提供极快的推理速度。Groq还在LPU上运行了最新锐的开源模型Mixtral,模型在不到一秒的时间内回复了包含数百个单词的事实性的、引用的答案。

AIGC人工智能
登录网站查看更多数据
相关推荐
行业图谱

行行查

行业研究数据库

移动端
行业新闻
比GPT-4快18倍,世界最快大模型Groq登场
发布时间:  2024-02-22  

据澎湃新闻报道,AI芯片公司Groq近日宣布,其大模型每秒输出近500个token,实现了极低的延迟,成为全球最快的大模型。有网友将其与GPT-4、Gemini对标,看看它们完成一个简单代码调试问题所需的时间。 没想到,Groq完全碾压两者,在输出速度上比Gemini快10倍,比GPT-4快18倍。Groq的处理器名为LPU(语言处理单元),是一种新型的端到端处理单元系统,可以为具备序列组件的计算密集型应用(比如LLM)提供极快的推理速度。Groq还在LPU上运行了最新锐的开源模型Mixtral,模型在不到一秒的时间内回复了包含数百个单词的事实性的、引用的答案。

AIGC人工智能
相关推荐