行行查

行行查

行业研究数据库

行业研究问答

大语言模型行业研究:SpQR总体架构包括1)用于捕捉小敏感权重组;2)用于捕捉单个的异常值

  • 大语言模型
  • 模型压缩
  • 权重量化
  • 稀疏表示
  • LLM推理优化
  • 神经网络剪枝
  • 低比特训练
  • AI芯片适配
  • 模型蒸馏
  • 边缘AI部署
  • 大数据
  • 人工智能

SpQR(Sparse-Quantized Representation)是一种专为大语言模型权重压缩设计的架构,核心目标是在几乎无损精度的前提下大幅降低模型存储与计算开销。其总体架构包含两个关键机制:第一,通过分块量化捕捉对微小扰动敏感的权重重组结构——将原始权重矩阵划分为β₁×β₂大小的子块,并在每个子块内进行分组量化,保留局部结构信息;第二,专门识别并分离出极少数异常值(outliers),这些值虽占比不足总权重的1%,但对模型性能影响显著,因此被单独以高精度浮点形式存储,其余大部分权重则用低比特整数量化表示。最终模型由三部分构成:量化后的主权重、对应的缩放因子与零值偏移量、以及稀疏存储的异常值。这种“量化+稀疏”混合策略兼顾了压缩效率与推理精度,是当前高效部署超大规模语言模型的重要技术路径之一。

关联报告

2024年AIGC行业专题报告
2024年AIGC行业专题报告
75页
人工智能生成内容(Artificial Intelligence Generated Content,AIGC)是指基于生成对抗网络、大型预训练模型等人工智能的技术方法,通过对已有数据的学习和识别,以适当的泛化能力生成相关内容的技术。AIGC技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习,AIGC可以根据输入的条件或指导,生成与之相关的内容。例如,通过输入关键词、描述或样本,AIGC可以生成与之相匹配的文章、图像、音频等。
2024-07
1292
查看报告
2025年中国AI医疗行业研究报告
2025年中国AI医疗行业研究报告
35页
AI医疗是指通过机器学习、自然语言处理(NLP)、计算机视觉等技术,对医疗数据进行深度分析,辅助临床决策、优化诊疗流程、提升医疗效率的智能化应用体系。随着深度学习、大数据、物联网等技术的快速发展,AI医疗逐渐从概念走向实际应用。目前,AI医疗已经在国内外多个医疗机构得到实际应用,并取得了显著的成效。
2025-06
1109
查看报告
2026年中国AI智能体行业研究报告
2026年中国AI智能体行业研究报告
24页
AI智能体是具备闭环决策的自主智能系统,是AI从工具化迈向自主化的核心载体,其核心闭环链路为环境感知、智能决策、行动执行、反馈学习;具备自主性、适应性、交互性、目标导向性与集成性五大特征,可自主规划路径、动态修正偏差、多模态交互并整合多模块能力。
2026-03
1309
查看报告
2026年中国AI应用行业研究报告
2026年中国AI应用行业研究报告
19页
AI应用是将AI技术落地实际场景,能自主完成感知、分析、决策等任务的产品、系统或功能模块,以AI技术为底层能力,核心是技术与场景结合,具备自主感知、逻辑推理、自适应学习特征。AI应用的核心目标为提质提效、优化决策、降低成本、创造价值。
2026-03
1237
查看报告
2026年中国AI大模型行业研究报告
2026年中国AI大模型行业研究报告
22页
AI大模型依托海量多模态预训练数据,以千亿级以上参数与万亿token级数据为核心“大”维度,具备大规模参数、数据驱动、强泛化能力与涌现性,推动AI从专用智能向通用智能跨越,少量微调即可适配多场景需求。
2026-03
1176
查看报告
2026年多模态大模型行业研究报告
2026年多模态大模型行业研究报告
27页
多模态AI生成技术突破了单模态基于单一数据类型的处理局限,通过高维语义空间的深度对齐,实现了文本、图像、音频与视频等跨维度的联合表征与协同创生。该技术深刻重构了人机自然交互范式。
2026-09
1150
查看报告
标题 时间 页数 目录 下载
2025多模态大语言模型技术及应用标准领航研究报告 2025-08-07 86 下载
2025大语言模型中的事实性幻象报告 2025-09-05 45 下载
2025基于大语言模型的多模态多任务风电场功率预测研究报告 2025-10-17 29 下载
2025人工智能大语言模型技术影响下的劳动力市场求职错配情况报告 2025-12-16 18 下载
2026多模态大语言模型技术发展报告 2026-02-07 74 下载
智谱-02513.HK-领先的独立大语言模型公司,产品矩阵快速扩张 2026-04-13 18 下载
2025年大语言模型进展报告 2026-04-20 448 下载
产业研究报告:新质生产力之重点产业链系列(一):大语言模型DeepSeek 2026-08-06 34 下载
“学海拾珠”系列之二百七十五:基于大语言模型的语义引导搜索Alpha因子 2026-06-01 16 下载
人形机器人行业深度分析:大语言模型后,具身模型何时迎来GPT时刻? 2026-10-26 30 下载

推荐阅读

行业图谱