行行查
行业研究数据库
数字经济行业研究:Ferret-UI2数据集生成流程图
- 数字经济
- 数据要素
Ferret-UI2数据集的生成流程主要围绕多平台用户界面(UI)数据的采集、处理与任务构建展开,旨在为视觉-语言模型提供高质量的训练数据以支持复杂的UI理解任务。整个流程始于从iPhone、iPad、Android、Apple TV以及Web端等不同平台收集原始屏幕截图和对应的控件标注信息,这些数据来源包括自标注数据、RICO数据集和WebUI数据集。
在数据预处理阶段,系统首先通过全屏OCR技术提取屏幕中的文本内容,并结合控件标签映射进行初步标注,随后对无效数据进行过滤,确保数据质量。经过清洗后的数据被统一转换为跨平台标准化格式,便于后续任务建模。在此基础上,采用“Set-of-Mark(SoM)”视觉提示机制,将图像中的关键元素(如按钮、输入框等)以结构化方式标记,增强模型对UI组件的理解能力。
为了生成多样化的任务指令,流程引入了GPT-4o模型,基于任务生成提示(task generation prompts)对数据进行查询,从而构建出两类核心任务:基础任务(Elementary Tasks)和高级任务(Advanced Tasks)。基础任务涵盖控件引用(Referring)、定位(Groun
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 数字轨道,真实经济:数字经济与批发银行业务的未来 | 2026-05-18 | 38 | ||
| 数字经济周报(2026年第16期):华为发布Tau定律,半导体跳出制程依赖 | 2026-06-02 | 15 | ||
| 2026中东北非地区数字经济报告 | 2026-06-02 | 42 | ||
| 全球存储芯片行业深度剖析:数字经济时代的核心引擎:技术、市场与格局的全面变革 | 2026-06-05 | 22 | ||
| 2026上海数字经济产业发展报告 | 2026-06-25 | 36 | ||
| 数字经济周报(2026年第22期):联合国AI治理对话启动:全球竞争转向治理能力竞争 | 2026-07-14 | 15 | ||
| 2026亚太数字经济与人工智能法律问答指南(蓝皮书) | 2026-09-09 | 99 | ||
| 数字经济周报(2026年第31期):模型蒸馏争议背后:AI竞争边界向能力复用延伸 | 2026-09-15 | 17 | ||
| 广西数字经济发展白皮书(2026年) | 2026-09-28 | 41 | ||
| 2026全国主要城市数字经济人才引力指数报告 | 2026-10-27 | 95 |

行研数据库
创投数据库
证券数据库
商业数据库










