AI Coding 如火如荼,覆盖产品理解、设计理解、代码生成、验证和持续交付的完整研发链路。模型对生成各种逻辑代码很擅长,但对企业级精细的UI 代码的生成还难做到完美,虽然多模态模型已经能够设计稿生成较高还原度的 UI 代码,但在真实设备上仍容易出现间距位置偏移、文本溢出、布局塌陷、业务组件使用错误、以及不同屏幕尺寸下适配不一致等问题,导致不少的返工。
本次分享将从淘天设计生产一体化出发,介绍如何通过业务组件识别、真机 Visual Diff、真机 VDOM Diff、静态UI 差异归因分析和动态 UI 验证和自动修复,构建面向真实设备交付的 UI 代码质量闭环,其中生成的UI代码像素级对比CV分从 92 提升至 98.5,组件分从 85 提升至 98,整体高可用占比从 22% 持续提升至79.2%。让 AI 生成的代码从单页面效果还原走向跨真机高还原、可维护且几乎无需人工修改的生产级高可用交付,是企业级端到端交付的重要组成部分。
演讲提纲
- 设计生产一体化:从 D2C 到 I2C,再到跨真机交付
- 传统 D2C:设计噪音、组件识别和布局误差级联问题,“能生成 UI 代码”不等于“高可用交付”
- 从 I2D2C 到 I2C 的演进,以及设计意图、视觉规范、业务组件和生产代码的一体化
- 企业级 UI 代码交付的两个核心目标:真机高还原度与高可维护性
- 业务组件识别:让设计稿真正进入生产代码链路
- 难点:非标准设计稿中的碎片图层组合、相似组件区分、组件边界识别和属性缺失等问题
- 策略:页面分析、边界审计、视觉复核和属性识别等多 Agent 协作流程
- 效果:非标组件识别在内部评测集组件分提升明显 85 -> 98
- 静态 UI 高还原闭环:基于真机运行结果自动修复
- 问题:代码渲染后字体、间距和位置偏移、圆角、颜色等差异
- 策略:Generator、Verifier、Refiner 三角色协作 Agent
- Visual Diff:通过 Visual Diff 对比真机截图与设计稿截图,定位视觉差异与归因
- 核心能力:边缘叠图 + 差异区域标框 + 局部放大
- VDOM Diff:通过各真机不同跨端 DSL(H5、Weex、DX 等)VDOM Diff 采集并对比运行时 VDOM 结果,分析节点、属性、尺寸、位置和结构差异并归因
- 效果:结合两类 Diff 证据互补完成差异归因和自动修复,推动 C 端场景 CV 分提升 92 -> 98
- 动态 UI 高可维护闭环:让同一份代码适应不同真机
- 问题:分析不同设备、容器宽度、文本长度和动态数据量下的溢出、截断、错位和布局塌陷问题
- 策略:通过动态变量 Mock、真机测试矩阵覆盖多设备、多状态和多跨端 DSL 场景渲染对比发现问题、自修复问题
- 动态变量:不同设备(iOS / Android / 鸿蒙)、不同宽度(990 / 1280 / 1440)、不同数据(超长、超短、缺省等)
- 结果:基于真机 Visual Diff 和 VDOM Diff 和运行结果发现结构问题,自动发现并修复布局、嵌套、对齐、尺寸和文本适配问题,代码可维护性提升明显
- 评测体系:从单页面UI效果分走向跨真机高可用
- 评测集:构建覆盖 C 端、B 端(标准组件、非标准组件)涵盖不同业务场景的 2000+ 真实业务设计稿评测集
- 评测维度:
- CV 还原度(CV 分):生成后代码渲染图和设计原图像素级对比,含 iOS、Android、鸿蒙 CV 分
- Code 可维护性(Code 分):含组件分(合理使用组件)、嵌套分(合理嵌套)、对齐分(合理的对齐方式)、定位分(合理的绝对定位)、文本弹性分(文本容器合理伸缩)
- 成本、耗时和修复轮次
- 北极星指标:高可用占比
- C 端高可用:CV > 95 && 可维护性 > 90 同时满足的样本占比
- B 端高可用:CV > 90 && 可维护性 > 90 同时满足的样本占比
- 评测指标校验:真实业务上线 UI 代码采纳率拟合实验室环境的评测高可用指标
- 企业落地与演进:被集成至更多业务的端到端研发流程使用案例、持续交付优化
听众收益
- 理解设计研发协作趋势和业务实践,理解从 D2C 到 I2C 的设计生产一体化演进趋势,以及企业级 UI 代码实现高还原、高维护性的方法
- 学习计算机视觉相关 Visual prompt 技术 在 UI 代码领域的应用技巧
- 掌握基于多 Agent 的业务组件识别方案,解决私域业务组件、非标准设计稿和相似组件识别问题
- 学会建立覆盖视觉还原度、代码可维护性、成本和效率的 高可用 UI 代码评测体系
演讲亮点
- 真实落地效果:生成的UI代码(含跨端)基本不用改,不同真机设备不同的 mock 数据真实验证修复不同状态的UI,高可用占比提升明显22%->79.2,cv从92->98,使用方反馈不错,目前规模化应用于淘天各个核心业务中,营销、交易、直播、会员、天猫超市等
- 业务价值:提升UI研发效果,助力全栈 ai 端到端交付