AI 时代的设计生产一体化:企业级 UI 代码高可用交付实践

所属专题:Agentic Software Engineering|从代码生成到软件交付

嘉宾 : 周婷婷 | 淘宝高级前端开发专家

讲师介绍

专题演讲嘉宾:周婷婷

淘宝高级前端开发专家

现为淘天营销商家&智能交付小组负责人,2010 年加入淘宝,多年深耕 UI 代码智能交付。当前聚焦 AI 设计生产一体化,探索覆盖产品设计、研发、测试和部署交付的企业级端到端解决方案,并持续实践 I2C、D2C、P2C、A2UI 与端侧智能等方向, 相关代表作 Imgcook。

议题介绍

演讲:AI 时代的设计生产一体化:企业级 UI 代码高可用交付实践

AI Coding 如火如荼,覆盖产品理解、设计理解、代码生成、验证和持续交付的完整研发链路。模型对生成各种逻辑代码很擅长,但对企业级精细的UI 代码的生成还难做到完美,虽然多模态模型已经能够设计稿生成较高还原度的 UI 代码,但在真实设备上仍容易出现间距位置偏移、文本溢出、布局塌陷、业务组件使用错误、以及不同屏幕尺寸下适配不一致等问题,导致不少的返工。

本次分享将从淘天设计生产一体化出发,介绍如何通过业务组件识别、真机 Visual Diff、真机 VDOM Diff、静态UI 差异归因分析和动态 UI 验证和自动修复,构建面向真实设备交付的 UI 代码质量闭环,其中生成的UI代码像素级对比CV分从 92 提升至 98.5,组件分从 85 提升至 98,整体高可用占比从 22% 持续提升至79.2%。让 AI 生成的代码从单页面效果还原走向跨真机高还原、可维护且几乎无需人工修改的生产级高可用交付,是企业级端到端交付的重要组成部分。

演讲提纲

  1. 设计生产一体化:从 D2C 到 I2C,再到跨真机交付
    • 传统 D2C:设计噪音、组件识别和布局误差级联问题,“能生成 UI 代码”不等于“高可用交付”
    • 从 I2D2C 到 I2C 的演进,以及设计意图、视觉规范、业务组件和生产代码的一体化
    • 企业级 UI 代码交付的两个核心目标:真机高还原度与高可维护性
  2. 业务组件识别:让设计稿真正进入生产代码链路
    • 难点:非标准设计稿中的碎片图层组合、相似组件区分、组件边界识别和属性缺失等问题
    • 策略:页面分析、边界审计、视觉复核和属性识别等多 Agent 协作流程
    • 效果:非标组件识别在内部评测集组件分提升明显 85 -> 98
  3. 静态 UI 高还原闭环:基于真机运行结果自动修复
    • 问题:代码渲染后字体、间距和位置偏移、圆角、颜色等差异
    • 策略:Generator、Verifier、Refiner 三角色协作 Agent
    • Visual Diff:通过 Visual Diff 对比真机截图与设计稿截图,定位视觉差异与归因
    • 核心能力:边缘叠图 + 差异区域标框 + 局部放大
    • VDOM Diff:通过各真机不同跨端 DSL(H5、Weex、DX 等)VDOM Diff 采集并对比运行时 VDOM 结果,分析节点、属性、尺寸、位置和结构差异并归因
    • 效果:结合两类 Diff 证据互补完成差异归因和自动修复,推动 C 端场景 CV 分提升 92 -> 98
  4. 动态 UI 高可维护闭环:让同一份代码适应不同真机
    • 问题:分析不同设备、容器宽度、文本长度和动态数据量下的溢出、截断、错位和布局塌陷问题
    • 策略:通过动态变量 Mock、真机测试矩阵覆盖多设备、多状态和多跨端 DSL 场景渲染对比发现问题、自修复问题
    • 动态变量:不同设备(iOS / Android / 鸿蒙)、不同宽度(990 / 1280 / 1440)、不同数据(超长、超短、缺省等)
    • 结果:基于真机 Visual Diff 和 VDOM Diff 和运行结果发现结构问题,自动发现并修复布局、嵌套、对齐、尺寸和文本适配问题,代码可维护性提升明显
  5. 评测体系:从单页面UI效果分走向跨真机高可用
    • 评测集:构建覆盖 C 端、B 端(标准组件、非标准组件)涵盖不同业务场景的 2000+ 真实业务设计稿评测集
    • 评测维度:
      • CV 还原度(CV 分):生成后代码渲染图和设计原图像素级对比,含 iOS、Android、鸿蒙 CV 分
      • Code 可维护性(Code 分):含组件分(合理使用组件)、嵌套分(合理嵌套)、对齐分(合理的对齐方式)、定位分(合理的绝对定位)、文本弹性分(文本容器合理伸缩)
      • 成本、耗时和修复轮次
    • 北极星指标:高可用占比
      • C 端高可用:CV > 95 && 可维护性 > 90 同时满足的样本占比
      • B 端高可用:CV > 90 && 可维护性 > 90 同时满足的样本占比
    • 评测指标校验:真实业务上线 UI 代码采纳率拟合实验室环境的评测高可用指标
  6. 企业落地与演进:被集成至更多业务的端到端研发流程使用案例、持续交付优化

听众收益

  • 理解设计研发协作趋势和业务实践,理解从 D2C 到 I2C 的设计生产一体化演进趋势,以及企业级 UI 代码实现高还原、高维护性的方法
  • 学习计算机视觉相关 Visual prompt 技术 在 UI 代码领域的应用技巧
  • 掌握基于多 Agent 的业务组件识别方案,解决私域业务组件、非标准设计稿和相似组件识别问题
  • 学会建立覆盖视觉还原度、代码可维护性、成本和效率的 高可用 UI 代码评测体系

演讲亮点

  • 真实落地效果:生成的UI代码(含跨端)基本不用改,不同真机设备不同的 mock 数据真实验证修复不同状态的UI,高可用占比提升明显22%->79.2,cv从92->98,使用方反馈不错,目前规模化应用于淘天各个核心业务中,营销、交易、直播、会员、天猫超市等
  • 业务价值:提升UI研发效果,助力全栈 ai 端到端交付

交通指南

北京新云南皇冠假日酒店

Crowne Plaza Beijing Sun Palace
地址:北京市
  • 微信咨询

  • 电话咨询

    联系电话:13269078023

领取往期热门演讲视频

领取往期热门演讲视频二维码
如您在购票过程中遇到问题,请扫码咨询票务小助手