随着AI和消费金融行业的快速发展，个人和团伙欺诈行为日益猖獗，欺诈攻击呈现多样化、专业化、智能化、套路化、线上化。传统反欺诈甄别手段相对乏力，部分传统反欺诈一直存在的问题也未有好的解决方案，很多新型欺诈也无法拦截，给金融机构和消费者带来了巨大的风险挑战。大模型可以很好地对图像、视频、语音、文本、文档等非结构化数据进行分析理解，挖掘非结构化数据中蕴藏的高维信息和有效特征，将这些信息合理使用可有效提高风控能力和反欺诈能力，解决现有欺诈识别难，反欺诈模型开发特征受限，复杂欺诈排查靠人工效率低等问题。

本次演讲将介绍新希望金融科技AI团队基于多模态大模型解决金融反欺诈中的难点问题和实战解决方案，介绍多模态关系图谱、多模态内容理解、多模态内容搜索、多模态数字人等AI产品结合多模态大模型更好的赋能金融反欺诈，用前沿技术解决金融反欺诈中的难点和痛点问题以及新型欺诈防范问题，了解在600多家行应用的实战情况。希望为金融反欺诈提供新的解决方案，为大模型在金融反欺诈中的落地提供思路和经验借鉴。

演讲提纲

1. 消费金融场景下的欺诈攻击与技术现状
   • 现有反欺诈痛点分析
   • 多模态大模型技术优势解析
   • 多模态大模型如何助力金融反欺诈
2. 多模态关系图谱在反欺诈中的技术方案和应用实践
   • 传统关系图谱解决反欺诈的局限性
   • 多模态关系图谱解决反欺诈问题的必要性
   • 多模态关系图谱核心技术
   • 多模态关系图谱核心算法
   • 多模态关系图谱在金融反欺诈中的应用案例
3. 多模态内容理解在反欺诈中的技术方案和应用实践
   • 图像/视频内容理解技术方案
   • 语音内容理解技术方案
   • 多模态内容理解在反欺诈中的应用和实践案例
4. 多模态搜索在反欺诈中的技术方案和应用实践
   • 图像/视频向量化技术方案
   • 语音向量化技术方案
   • 文本向量化技术方案
   • 图像/视频/语音基于语义搜索技术方案
   • 以图搜图/以语音搜语音技术方案
   • 多模态内容搜索在反欺诈中的应用和实践案例
5. 多模态数字人在反欺诈中的技术方案和应用实践
   • 多模态反欺诈数字人技术方案
   • 多模态反欺诈数字人算法方案
   • 多模态数字人在反欺诈中的应用和实践案例
6. 总结和展望
   • 总结
   • 下一步研究计划

技术实践痛点

1. 大模型的不稳定性问题：同样的提示词，模型在不同时刻对图像、视频、文本、语音理解的内容不同，导致反欺诈规则和策略会失效，需要结合大小模型、传统AI模型一起解决，传统AI模型解决大部分问题，传统AI解决不了的再利用大模型，同时使用规则和RAG一起减少模型输出不稳定问题。
2. 多模态大小模型处理时效问题：多模态关系图谱、多模态内容理解、多模态AI搜索以及多模态数字人都需要实时对多种模态数据进行实时模型计算、实时反欺诈决策、实时策略应用。多模态大模型存在处理时效较长的问题，多模态小模型存在模型多并发量大计算查找慢的问题，大小模型动态运行存在调用量大和占用资源大等问题。
3. 多模态关系图谱构建和实时查询问题：图像背景、声纹、视频、人像、经营场所等相似如何关联，海量文本内容如何准确提取实体关系，多模态关系网络如何快速精准构建，超级结点如何实现快速查询响应，多模态关联图谱如何动态更新等都是生产真实使用过程中需要解决的问题。
4. 成本与效果的平衡：多模态大模型在反欺诈中有一定效果，能解决传统反欺诈解决不好的问题，但是多模态大模型调用成本高，如果使用较小的模型，又可能无法满足复杂场景的需求。我们必须在每个环节仔细评估是否值得使用大模型，必要时使用规则和传统AI替代，以平衡成本和效果。

听众收益

1. 了解多模态大模型在金融反欺诈中的真实落地案例和实战经验，了解当前消费金融领域欺诈行为的最新趋势和特点以及最新的防御技术方案。
2. 了解多模态大模型助力智能反欺诈的技术方案和实现路径，了解如何基于多模态关系图谱、多模态内容理解、多模态内容搜索、多模态数字人等AI产品结合多模态大模型更好的赋能金融反欺诈，用前沿技术解决金融反欺诈中的难点和痛点问题以及新型欺诈问题。
3. 了解多模态大模型在智能反欺诈中的落地方向和未来研究方向。
4. 了解前沿反欺诈技术，包括但不限于CV、NLP、视觉大模型、多模态大模型、多模态关系图谱、多模态内容理解和搜索等AI技术在反欺诈领域的应用。