随着AI和消费金融行业的快速发展，个人和团伙欺诈行为日益猖獗，欺诈攻击呈现多样化、专业化、智能化、套路化、线上化。传统反欺诈甄别手段相对乏力，部分传统反欺诈一直存在的问题也未有好的解决方案，很多新型欺诈也无法拦截，给金融机构和消费者带来了巨大的风险挑战。大模型可以很好地对图像、视频、语音、文本、文档等非结构化数据进行分析理解，挖掘非结构化数据中蕴藏的高维信息和有效特征，将这些信息合理使用可有效提高风控能力和反欺诈能力，解决现有欺诈识别难，反欺诈模型开发特征受限，复杂欺诈排查靠人工效率低等问题。

本次演讲将介绍新希望金融科技AI团队基于多模态大模型解决金融反欺诈中的难点问题和实战解决方案，介绍多模态关系图谱、多模态内容理解、多模态内容搜索、多模态数字人等AI产品结合多模态大模型更好的赋能金融反欺诈，用前沿技术解决金融反欺诈中的难点和痛点问题以及新型欺诈防范问题，了解在600多家行应用的实战情况。希望为金融反欺诈提供新的解决方案，为大模型在金融反欺诈中的落地提供思路和经验借鉴。

演讲提纲

1. 消费金融场景下的欺诈攻击与技术现状
   • 现有反欺诈痛点分析
   • 多模态大模型技术优势解析
   • 多模态大模型如何助力金融反欺诈
2. 多模态关系图谱在反欺诈中的技术方案和应用实践
   • 传统关系图谱解决反欺诈的局限性
   • 多模态关系图谱解决反欺诈问题的必要性
   • 多模态关系图谱核心技术
   • 多模态关系图谱核心算法
   • 多模态关系图谱在金融反欺诈中的应用案例
3. 多模态内容理解在反欺诈中的技术方案和应用实践
   • 图像/视频内容理解技术方案
   • 语音内容理解技术方案
   • 多模态内容理解在反欺诈中的应用和实践案例
4. 多模态搜索在反欺诈中的技术方案和应用实践
   • 图像/视频向量化技术方案
   • 语音向量化技术方案
   • 文本向量化技术方案
   • 图像/视频/语音基于语义搜索技术方案
   • 以图搜图/以语音搜语音技术方案
   • 多模态内容搜索在反欺诈中的应用和实践案例
5. 多模态数字人在反欺诈中的技术方案和应用实践
   • 多模态反欺诈数字人技术方案
   • 多模态反欺诈数字人算法方案
   • 多模态数字人在反欺诈中的应用和实践案例
6. 总结和展望
   • 总结
   • 下一步研究计划

技术实践痛点

1. 大模型的不稳定性问题：同样的提示词，模型在不同时刻对图像、视频、文本、语音理解的内容不同，导致反欺诈规则和策略会失效，需要结合大小模型、传统AI模型一起解决，传统AI模型解决大部分问题，传统AI解决不了的再利用大模型，同时使用规则和RAG一起减少模型输出不稳定问题。
2. 多模态大小模型处理时效问题：多模态关系图谱、多模态内容理解、多模态AI搜索以及多模态数字人都需要实时对多种模态数据进行实时模型计算、实时反欺诈决策、实时策略应用。多模态大模型存在处理时效较长的问题，多模态小模型存在模型多并发量大计算查找慢的问题，大小模型动态运行存在调用量大和占用资源大等问题。
3. 多模态关系图谱构建和实时查询问题：图像背景、声纹、视频、人像、经营场所等相似如何关联，海量文本内容如何准确提取实体关系，多模态关系网络如何快速精准构建，超级结点如何实现快速查询响应，多模态关联图谱如何动态更新等都是生产真实使用过程中需要解决的问题。
4. 成本与效果的平衡：多模态大模型在反欺诈中有一定效果，能解决传统反欺诈解决不好的问题，但是多模态大模型调用成本高，如果使用较小的模型，又可能无法满足复杂场景的需求。我们必须在每个环节仔细评估是否值得使用大模型，必要时使用规则和传统AI替代，以平衡成本和效果。

听众收益

1. 了解多模态大模型在金融反欺诈中的真实落地案例和实战经验，了解当前消费金融领域欺诈行为的最新趋势和特点以及最新的防御技术方案。
2. 了解多模态大模型助力智能反欺诈的技术方案和实现路径，了解如何基于多模态关系图谱、多模态内容理解、多模态内容搜索、多模态数字人等AI产品结合多模态大模型更好的赋能金融反欺诈，用前沿技术解决金融反欺诈中的难点和痛点问题以及新型欺诈问题。
3. 了解多模态大模型在智能反欺诈中的落地方向和未来研究方向。
4. 了解前沿反欺诈技术，包括但不限于CV、NLP、视觉大模型、多模态大模型、多模态关系图谱、多模态内容理解和搜索等AI技术在反欺诈领域的应用。

尽管LLMs在金融应用方面具有巨大潜力，但在利用预训练模型从其训练数据之外的金融文档中提取信息的同时减少幻觉方面存在显著挑战。金融文件通常包含领域特定的语言、多种数据格式以及独特的上下文关系，而通用训练的LLMs并不能很好地处理。报告将介绍一种结合传统RAG和KGs（知识图谱）技术的检索增强生成新方法，可以有效提升自然语言处理任务的表现。通过这一新技术，GraphRAG能够根据从金融文档中提取的结构化信息，生成更加准确且上下文感知的回答。此外，图表是最难处理的非结构化数据，本次分享将会介绍两种最新研发的思维链推理模型来解决图表数据的定位和问答难题，最后还会展望金融知识助手技术挑战和解决之道。

演讲提纲

1. 金融知识助手基础

• 检索增强生成方法（向量检索和图检索）
• 金融知识助手的挑战：知识提取、建模、定位和推理

2. 高精度金融知识助手的最新方法

• 基于知识图谱的多跳问答系统
• 基于两级思维链的高精度表格问答系统
• 基于蒸馏推理模型的高效表格问答系统

3. 应用展望

• 当前金融知识助手的局限性
• 金融大模型的发展方向

您认为，这样的技术在实践过程中有哪些痛点？
大模型的信息定位和推理能力仍然有限，在复杂问答的仍然可能出错，在产品设计中需要考虑用户检查机制。

演讲亮点

• 讲解推理大模型在金融表格问答的最新应用，包含刚刚发表在ICASSP2025的最新成果。
• 讲解GraphRAG的最新改进，一种最前沿的检索增强生成方案。

听众收益
金融知识助手的实际难点和解决方法。

随着AI技术在金融领域的迅速发展，其在支付风控中的应用变得愈发重要。在eBay，我们通过AI技术全面提升风控能力，涵盖从用户行为分析到交易安全的各个方面，如账户风控控制，反洗钱，商品内容风控等，通过结合传统机器学习模型和大语言模型，多模态数据融合等手段提高欺诈检测的准确性和响应速度。

在实现这些功能的过程中，我们注重数据收集和处理、机器学习模型的选择与训练，以及实时监控与反馈机制的建立。通过具体案例研究，我们展示了eBay如何利用AI技术提高风控效率。然而，AI风控也面临数据隐私和安全问题、模型偏见和公平性、技术复杂性和系统集成等挑战。我们提出了相应的解决方案和最佳实践，以确保系统的可靠性和公正性。

演讲提纲

1. 引言 

• Ebay支付风控简介
• AI在ebay支付风控的角色和重要性

2. AI在eBay风控中的应用

• 交易风控
• 账号风控
• 内容风控
• 反洗钱（AML）
• 案例研究：eBay如何利用AI改善风控效率
  • 模型训练标签数据的自动化采集和生成
  • 实时监控与反馈
  • LLM加速人工审核

3. 风控中运用大模型的挑战与解决方案 

• 数据隐私和安全问题
• 模型评价及可解释性

4. 总结和展望 

• 总结演讲要点
• 未来展望：AI在风控领域的潜在突破

演讲亮点

1. 不同风控场景，如何使用合适的模型，结合高级机器学习算法的应用，来提高模型预测准确性和适应性。
2. 多模态数据融合，将不同类型的数据（如文本、图像、交易记录）进行融合分析，以提供更全面的风险评估。这种多模态分析能够揭示单一数据源可能遗漏的风险信号。

听众收益

1. 深入了解AI在金融风控中的角色，听众将更清楚地理解AI技术如何在金融领域，特别是支付风控中发挥关键作用，并如何通过自动化和智能化提升安全性。
2. 掌握技术实现细节，了解数据收集、机器学习模型训练、实时监控等技术细节，以及如何在实际中选择和应用适合的AI工具和方法。
3. 了解AI风控面临的挑战，如数据隐私、模型偏见等，并学习如何通过最佳实践来解决这些问题，以确保系统的公平性和有效性。

大模型的出现让一切需要与人进行交互的领域都有了新的技术方案，投顾领域也将迎来大模型时代。通用型的大模型，在专业领域上的深度思考以及幻觉风险使得在投顾这种强合规领域上应用速度慢，本次演讲将分享一种大小模型协同架构下的大模型投顾方案，利用传统量化小模型的精准性和高性能，结合大模型Agent的搭建，实现问题识别、任务扩写、API调用小模型以及答案融合。该方法可以基于任意基础大模型进行行业级扩展，经过测试，基本解决幻觉问题，并大大优化了回答的深度。

演讲提纲

1. 智能投顾行业简介
   • 智能投顾发展历史
   • 国内和海外智能投顾介绍
   • 智能投顾发展方向
2. 大小模型协同在智能投顾领域的应用
   • 大小模型协同架构
   • 投顾Agent流程编排
   • 小模型引擎的价值
3. 大模型投顾的效果
   • 随着基础模型一起成长
   • 专业性与幻觉解决

您的演讲有哪些前沿亮点？

1. 与基础模型解耦，可以让行业级模型随着基础模型的成长也成长
2. 小模型和数据可以私有化部署，实现在专业知识上的私密性
3. 小模型引擎的可扩展性，可以没有上限的拓展投顾领域的知识边界

听众收益

1. 大模型应用架构上的经验
2. 金融业务应用的参考