2020年8月7日-9日,第五届CCF-GAIR全球人工智能与机器人峰会,于深圳隆重举办。此次峰会由中国计算机学会主办,香港中文大学(深圳)、雷锋网联合承办,鹏城实验室、深圳市人工智能与机器人研究院协办。在大会第三日的「AI金融专场」中,《AI金融评论》邀请了6位最具代表性的顶尖AI金融专家,分享能够代表未来10年风向的智能技术方法论、产品逻辑和风险管理理念;也在2020这个特别的时间节点上,展望他们眼中的「AI金融新十年」。微众银行首席AI官杨强:联邦学习,重塑金融范式大会开场,微众银行首席AI官杨强教授首先登台演讲。杨强是国际联邦学习与迁移学习的领军人物,也是国际人工智能联合会(IJCAI)成立50多年来,首位华人理事会主席。微众银行目前已经有五年的经营历史,有大约两亿的个人用户和将近百万的小微企业客户。作为微众首席AI官,杨强教授认为微众银行之所以获得如此大规模的用户群,很大程度上是取决于技术上的创新,包括云计算、大数据和人工智能。他表示,获客、客户信用评估、客服等金融业务都有AI的影子,这当中的主线就是“如何将尽可能多的数据顺利使用起来”。而联邦学习这种“数据不动模型动”的做法,能实现“数据可用不可见”的目标,更好地助力金融。迁移学习和联邦学习也是如今比较突出的两项技术,可以把整个金融业务再往前推进一步。杨强认为,目前很多行业并没有真正意义上的大数据,缺乏高质量、有标注、不断更新的数据。如何保证各方数据私密不外传,又能保证数据更新?这就是分布性数据隐私保护、联合建模的挑战和需求——把小数据聚合起来成为大数据。加上现在人们愈发重视隐私,政府纷纷立法,对技术的监管趋严,联邦学习正为保护隐私带来了技术上的新思路。如何理解联邦学习?“邦”是指每个实体参与者地位相同,无论大小,提供的价值才是他们存在的意义;“联”是用一种方式把它们联合起来,保护隐私,一起做有意义的事情。联邦学习的宗旨是“数据不动模型动”,目标是“数据可用不可见”。数据可以用,但是这些原始数据是合作方彼此之间见不到的,所以一些散乱的小数据就可以成为虚拟的大数据。杨强教授介绍称,目前联邦学习主要有横向联邦(样本不同、特征重叠)和纵向联邦(样本重叠、特征不同)两种做法,前者更适用于to C场景,后者适合to B场景。他强调,联邦学习和分布式AI、联邦数据库的区别在于:过去这二者的数据形态、分布、表征皆为同类,但在联邦学习里它们可以是异构的;且过去联邦数据库目的是并行计算、增加效率,但现在数据本身属于不同的属主,所以需要做加密情况下保护隐私的计算。最后,杨强谈到了联邦学习在金融领域的应用。除了推荐系统,联邦学习也可以在征信系统和信贷业务上发挥作用,银行提供用户贷款的关键数据,合作方提供企业的交易数据,两方数据后联邦可让坏账率大幅降低。在保险业,则可以让不同的保险公司可以横向联邦,更好地建立个性化定价模型。平安集团首席科学家肖京:1%的效率提升,100亿的价值创造紧接着,平安集团首席科学家肖京博士上台发表演讲。肖京博士长期从事人工智能与大数据分析挖掘相关领域研究,目前主持平安集团的AI赋能与技术创新工作,包括智能化大数据分析等技术在金融、医疗、智慧城市等领域的研发和应用。他曾经指出,运营上1%的效率提升,就可以给平安集团带来100亿的价值——全集团180多万员工,每一点效率的提高带来的收益都十分明显。现场,肖京以「人工智能赋能金融业务」为主题,同与会者进行了分享讨论。他指出,金融市场目前面临越来越多的挑战和诉求,随着监管趋严,互联网和高科技企业、传统银行等金融机构的竞争愈加激烈;未来银行不管在体制还是技术上,都会更加开放,同时,金融机构的投融结合将成为明显的发展趋势,平安的经营管理也将逐渐向混业经营、精细化、轻资产化转变。肖京博士分享称,线上化和多线联动使平安集团实现渠道的实时触达,起到降本增效的目的;而智能化、尤其是AI技术的研发及应用,让集团真正实现数字化经营,形成业务生产和服务流程的重构。肖京认为,技术要和业务紧密结合,不光要形成具体解决业务问题的智能化方案和平台,更要形成规模化拓展AI应用的能力,覆盖各类场景,快速有效地实现业务环节的智能化,持续夯实关键技术和业务壁垒。他还透露,现阶段平安主要在进行智能化业务方案中台的建设,将技术与业务深度融合,抽象浓缩成中台组件,帮助业务快速组建前端服务机器人,将AI算法应用于不同的业务场景。“平安脑”智能引擎作为其核心框架,高效赋能集团各业务单位完善智能化建设。在此之前,平安前后花费了近一年时间,打通了集团内部的数据孤岛,整合到一个平台上,并建立了自动更新及质量控制机制,对原始数据自动化进行脱敏、整合、清洗、标准化等处理,并对这部分数据采取严格保密管理,建立有关数据安全、隐私保护的管理规范。此外,肖京博士也谈到了联邦学习技术。平安已经推出蜂巢联邦智能平台,以解决“数据孤岛”情况下数据不可共用的问题,平台具有安全性、隐私性、合法性的特点,目前已应用于动态保险定价、专属语音客服等多个场景。同时肖京也提到,联邦学习需要加密、分布部署、改变模型等具体细节,在沟通、开发、部署等各方面成本都较高,只有在必需的场合,平安才会使用联邦学习技术。在此次大会上,肖博士详细分享了不少平安的人工智能技术应用,比如多模态身份认证,准确率高、稳定性优、适用范围广,已应用于普惠小额贷款、银行保险账户开户、门禁等多个场景,通过微表情、人脸识别等技术提升平安普惠的放贷效率,将放款时间缩短至3分钟,违约率也大幅下降;平安的企业大数据知识图谱欧拉图谱,构建了专业的债券违约、财务造假、企业评级等多个模型,实现贷前贷中贷后、投前投中投后等业务领域的风险管理,预警防控企业金融风险;平安的图像识别技术也已经在车险理赔中发挥重要作用,其应用不仅可以在理赔早期就识别出欺诈的风险,每年减少几十亿元的风险渗透,还提升了业务效率,优化用户体验。京东数字科技集团副总裁程建波:AI时代下的风控理念随后,京东数字科技集团副总裁、风险管理中心总经理程建波,深入讲述了AI在风险管理中的应用实践。程建波先生先后就职于深发展银行、华夏银行、FICO等机构,具备传统金融与互联网跨行业经验,对行业有广泛和深入的了解,业务实践经验丰富。2014年8月,程建波加入京东,组建京东金融风险管理团队,推进了京东白条、金条等系列有行业影响力的产品的发展。他分享了很多颇具建设性的风控思路和理念。风险不仅是控制,更是主动选择的经营管理。管理风险意味着机遇。风险管理做的好不仅可以止损,还可以带来很多的商业机会。好的风险管理不是滞后的,而会更具有前瞻性。学习的过程是终生的,更需要预见式,而不是反应式。在大会现场,程建波首先和与会嘉宾分享了京东数科的三个阶段:数字金融、金融科技、数字科技。三个阶段里,不变的核心是一直将数字当作基因,不做和数字无关的业务。程建波强调新的技术一定要放在商业实践当中反复打磨,尤其是在线上业务中,风险管理的模式和传统相比有很大差别,虽然依然在解决一些老问题,比如信息不对称、如何了解用户、如何让大家理解产品并且使用。但是新的风控模式已经打破了以前的路径,企业仍需要做很多促进消费者理解的工作。此外,程建波认为有体系的产品建设十分重要。当技术积累到一定程度,比如微众银行建造的模型高达60个,最大的挑战是庞大的技术团队如何管理,比如平安的业务很大,1%的变动,就是几万亿的规模。这不再是单纯技术的问题,还需要构建一个复杂的框架体系,并且需要多团队联合作战。关于风控,程建波也向与会嘉宾分享了许多自己多年来的实践经验和思考。他认为风险一定是滞后的。如何在风险不断裂变的情况下更快速地预测用户的风险等级,对于风险管理人员来说是非常重要的,需要更多的技术储备。程建波还十分重视人才的培养和建设。他认为所有新兴的商业,对人才的要求都是全方位的,第一是和策略相关的专家,第二是AI科学家,第三是大数据的专家。原摩根大通执行董事黄又钢: 小微贷款风控模型中的算法探索第四位演讲嘉宾,是华尔街知名建模和风控专家黄又钢。他曾任摩根大通执行董事和花旗银行高级副总裁,拥有数十年的海外零售银行数据分析经验和前沿算法思维,今年回国与金融界顶尖技术大牛王强博士联合创立了弘犀智能科技有限公司,出任首席风控官。以《小微贷款风控模型中的算法探索》为主题,黄又钢和嘉宾及与会朋友们分享了自己在风控实践中的一些心得体会。黄又钢认为,中小微企业解决了国家80%的就业,这些企业的生存和贷款需求问题是需要关心和全力解决。但和上市的公司相比,这类企业信息透露不够充分,数据来源纷杂,数据格式不标准,数据更新周期不稳定,导致面向中小微企业的信贷产品难度更高。中小微企业信用贷款是一个世界性的难题,除了有国家层面的政策扶助,更需要顶尖人才的智慧和付出。在现场,黄又钢主要介绍了集成算法,降维算法、聚类算法和决策树算法。他指出,现在弘犀智能建任何模型一定是“双轨模型”, 即两个算法同时进行。主模型是传统模型回归算法,挑战者模型是机器学习算法。无论在美国还是中国,经典风控领域全都是以回归模型为主导,原因在于稳定性好,可解释性非常强。机器学习由于很难被解释,在美国的信贷场景基本不能合规落地。黄又钢解释了实操“双轨”建模中的几大过程:一是预测能力的比较; 二是变量维度的判断;三是对比同一个观测值,如何交叉使用;四是策略应用,即如何使用这个模型。通过模型、变量、维度和个体等层面的比较,他给出了机器学习相较于传统模型的优劣性分析,表示机器学习在准确性等方面比传统模型要好,没有概念和业务场景的限制;当回归模型与机器学习的结果冲突,适当配置后端策略是可以解决这样的问题。黄又钢指出人群分类在建模中的重要性,任何人群中都有可能包含不同的子群体。如果仅在全局人群上建一个模型、一条回归线很难解决所有问题,而将人群分类后做独立测试可能会更好地预测风险。决策树算法和聚类算法是人群分类中经常用到的算法,前者用树的方法把人群分为多个叶子,每个叶子表示一个子人群;从机器学习角度来看,决策树算法和聚类算法分别代表有监督学习和无监督学习。他认为,人群分类的概念听起来非常简单,实际操作相当复杂的。最终结果的评判标准一般是两个方面,一是算法层面的比较,二是预测准确性层面,特指各子人群模型汇总到全局人群上的预测准确性。黄又钢还分享了算法探索与创新方面有两个思路:一是单一的算法,从数学角度和(或)计算机角度,产生新的突破;二是两种(或多种)算法的相互嵌入和混搭形成新的算法。从实际应用的层面,“匹配”可能会更快地实现突破, 即现成的算法匹配特定的人群和特定的特征,就可能产生非常成功的应用,比如CNN算法在图像识别上的应用效果就是一个事例。他最后总结称,未来的方向是“算法+人群+特征”,也即,算法的突破,人群的细分,数据的深挖,及相互之间适当的匹配都可能产生革命性的突破。移卡集团副总裁奚少杰:支付企业的商业全链数字化赋能逻辑随后演讲的嘉宾,是移卡集团副总裁奚少杰。移卡是中国第二大二维码支付的服务提供商,有14%的二维码支付市场份额。截止2019年12月31号,移卡有530万的活跃支付商户,触达3.68亿消费者。作为移卡集团副总裁,奚少杰专注于中小微企业的数字化转型和商业服务,他本人也曾在腾讯任职多年,有着丰富的互联网和金融科技从业经验。现场,奚少杰为与会者带来了题为《数字化转型下的金融科技应用》的主题演讲。奚少杰首先叙述了第三方支付的发展历程,并认为简单的支付入口,比如二维码,已经不能满足整体的数字化升级的需求,他提出未来几年“产业支付”将驱动行业迎来新的一波发展。从技术角度(需求端和供给端)和宏观角度,奚少杰详细介绍了产业数字化升级的趋势,目前移卡不仅仅是单一的支付服务商,还逐步会成为综合的数字化服务商。这个服务不仅仅包括支付环节,还包括获客、留存、供应链等商户经营全链条的打通。奚少杰向与会者介绍,目前移卡也给商户提供了很多不同业务板块,包括基于SaaS的智能餐饮经营管理平台——智掌柜,涵盖点餐、收银、后厨管理、外卖、会员营销、营业报表等一体化功能,提高商家经营效率;基于区块链技术的商户优惠券聚合平台“约惠圈”,可以为商户提供优惠券创建、分发、领取、分享获客服务,助力商家打造私有流量池;支付和商户服务“好生意”,通过连接多种支付方式,帮助商户实现集中收银和一体化账单功能,同时为商家提供店铺管理功能,布局商户服务。在金融服务和风险管理方面,移卡在提供支付服务的过程中,结合了人脸识别等生物识别技术,这些技术在支付过程中为客户的风控、反欺诈、精准定位方面发挥了很大作用。在智能经营管理中,企业如何切入其中并为商家提供服务?奚少杰举例称,与商户合作时,可借助基于AI视觉识别的门店热力分析技术关注店铺的热点区域、到店客人的行为、商品陈列等与营业情况的关系,以帮助商户更好地管理会员、经营店铺。基于积累的数据,移卡还可以给商户提供精准的营销服务,提供客户留存、会员留存等服务;基于对商家的精准评估,可以提供贷款等金融产品的服务。普林斯顿大学教授范剑青:站在最高维,透视AI金融的运行本质本次专场的最后一位重量级嘉宾,是普林斯顿大学金融讲座教授范剑青。他是国际数理统计学会创办70年以来第一位华人主席,论文引用数多年位列世界数学家前十名,是素有统计学诺贝尔奖之称的CPOSS总统奖得主,也是《计量经济》、《商务统计》、《统计年鉴》等五个国际顶尖杂志的主编。在大洋彼岸的范教授,通过实时连线的方式,以“机器是怎么学习金融的”为主题,带来了长达1个小时的精彩报告。他从大数据与人工智能、稳健因子学习及其应用、债券风险溢价预测、高频交易预测,文本分析与金融投资,这五个板块向大家报告近年来他的研究团队的部分工作成果。在范剑青看来,人工智能是机器学习的平方,让机器自动学习机器算法、是机器学习的理想境界。而大数据赋能AI,从大数据相关的科学挑战衍生的新兴科学即为数据科学,他认为数据科学以应用为背景,其目的是想把大数据解决成智慧数据。他指出,大数据=系统+分析+应用,机器学习=统计+优化+实现环境。如今深度学习之所以能如此成功,范剑青认为它是权衡偏差和方差的有效方法,深度网络使高维函数更加灵活,而现在计算技术使大数据深度学习得到有效的实现。范剑青认为,在经济金融、生物医学、管理决策和人文社会中,机器学习有很多挑战和机遇。由于个体差异大,数据集未知,现在发生的事情与几年后的变量完全不一样,难以提取特征,需要各学科交叉。尤其是在金融行业,数据不平稳,随着时间而变,多人参与竞争的市场也是对金融的挑战。而机器学习本身就是为降低维数和预测而设计的,他认为机器能学习金融,尽管金融非常复杂,但它的形式是可预测的。以股票收益预测为例,可以通过高维线性模型、机器学习模型或是深度学习模型来处理。他强调,成功预测的属性一是大数据,二是鲁棒,三是模型具备市场的重要特征。他还详尽地用几个例子来说明溢价预测相关的问题,例如通过市场因子来预测债券风险;并介绍了现阶段可以使用的两种因子学习方法,一是传统主成分方法,二是利用投影主成分来操作。此外,范剑青也与现场观众介绍了文本数据如何协助股票投资决策,他表示现在可以通过对新闻内容的分析,解析文章对股票的褒贬程度。最后,范剑青总结称,资产定价本质上是预测问题,机器可以学习金融。他认为机器学习可以帮助处理大数据并从中选择重要因素和特征,能很好地应对过度拟合的问题,允许非线性学习极大地改善预测效果,将稳健性和对抗性网络提炼为定价,智能预测也会带来很大的经济收益。历届「AI金融专场」,均会吸引中国及欧美地区众多AI金融专家到场。在上一届论坛中,加拿大工程院院士、Citadel首席人工智能官邓力博士,加拿大工程院院士凌晓峰教授等多位重量级人物来到现场学习交流。杨强和黄铠在会场热切交流而在今年,包括黄铠、刘江川、王强等十多位IEEE Fellow以及各大金融机构的首席信息官/科学家来到现场,共同促进AI金融的产学融合与商业应用。(雷锋网雷锋网)黄铠教授在AI金融论坛的现场
7月29日,旷视举办“始于算法,成于价值”年中媒体交流会,旷视联合创始人兼CEO印奇、旷视联合创始人兼CTO唐文斌共同出席交流会,并与旷视投资人、启明创投创始主管合伙人邝子平一起,和在场的媒体朋友交流分享了旷视对于“人工智能产业落地”和“CV+”技术的思考与实践。 从技术成熟度曲线来看,人工智能正处在“死亡之谷”的泡沫期,不带来真实价值的AI将被淘汰出局。作为物联网时代最重要的核心能力,AI如何在产业落地处于“深水区”的当下,找到更合适的前进路径,是行业共同关注的焦点。 AI产业落地的三个关键 印奇认为,带领AI产业驶离深水区,实现真正产业落地的关键在于算法侧供给提升、价值闭环跑通与“4 in 1”组织阵型形成。 旷视印奇主题演讲 目前各行各业对于算法的需求仍然是高度碎片化的,来自行业应用的算法需求大于算法供给能力。目前在算法训练和部署的过程中,部署仍然耗费大量的时间成本,却只能够解决不到1%的算法供给需求。印奇认为“在算法供给侧,目前AI企业做得还远远不够。解决算法供给不足问题的关键在于AI算法的可交付和规模化生产能力。” 价值闭环是AI产业落地的最大挑战。在产品层面,AI产品需要实现AI算法-系统集成-软件平台-软硬结合的三层演进。相比其他行业,人工智能从0-1需要走更长的路,成熟的AI产品必须经历价值验证-MVP产品(最小可行性产品)-规模应用三个阶段。 组织人才是创造一切价值的根本。印奇认为,AI产业落地最为合理的组织阵型是“4 in 1”。 “4”是指每进入一个AI+行业,都需要配备CEO(产品经理)、CTO(产品开发)、CAIO(AI可行性)、CMO(行业洞察)四种角色,而“1”是指四位一体。人才的合理配比,组织文化的紧密融合,是形成组织战斗力的关键。 旷视“1+3”的产业落地实践 只有高度聚焦,才能更快构建“连接及赋能百亿物联网设备的人工智能基础设施”。 旷视1+3战略图 旷视“1+3”战略正是因聚焦而来――Brain++AI生产力平台提供算法规模化供给,个人、城市、供应链三大物联网持续聚焦与落地。今年年初,旷视开放了AI生产力平台Brain++,其开放能力可以有效缩短80% 算法从需求到落地的时间,整体降低55%的算法生产成本。 在个人物联网方面,围绕AI定义光感知系统的价值闭环,旷视从面部识别做到计算摄影,再到软硬一体。目前,全球有10亿部手机在使用旷视的产品,为用户提供极致的使用体验。 在城市物联网方面,围绕城市大脑的价值闭环,旷视希望从超级应用做到操作系统,有效打通交通、城市管理等条行业应用和社区园区、公共建筑等块空间应用的数据壁垒,实现城市治理和居民生活的双赢。在北京,旷视参与了北京六大区“城市大脑”、中国尊等项目的智慧化建设,为智慧北京助力。 在供应链物联网方面,围绕供应链场景的价值闭环,旷视从局部的机器智能做到整仓智能优化,基于河图的商业项目近百项,并打造了全球“最柔性”的服装类智能仓。今年下半年,旷视还将陆续推出多款自研机器人及人工智能物流装备新品,面向物流场景提供高度智慧化的行业解决方案。 迈向“CV+”的技术洞察 “旷视已经做了不少视觉算法,但仍有很多问题远远没有解决”。 旷视唐文斌主题演讲 唐文斌认为,计算机视觉在物体关联度、感知维度和感知精度方面都仍有很大的提升空间。这其中的关键,在于视觉算法的规模化程度,而目前已知的探索极限,将是全面的、城市级的数字孪生。 在计算摄影学层面,手机前置传感系统正在历经“超级演进”。屏下摄像、超级义眼等技术探索迫切的需要AI支持,传统的光学感知系统彼此独立,而AI可以将它们连接起来,重新构建“光感知”系统。 在视觉反馈控制层面,旷视正在让“眼、脑、手、腿”等全体设备可以实现配合与协同优化。通过场景的同构仿真,进而实现决策优化和效率提升。 旷视以深度学习为根基,以计算机视觉、计算摄影学、视觉反馈控制主要方向的综合技术创新,唐文斌将这一技术地图定义为“CV+”。这是旷视“看见并释放世界的价值”的过程,这一过程最终会支持旷视目前的三大物联网业务板块。 我们正在处于,并将长期处于人工智能产业发展的初级阶段。AI产业落地,将被真实需求驱动,并仍有巨大的增量空间。 脚踏实地的技术信仰就是价值务实,长期主义的价值务实就是技术信仰。印奇表示,“当具备务实者与领跑者的两种特质之后,一个新时代的企业才能真正成长起来”。 (责任编辑:马常艳)
本文核心观点:1、随着金融业发展,“算法交易”站上金融科技的舞台中央只是时间问题。2、量化交易能帮投资者克服主观交易中最大的问题——心态。这是人性最为要命的部分。3、贪婪与恐惧是影响金融交易中非常重要的两点。人经常会在该进场的时候踌躇不前,在该离场的时候堵上了全部身家,而机器不会。4、整个投资领域,逐渐呈现出“新四化”的趋势——散户机构化、机构投资指数化/量化、投资交易智能化、资产配置国际化。5、未来,靠信息不对称的“容易钱”不好赚了,资管企业对效率和成本开始敏感,交易算法逐渐成为刚需。据全球领先的市场研究与咨询公司MarketsandMarkets的数据显示,2019年全球算法交易市场收入约为110亿美元,预计未来五年复合年增长率为11.1%,5年后全球算法交易市场将达到188亿美元。算法交易作为近年来逐渐成熟的一项金融科技技术,随着金融交易的日渐频繁逐渐被人们所了解。相比智能营销、智能风控、智能反欺诈在金融领域的应用,市场对算法交易的认知依然很片面。算法交易虽并不“出名”,但因算法交易缺失所引起的“动静”却传播甚广。昂贵的“乌龙指”堪比“黑天鹅”商场如战场,而金融交易市场更是有过之而无不及。置身瞬息万变的电子金融交易市场,高频、高压、高强度之下,交易员操作的难度可想而知。因此,在中外历史上,不乏“著名”的“乌龙指”事件。在美国,2010年5月6日下午2时47分左右,一名交易员在卖出股票时操作失误,将百万(Million)敲成十亿(Billion),导致道琼斯指数从10458点瞬间跌至9869.62点,与前一交易日收盘相比暴跌998.5点,这是当时历史上道琼斯指数第二大单日波幅,也使美股市场一度蒸发市值约1万亿美元。在国内,最典型的莫过2013年发生的“8.16光大证券乌龙指事件”。2013年8月16日上午11时05分-07分,天量资金瞬间杀入,沪指直线飙升100点,多达59只权重股瞬间封涨停,惊现史上绝无仅有的“秒杀”行情。由光大证券“导演”的这出“乌龙指”事件,造成直接或间接损失超80亿元,堪称A股最贵“乌龙指”。除了上述“乌龙指”事件外,台湾富邦证券事件、纳斯达克报价系统出错事件、日本瑞穗操盘手敲乱日本股市事件等都暴露出一个问题——由于程序化交易日趋火爆,偶发“乌龙指”事件造成的金融市场大动荡,其威力有时不亚于金融市场上的“黑天鹅”——每一个细微的闪失都有可能带来灾难性的后果。“面对数量庞大的交易订单,再好的交易员都可能出错。”金纳科技董事长夏阳在接受采访时表示,“要想规避或彻底解决金融交易史上偶发的乌龙指事件,我相信一定是通过技术的手段来解决。”“除了‘乌龙指’外,每当市场上有巨量资金出入时,都将直接影响盘口走势。如何减少巨量资金进出对于市场的影响并把冲击成本降到最低,这是对整个金融交易市场的新命题。算法交易的出现,便是将大单拆分成大量小单来交易以减少对市场的冲击、降低机会成本和风险。”夏阳直言,“以上两大问题的出现,直接催生了算法交易市场的快速成熟。”总结来看,全球算法交易市场增长的主要因素是对“快速、可靠和有效的订单执行”的需求。此外,还包括降低交易成本、减少操作风险、完善市场监督、辅助政府监管等需求的不断增加。算法交易:从“刀耕火种”到人工智能“相关统计数据显示,在美国、欧洲、东京、香港、悉尼、韩国、台湾和新加坡交易所,至少有80%的交易量由机器创造的。而人更多的是监控机器是否按照规则在执行,以及处理异常情况。从纽交所交易模式30年演进过程我们也能看到,交易自动化是必然趋势。反观国内,当前很多交易依然处于‘刀耕火种’的人工下单阶段。但随着近两年监管的松绑、外资参与者的不断进入,国内的交易机构也面临全面提升投资交易能力的压力,在这个大背景下,我们认为以人为主体的主观交易方法将很快被边缘化。”金纳科技负责客户咨询服务的合伙人曹滨鹏强调,“算法交易的核心价值就在于能减少人工失误、提高交易效率。与欧美市场相比,亚洲市场的股票价差更大,流动性更差,隐性交易成本大。因此,算法交易的价值也更为突出。”简单来看,算法交易是指根据指定交易量的买入或卖出指令,利用设计好的计算机程序来拆分订单,以实现最优的执行价格并最小化对市场的冲击。它是一种借助计算机的高速运算速度,利用特定数学模型,并依据设定好的目标和约束条件,根据实时市场行情,自动进行订单的提交和撤销,以便完成预订数量的证券交易的金融科技。本质上看,算法交易是一种服务于交易活动的金融科技产品,利用人工智能等信息技术来服务金融活动的工具。其目标用户主要是机构投资者。算法交易的合理运用,能够使机构投资者在不扰动市场的前提下买进或卖出大额证券并承担较低的交易成本。“事实上,量化交易能帮投资者克服主观交易中最大的问题——心态。这是人性最为要命的部分。换言之,贪婪与恐惧是影响金融交易中非常重要的两点。人经常会在该进场的时候踌躇不前,在该离场的时候堵上了全部身家,而机器不会。”采访中,曹滨鹏透露,“技术导向和快节奏是算法交易的特点,算法交易能够立即并且准确地执行交易命令。算法交易做交易决策时候,最大的风险是时间风险,或者说机会成本。即交易不立即执行,可能带来的价格风险。因此,好的算法在交易中会进行智能化的预测和判断,综合评估最佳的执行时机,在机会成本和冲击成本之间取得最好的平衡。”总的来看,算法交易在中国市场虽然起步很晚,但未来增长空间巨大。拐点已至,All In其中得益于互联网基础设施的逐步完善、新兴技术的快速迭代和应用成本逐步降低、数据分析处理能力的大幅度提升,许多传统产业可以充分利用新技术和新工具对产业链各个环节进行数字化改造,最终实现对产业链的整合和升级。金纳科技负责战略的合伙人杨进认为,“金纳科技All In在这一赛道,我们有足够的理由相信智能投资的拐点已现。”1、全球科技发展趋势一定是向更高的水平看齐,欧美等成熟市场先进交易技术已经全面普及,未来一定会在国内市场大规模应用。2、整个投资领域,随着技术工具和新兴模式的成熟,逐渐呈现出“新四化”的趋势——散户机构化、机构投资指数化/量化、投资交易智能化、资产配置国际化。3、市场理性化——靠信息不对称的“容易钱”不好赚了,资管企业对效率和成本开始敏感,交易算法逐渐成为刚需。4、从监管角度看,这两年持续放松对各种对冲工具的限制,不断增加新的交易品种,其活跃市场、摆脱牛市依赖的目标十分明确。同时逐步放宽对外资金融机构的准入限制,可以类比当年中国“入世“,虽然短期可能有阵痛,但长远来看市场一定会迎来巨大的发展。5、金融一定要为实体经济服务。在稳健、安全的前提下,要想杜绝资金空转,严防金融脱实向虚,就一定要进一步提升技术的投入来替代人工,来完成科学的监督和决策。6、资管企业核心竞争力为投资分析、投资决策、交易实施。其中交易是最终的环节,是投资行为付诸实施的环节,也是制约资管企业管理规模的关键环节。提供这个环节的刚需智能化工具有利于形成极强的用户粘性,近似于提供水电煤这样的生活必需品。7、5-10后中国有望接近国际发达国家的水平,也就是说二级市场的交易几乎完全由智能算法完成。从以上7点来看,算法交易的拐点已经出现,国内算法交易行业发展的加速度还在进一步加快。目前,算法交易主要应用场景有大额交易、篮子交易、回购交易等。其主要客户类型有两大类,传统的大中型金融机构类客户和中小型机构及专业个人投资者客户。夏阳表示,算法交易的传统机构类客户主要有:公募基金、保险资管、银行理财子公司、券商自营和资管、大型私募基金等。这些客户的主要特征是交易量大、对市场的影响较大,对交易成本比较敏感,交易合规要求严。中小型机构及专业个人投资者客户主要包括私募基金、企业法人、家族办公室、高净值个人投资者等,这类客户的主要特征是交易换手率高,投资标的类型丰富,交易策略多种多样,对交易成本非常敏感。金纳喜欢将其称之为“小B大C”客户群体。“对于金纳来讲,我们目前重点服务的客户有公募基金、保险资管以及大中型券商。作为券商的智能交易服务商,我们用技术赋能,帮助券商更好的完成其核心业务之一 :Best Execution(最佳执行),简单理解,我们就是‘券商背后的券商’。”金纳科技负责全国市场营销的合伙人白峰透露,“通过前几年的积累,金纳在公募基金、保险资管等大型金融机构市场取得了领先的地位,长远来看,我们还要服务广大的小B大C用户群体。“我们认为智能交易其实是所有市场参与者的共同诉求,跟资金规模、投资策略、投资者身份并没有直接关系,只要是涉及到交易的环节,通过合适的产品和服务形态匹配相应的场景,都可以为投资者创造价值。因此,金纳的算法并没有局限于服务大客户,我们有丰富的算法库,无论大资金、小资金,价值投资还是被动投资,都可以找到合适的算法来更好的完成交易、降低成本。”白峰举了个例子:“就像当年交流电刚发明的时候,只有少数人敢尝试,后来就变成了全社会的基本必需品。金纳就是要通过普惠化的方式,提供金融市场的水和电。“金纳要立足中国大陆,面向全球市场。目前,我们已经实现中国大陆、香港、台湾等市场的覆盖。我们主要为华人世界投资者的全球交易提供服务,同时也服务海外投资者投资中国市场,形成境外、境内的交易有效流动。”曹滨鹏表示,金纳算法的底层框架具有很强的兼容性,在国内市场可以支持二级市场上的所有交易品种,包括股票、期货、期权等;对于其他市场,比如香港、台湾等,无需修改底层代码,只要匹配交易规则和行情数据,一个月就可以快速上线。2019年,金纳算法在香港本地券商上线,支持北上A股和港股市场交易;2020年3月,随着台湾交易所正式启用逐笔撮合机制,金纳算法在台湾大型券商上线。下一步,蓬勃发展的东南亚股票市场已经进入金纳的推广计划。采访尾声,夏阳认为,“全球经济一盘棋,全球金融一体化是不可逆的趋势。这也是今天央行大力倡导金融对外开放的底层逻辑。尽管疫情的爆发使得某些国家兴起了‘反全球化’的声浪,但越是如此,越是让我们坚定的认为,不断提升自己的核心竞争力,敢于面对全球性的挑战,才可能在未来错综复杂的环境中得到生存和发展。“金纳的全球化布局和服务能力正在逐渐成形,我们相信乘着中国金融的开放的时机,一定有机会在智能化资产管理领域突围。”
近日,雷锋网《AI金融评论》联合香港人工智能与机器人学会(HKSAIR),邀请京东数字科技AI实验室首席科学家薄列峰做客公开课,以《京东数科的联邦学习战略全布局》为题进行分享。除了分享横向和纵向联邦学习以外,他也通过案例形式给出了京东数科对联邦学习性能与安全性方面的研究成果,以及区块链和联邦学习的融合讨论。以下为薄列峰的课程分享全程回顾,雷锋网AI金融评论做了不影响原意的编辑:随着互联网发展,数据安全管理越发严格,对数据管理的关注也越来越全面化。怎么在保护数据隐私的情况下,还能做一些好的机器学习模型,应用到各种各样的问题?这就变得越来越重要,需要从集中式机器学习过渡到分布式机器学习。而2006年开始掀起的深度学习热潮,更把AI和机器学习模型对数据的需求推向了顶峰。什么是联邦学习?就是在满足数据隐私安全和监管要求的前提下,让人工智能系统更加高效准确地共同使用各自数据的机器学习框架。应用方面,举一个简单的例子:各企业或机构大家都出不同的数据,相互进行模型学习,又不会看到对方的数据。数据还可能分布在不同的国家,各国数据监管政策有所不同,也可以把分布在各国数据高效利用、训练模型,不存在数据上的交换。两个典型的联邦学习算法,分别是横向联邦学习和纵向联邦学习,横轴表示特征维度,竖轴表示用户维度。横向联邦学习,看两方的数据和标签,用户重合度非常低,特征重合度比较大。这里显示的是用户无重合的极端情况,实际情况中它可能仅仅重合90%用户特征,5%用户重合,到时进行对齐即可。纵向联邦学习,两方用户重合较多,可对用户的部分对齐。A、B各拥有用户一部分数据,可能都会有用户的一部分标注,纵向联邦学习也能去处理。对计算机视觉、自然语言语音识别等领域而言,2006年深度学习(的出现)是非常大的推动。大家熟悉的语音识别、语音合成、人脸识别等应用,都是大量深度学习模型在背后发挥作用。深度学习、梯度下降与横向联邦学习三种典型深度学习首先是深度神经网络(Deep Neural Networks,DNN)在语音识别误差上有30%的简化,性能有非常大的提升。后来是卷积神经网络(Convolutional Neural Networks, CNN),它的训练误差相对于其他方法降低了十个百分点左右,在计算机视觉领域有着非常广泛的应用。递归神经网络(Recursive Neural Networks,RNN)在自然语言处理领域是非常基础性的工具。优化神经网络的典型方法:不管神经网络有多复杂,大家实际上都能把它写成一个f,一个输入加一个参数。常用方法之一是随机梯度下降。大家都知道,优化最基本的是梯度下降,就是精确计算梯度,再对参数的方向和模型参数用梯度做下降。如果我的样本量非常大,有100万、1000万,做梯度下降计算代价非常高。实际运用中,我们可以随机提出采样。极端情况下,可以只采用一个样本去估计梯度,比如包含50-100个样本的小样本集,它的梯度估计不准确,但计算代价非常低,这样能有效优化神经网络参数。如图,红线是随机梯度下降的结果,梯度估计不准所以路线较曲折。蓝线是典型的梯度下降结果,估计比较精确所以不会拐弯的路线。但最终都会去到最优解。虽然红色路线比较长,但它走每一步的代价明显更低,相对于随机梯度而言,整体效率还是更高。这是典型的横向联邦学习框架。设置里下面是客户端(client1,2,3,……,t)。蓝色云是服务端(Server)。横向联邦学习的设置是数据的不同样本存在不同用户端,这实际上是对传统分布式框架的改善。首先每个客户端训练模型,产生参数w1、w2、w3……wt,参数传到云端,服务端对模型做平均,得到 w-。服务端做完模型平均之后,每个客户端再下载模型w-,再对模型做几轮梯度下降或优化,再将模型上传到服务端,循环往复,形成这样一个迭代的过程。在这个过程中,客户端的数据并没有向服务端传递,传递的只是模型的参数w,保护了客户端数据的隐私。它与传统分布式学习的不同之处在于,后者在此传递的是梯度;在联邦学习里,客户端向服务端传的是模型的参数。实际上现在也有证明表示,梯度信息其实也能泄露不少数据信息,而模型参数经过几轮梯度下降后,对数据的保护会做得更好。如图,联邦Average(FedAvg)和 联邦SGD,前者实际使用代数明显更少,就可以收敛,SGD需要的代数明显更多。在很多setting里,在分布式学习里,通信代价通常会是瓶颈,这个差异意味着FedAvg能有效降低这一代价,提升了训练效率,同时也加强了对数据隐私的保护。在这个设置下,实际上服务端还是知道我的模型参数的,有没有可能进一步对我的模型参数加密和保护?其实不需要加密也有相当的安全性,但加密能对攻击、对服务端、对可能的数据欺诈有更好的防护。同态加密简单来讲,这是一个密码学的算法,主要操作是生成公钥和私钥,加密算子,应用到明文,产生密文;用私钥对密文解密,产生明文。同态加密的特点之一就是,两个数m1和m2的和同态加密,等于m1的同态加密加m2的同台加密;m和一个常数相乘的同态加密,等于对这个样本同态加密,再乘以常数。横向联盟学习+同态加密:和刚才的情况类似,传递参数过程中,可对w1……wt同态加密,然后在服务端对同态加密域做平均,以得到模型参数。在这一设置下,服务端不知道私钥,但客户端知道。服务端实际上不能对w-解密,甚至连模型参数也不知道,它只知道同态加密域,但没有私钥就没法解密。客户端下载参数,用自己的私钥解密,再更新自己的模型——因此同态加密也提升了数据安全性。横向联邦学习之人脸识别应用:人脸识别有多场景的数据收集,比如打卡的门禁数据、多角度监控、证件类数据等。甚至还有一些海外业务,海外数据不能传递到国内,联邦学习就能解决这个问题,有效提升在人证场景或配合式场景下的通过率。Q:各方的特征怎么对齐?在横向联邦学习,大家的特征集是一样的。举个例子,a方和b方都是人脸数据,那么模型取的就是人脸数据,可以规范化到一个图像标准,比如说128×128的头像,这样输入x就自然对齐了。除了同态加密,另一个在横向联邦学习应用较多的是差分方法,思路是在分布式学习的时候传递梯度,同时对梯度加噪,以噪声方式保证梯度安全性。纵向联邦学习假设两个公司各有数据的部分特征,同时 b方拥有数据的标记,可以用一个安全的方法对齐数据ID,再做纵向联邦学习。这通常需要一个合作者Collaborator(有些方式可能不需要),AB两方的数据交换都需要对它加密。此处设置为:合作者有公钥和私钥,两个机构a和b,分别都只有公钥,没有私钥,能通过加密保护自己的数据。得到同态加密域的梯度之后,会对梯度加噪声再送到合作者处,合作者会用自己的私钥解密,然后把梯度还给它。在各方得到自己的梯度之后,可以进行梯度下降。Q:若合作者方占主导地位,是否有泄露风险?这是实际操作中需要注意的问题,比如A方特征占10%,B方特征占90%,这块你能写出的方程数量明显少于参数数量,理论上是推不出来的,但随着不平衡性的增加,安全性也会下降。纵向联邦学习某种程度上,是有信息泄露的,但是从大方向说,它泄露的信息足够少以至于别人推不出来主要的特征。线性回归是一个典型的算法。在很多模型的应用中,当样本量较大,线性回归的性能或许不会很好。此处常用的方法之一是随机森林(random forest)。随机森林Step 1:随机森林会对原始特征采样(bootstrapped)。这个步骤是放回式采样,比如说100个训练样本,它会每次放回,然后做采样100个。完成采样后,每个数的训练样本就不一样了,都是原始训练样本衍生出来的。这样主要是为了增加数的随机性和多样性,在树的集成过程中会产生更好的效果。Step 2:建每一棵树时,在每个节点选择一个特征的一个随机子集。举个例子,这里有30位特征,建树时随机选择五维的特征;建每个节点时,随机选的5个特征都不一样,再从中挑选最好的特征,保了每个节点的多样性。建树过程中,可以是深度优先,然后走到叶子节点,直到它满足一个判据,完成树的分支搭建,最后再逐个预测。联邦随机森林大致思路是,主动方、被动方各一,主动方有标记,并加密标记和标记的平方,然后发送给被动方。此处三角号表示对yi、zi进行同态加密。加密后,被动方根据自己每一维的特征,当它的这维特征被整个机制选中的时候,它会针对这个特征做直方图,然后用直方图在同态加密域的yi和zi进行聚合。每一个直方图会把它划分成很多区间,在每个区间做平均,得到Y和Z。简单讲,主动方传同态加密后的y和zi是一个向量,该向量和样本数一样。被动方会对向量做聚合每次会选向量的一个子集,看哪个特征落到区间上,再对传递过来的yi和zi平均进行同态加密域的求和运算。在随机森林里,既要选取特征,也要选阈值,通过该阈值下的特征得分算出y的矩阵,矩阵还给主动方。此处主动方有公钥和密钥,被动方只有公钥无密钥,所以被动方无法解密y和z,它把Y和Z的矩阵传给主动方,后者会依所得进行解密,再计算每个特征和每个阈值的得分,择其得分高者,如此即可完成随机森林中一棵树的某节点构建。重复该过程可构建不同的树和整个随机森林。可以看到,主动方得到被动方的数据,实际只是得到聚合后自己发送的y和z,所以不知道被动方的特征,也很难推导出;被动方只知道主动方同态加密运送来的y和z,并不知道更多的信息,整个过程可以保证安全。何为快速安全的联邦学习框架?传统纵向联邦学习需要用同态加密进行保护,同态加密比较低效,我们是否能设计一个不依赖于同态加密的联邦学习框架?设计快速安全的联盟学习框架有如下特点:第一,隐私能得到保护;第二,利用树状通信结构,有效提升传输效率。利用不同的数聚合信息;第三,新框架支持异步计算,能再次提升数据安全性。同时整个过程只涉及一些内积(此处不确定)计算,包括加噪后内积传递,所以该框架下不会用到同态加密,效率更高。如图,模型隐私在传递过程中,会传递参数和特征的内积,再进行加噪保护,最终有数据结构的聚合。整个框架的安全性如何?可以从理论上证明,这个算法能有效抵御精确攻击和近似推理攻击。看主要算法步骤,在第二步可以看到聚合的是内积+噪声,以及聚合噪声,然后返回到coordinator计算所有参数和所有内积再减去聚合的噪声,得到决策值,不过此处并不得到模型参数,这也正是模型信息能被保护的原因。coordinator在此只知道内积,不知道参数,所以它也无法推断各参与方信息。实现过程要确保通信的安全,数据在通信过程中不会被联邦系统之外的攻击者所获取,也需要一个可信赖的第三方来进行调度。谁做coordinator?可以是监管机构,独立第三方机构等。原始数据主要通过两项:1.任一通信节点接收到的均为加噪声后的内积,由于树状结构的差异,随机数又无法被移离,内积值因此得到保护。2.即使在串通的情况下,多个节点能移离随机数,根据内积本身也只能构造出方程,也无法通过方程精确推断所含变量。有噪声、有内积,方程数明显少于变量数,树机制……这些多重机制都能保证安全性。刚才所讲的逻辑回归还是线性模型范畴,怎样把线性模型推广到非线性模型?这也是关键,推广的非线性模型精度会大幅提升。右边算法概念大致是:先产生随机特征,生成随机数,然后做cos生成随机特征;在随机特征域上,再做刚才提到的这种联盟学习框架,来完成随机特征的参数学习。随机特征这一步引入了非线性函数,它能很好逼近原始核函数。此处,各参与方会有一部分随机特征,特征上的模型参数也保留在各方,不为他人所知。全程将通过噪声、聚合等方式提升安全性。随机梯度下降法,是首次实现了快速安全的异步并行纵向联邦随机梯度算法,并理论上分析了其收敛率核问题的双随机梯度算法,则是首次实现了大规模、高速、安全的基于核方法的纵向联邦学习。测试性能结果对比如下。LIBSVM是很多同学在研究机器学习时常用的工具,PP-SVMV是一个隐私保护算法,FDSKL则是我们目前所设计的算法。可以看到训练时间的对比。PP-SVMV涉及核矩阵,因此在大样本上操作非常慢。FDSKL收敛速度与DSG类似,后者没有联邦学习的设置。FDSKL几乎达到了不在同态加密状态下的训练速度。精度结果对比如下。FDSKL也接近了原始的不用联邦学习的效果。京东数科的最新工作也将在KDD发表。区块链联邦学习区块链受到很大关注,数据上链有透明化、分布式、不能篡改等优势,它是一种不依赖第三方,通过自身分布式节点,进行网络数据存储验证传递和交流的技术方案。区块链的分布式、去中心化特点,和联邦也有一些关系。实际上,联邦学习在大型的多方参与项目中都有类似机制,也可以考虑采用去中心化。最简单的应用是,把联邦学习和区块链结合,建立在区块链上的联邦学习算法。我们也完成了二者更深层次的融合,包括共识机制等。我们认为二者的结合在未来会有越来越多的应用。区块链可以解决数的存储,具有不可篡改性,联邦学习能对数据隐私做表保护,其中有不少地方互补。互动问答精选问:联邦学习可以不加入加密技术,不加密是不是也算对数据隐私保护?还是说得进行加密后,才算是各方进行隐私保护?薄列峰:就像我刚才在横向联邦学习中提到的那样,第一种算法实际上不加密,是用均值进行保护,整个过程中并没有传递数据。不同类型的联邦学习算法,有不同方向的数据保护。现在的问题是,哪一种对信息的保护级别更高,效率更高?同态加密是一种方法;差分隐私基本上就是给梯度加噪。这方面,像我们刚才提到的方法,都是不用同态加密对数据保护的联邦学习算法。问:联盟学习在京东有实际的落地场景和业务吗?薄列峰:有,其实联邦学习就是在做多方机构的落地,比如人脸识别、营销、风控等场景,京东数科都有案例。问:联邦学习和边缘计算的区别是什么?薄列峰:边缘计算讲的是每个用户端有自己的计算设施;联邦学习讲的是对数据隐私的保护,同时合作建模。大概念上还是非常不一样。当然,在做这种分布式联盟协议的时候,它也会用到各自的客户端,有自己的计算设备,在这一点上它会和边缘计算有一些结合点。问:怎样保护在客户端的运算速度?薄列峰:客户端的运算速度,得靠其自身计算资源来进行保护。如果计算资源比较有限,通常它的数据也比较有限,参与更少的计算。如果数据比较多,它的计算资源也多,如果是多个机构合作,这都可以协调。问:实验中列出来的时间对比,是参与方与第三方之间通信,是内网还是外网?薄列峰:我们在实验比较时,没有特别考虑网络延迟因素,是相对理想情况下的比较。有网络延迟的话,在计算的情况就会增加网络延迟。网络延迟针对每次具体的setting并不一样,所以并不容易做标准化的比较。我们比较的是没有网络延迟的情况,具体有网络延迟或者有各种情况,可能还是需要在具体设置里做更好的处理。问:每个客户端上的特征异构以及标签异构如何理解?可以举个例子吗?薄列峰:这个看是水平联邦学习还是垂直联邦学习。在水平联邦学习情况下,各个客户端也有自己的标记。刚才我举了个例子,比如说image net,每一个有1000类,每一类有1000个样本,这样你有100万个样本。假设有100个客户端,然后每个客户端有1万个样本,它有1万个样本标记,然后大家可以用横向联盟学习框架,可以有效地利用每个人手上的样本来建模。最终,每个参与方建造的模型都用了别人的样本,但是又不会去实际获取别人的数据。在纵向联盟框架下,举个例子,大机构和小机构做完用户对齐,大机构作为主动方,小机构是被动方,各参与方都可以商讨解决。像横向联盟学习,在很多时候,参与方其实就是同一个公司的分布在不同的国家的情况,信任度实际上是有保证的。即使说不同的机构之间,大家也是有相互的信任度。如果完全没有信任度,要去做这样的联邦学习,可能还是比较难的。参与方可能会对整个框架进行攻击。它的安全性会变得更加复杂。所以,我们现在还是假设各参与方是honest,是相对比较协作的,在实际应用中是可以做很多协调的。问:目前在联邦学习研究遇到的瓶颈有哪些?是否有后续未来的规划?薄列峰:后续京东数科会在联邦学习上做大量的投入,因为我们认为联邦学习是整个人工智能,包括整个机器学习的基石,它有潜力去改变所有的机器学习算法。我们会做重点布局,研发越来越多的联邦学习算法,来进一步提升联盟学习在各个领域的落地,提升它的有效性和效率,包括和区块链结合这种前沿方向。我们既会去提供一些可信度较高的软件,同时也会去落地,考虑前沿的研究,带动整个联邦学习生态的建设。问:是否可以动态变更合作机构的数量?薄列峰:合作机构的数量,是可以变化的。在纵向联盟学习里,相对比较复杂。它不参与之后,可能有些东西需要重新开始。但横向联盟学习,相对比较容易,因为大家都是拥有不同的样本,假设有1000个参与方,两三个不参与,那就少了千分之2,千分之3的样本,并不影响整个联盟学习的框架。横向联盟学习里,也有一些机制,可以保证参与方突然不参与,还能完成这个模型的训练。问:联邦学习可以用于表情识别吗?薄列峰:可以。举个例子,不同机构之间有表情识别的不同数据,大家可以利用彼此的数据来增强模型,同时又不想把数据给到对方。表情识别更像是一个横向联盟学习问题,怎么激励大公司愿意跟小公司之间共享信息。我的个人理解,它还是商业利益的驱动问题,怎么鼓励这件事。如果现在联邦学习的整个框架,只有一个小公司参与,大公司可能缺乏热情,但是如果有1000个小公司参与,那么这样以小积多,有更越来越多的可供交换的数据,大公司参与的意愿就会变强。问:服务器端,共享梯度和共享模型参数有什么区别?薄列峰:共享模型参数是做了几轮梯度下降,针对共享梯度,它的一大优势是通信代价会低;同时,对整个梯度信息的保护,也会更好。关注「AI金融评论」,在对话框发送关键词“听课”进群,即可收看课程直播,和往期课程全部回放。雷锋网雷锋网
作者:水木然 很多人还没有意识到,人类真正的敌人,不是生态环境,不是经济危机,不是核武器,而是“算法”。 算法的本质是“大数据”。之前,我们说大数据是未来的石油。而现在我们发现大数据正在试图掌控人类。 这个世界正在被算法一点点吞噬,人们和“算法”的斗争,才是一场是决定人类前途和命运的战斗。 1 什么是算法呢? 它不停的收集你的数据,站在高维解读你、透视你,审视你,知道你喜欢什么,想要什么,想干什么,然后帮你设定好行为路线,冥冥之中将你彻底掌控。 比如当我们打开手机,平台马上就会通过你按手机的动作获取你的身体数据,包括体温、血压和心率变化,平台马上就会锁定你的喜好和标签,而且模拟出你的心理变化曲线,你喜欢什么,需要什么,就疯狂给你推送什么,包括商品/作品/思想等。这时一套非常高明的推荐机制,它无限附和你内心深处的癖好,让你无限沉溺。 再比如,上瘾”也是可以被“算法”设计出来的。人的大脑里有一种叫多巴胺的神经传导物质,当人被外界刺激的愉悦时,多巴胺会大量爆发出来,这种“爽”的感觉,是可以算法设计出来的,算法让我们持续上瘾。 现在各种娱乐APP越来越多,每个APP背后都有一个强大的运营团队,他们用强大的运算和数据处理能力,通过声、光、交互、反馈等全方位的方式,再在各种心理学、消费行为学、神经科学等理论指导下,不断的给你刺激,让你持续的“爽”,越来越离不开它们。 世界上竟然还有一个叫“多巴胺实验室”的公司,对外宣称“能运用神经科学理论,结合人工智能机器学习,用多巴胺让你的 App 令人上瘾”。原来他们会在一些关键的地方和时间点设计“奖赏”,比如不断的惊喜和奖励,或物质或精神,从而提高用户的留存度、打开率和停留时间。这也就意味着增加APP的打开率,提高打开时间,这会让APP更值钱,市值更高。 看看我们的周围吧,几乎每个人都沉溺在各种短视频/娱乐节目/游戏等等,这些浅层的刺激让我们“上瘾”。各色商家都在制造丰富缭绕的信息,让大众身陷它们创造的世界里,按照它们设定的逻辑去判断问题,从而产生购买和消费的决策,然后谋利。 我们总以为,这个时代信息传播高度发达,每个人都能随时随地获取各种信息。而实际上,越是在这样一个似乎什么都能看见的时代,我们越什么都看不见。 信息自由传播的时代,并不意味着价值可以自由传播。相反,那些粗鄙的内容却无孔不入,我们早已深陷信息的洪流中,人的杂念和欲望都被勾起,看到的都是各种荒唐和妄想。 “算法”是人类发明的,却又让人类作茧自缚,因为人类已经陷入到这样一个枷锁中:科技越发达,人的智商就会越蜕化;营养越丰富,人的生理功能就会越衰弱。知识越唾手可得,人的独立思考能力就越差。 2 算法和人类的关系分为为三个阶段: 第一步,算法是我们的工具,我们有什么问题都可以问它,但决策权在我们手里。 第二步,算法是我们的指示灯,它会告诉我们大方向和原则,然后我们去执行。 第三步,算法成了我们的上帝,我们索性放弃思考,享受岁月静好,什么都听它的。 随着算法的强大,人会变得慢慢放弃决策权。 未来的人只分成两种: 第一种人是99%的人,他们就是芸芸众生,属于“被算法”型的,完全被算法牵着走,彻底放弃了独立思考能力,每天刷刷短视频,看看直播,玩玩游戏,充当社会的吃瓜群众,这种人也只是社会资源的消耗者,属于无用的人群,也是无明的人。他们对社会的唯一的贡献就是顺应了算法机制,成了大数据的一份子,如同一具具行尸走肉,等待被收割。 第二种人是1%的人,他们少之又少,算法不能理解他们,推送的东西他们也毫无兴趣,相反他们却可以控制算法,普通人听算法的,算法听他们的。他们利用算法给世界制定新的游戏规则,同时监督每一个人的行踪,让他们不要互相越位,安分守己。 这种人将越来越少,恰恰是这极少数人,能成为人类食物链的最顶层,引领和统治一切。 这些人才是未来世界的主宰者,是人类进化而成的新物种。也因此未来人和人最大的差别,不再是阶层的差别,而是不同物种的差别,小一部分人将进化成为另外一部分人的上帝。 这就是人类的“新奴役时代”:“第一种人”在“第二种人”眼里都是透明的,全裸的,你以为你有自己的隐私,看似自由有思想,其实早已被平台操控的,就像上帝操控人类一样,平台对待你,就像你对待一只蚂蚁一样。 人和人之间只有在两种情况下才能形成“奴役关系”,要么是科技非常落后的原始社会,要么是科技非常发达的今天。我们绕了一圈又绕回来了,这就是物极必反。 五十年前,苏联机构克格勃依靠人类特工还无法每天24小时追踪2.4亿苏联公民,但是现在平台可以依靠无处不在的传感器和强大的算法,轻松操控每一个人。 这就是为什么娱乐/游戏产业如此发达的原因,因为必须让这部分的精力消耗掉,让他们沉醉于娱乐八卦、各种段子中。 当然,由于社会生产力的进步,社会已经有足够的资源养活这些”无用阶层“,哪怕他们不能创造任何价值,但是也可以把他们圈养起来,或者说随意折叠起来,像垃圾一样堆放。 3 未来的世界看似是一个世界,却由很多个平行世界组成:顶级的资源操控者,从一个场合到另一个场合,交换共享资源;中层精英在奋力工作之余,必须把时间用来自我提升,努力接近顶层;底层无用人群,只能用廉价的食品喂饱自己,只能沉浸在短视频/小说/娱乐节目中。 这三种不同物种,将生活在不同的维度里,即便大家身处一个世界下,也会熟视无睹的擦肩而过,鸡犬之声相闻,老死不相往来。 因此,如果一个人出身平凡、文化一般、能力一般、又没有自制力、不善于学习,都将被一层层的折叠起来,他们没有信用、没有思想、不能借债、不能纳税,只能过着一种糜烂颓废、暗无天日的生活,如同一具具行尸走肉,只能被统统“折叠”起来,他们无法参与社会经济的运作,甚至连被剥削的价值都没有。 马云曾说过:“蠢要比癌症还可怕,至少癌症还有救”。就是这个道理! 作为一个普通人,要想挣脱这个命运,唯一的出路就是和“大数据”抗衡,做一个“反算法型”的的人,算法是顺应人性,反算法就是反人性,反人性就是“克己”, 为什么我们要提倡传统文化?因为传统文化就是“反算法”的。5000年的中国文化,说白了就是这两个字:克己。克己就是控制自己的欲望,不贪图刺激,做长期主义者,延迟满足等等, 比如有句话叫“人不为己,天诛地灭”,这个“为”字念作wéi,是“修为”的“为”,读第二声。而不是“为了”的“为”,不是第四声。所以,这句话的真正意思是:如果一个人不懂得修为,那么就会为天地所不容。 修为,就是修炼。真正看透这个世界的人,都懂得要不断修炼自己:克己,博学、明辨、慎思、审问、力行,提高人生境界,否则就会为天地所不容。 未来只有不断提升自己修为的人,才能战胜算法和大数据,他们在各种诱惑和刺激面前,时刻保持清醒的头脑,这种人将不断产出【信用资产】,包括产品/作品/IP等等,从而引领社会的进步。 当然,愿意精进的人的确越来越少,绝大部分人都选择了麻醉自己。这是正常的,也是合理的,因为就像我们上面所言,未来99%的人都是被算法控制的,只有1%的人能控制算法。 最后,希望每一个读到这篇文章的人,都能努力保持清醒。练就一颗如如不动之心,形成和巩固自己的独立思考能力,学习/修身和正己,不贪图享乐和刺激,在自己专注的领域不断深耕和精进!冷眼面对这大千世界的各种诱惑,成为那1%的人。 水木然