专栏名称: 大数据挖掘DT数据分析
实战数据资源提供。数据实力派社区,手把手带你玩各种数据分析,涵盖数据分析工具使用,数据挖掘算法原理与案例,机器学习,R语言,Python编程,爬虫。如需发布广告请联系: hai299014
目录
相关文章推荐
数据派THU  ·  【NeurIPS2024】通过双曲嵌入学习结 ... ·  2 天前  
软件定义世界(SDX)  ·  数据资产入表全流程操作指南 ·  6 天前  
数据派THU  ·  【WSDM2025】通过多教师知识蒸馏将推理 ... ·  1 周前  
51好读  ›  专栏  ›  大数据挖掘DT数据分析

算法大赛|从程序员到数据科学家:Fintech职业发展指南

大数据挖掘DT数据分析  · 公众号  · 大数据  · 2017-04-27 19:25

正文

前海征信“好信杯”大数据算法大赛正在火热进行中!截至4月24日,213只参赛小队你追我赶,究竟谁能脱颖而出?让我们拭目以待!


本次大赛也给参赛选手们提供了与业内一流数据科学家交流互动的好机会。在第二期技术分享会上,来自前海征信产品部副总监张杰,着重分享了金融科技与人工智能发展趋势,把同学们关心的数据科学家职业发展都讲透啦,想投身Fintech的朋友,快来了解一下吧。


各位好。对前海征信算法大赛感兴趣的朋友,很多都在FinTech产业或人工智能产业工作,或者有志于投身于这个领域。那么我就先谈谈FinTech产业与人工智能发展趋势

 


科技已从金融的后台逐渐走到前台,在下列应用领域大放异彩:


支付业: 支付处理、转账、移动支付、外汇、信用卡、预付费卡、奖励计划。

保险:经纪、承保、理赔、风险管理工具

健康与医疗:Lemonade,Oscar、平安保险

规划:业务流程自动化、客户关系管理、合规,KYC

借贷/众筹:社交借贷、抵押、企业贷款

区块链:区块链协议开发、数字货币、智能合同、区块链支付&结算、资产&智能核身

交易&投资:投资管理、智能机器人投顾、交易定价&算法、交易经纪与清算

数据&分析:大数据解决方案、数据可视化、预测分析

安全基础架构:数字身份、身份验证、反欺诈、网络安全、数据加密



过去,金融科技公司帮助银行优化服务,抗衡竞争对手,更多的处于后台的角色,例如80年代的平安人寿电脑部;现在金融科技公司从后台走向中台甚至前台,亲自上阵,主动推动金融服务变革:银行如果不变,我们来改变银行。


接下来我们看看几项驱动金融业变革的新生力量


P2P



P2P是英文person-to-person(或peer-to-peer)的缩写,意即个人对个人(伙伴对伙伴)。又称点对点网络借款,是一种将小额资金聚集起来借贷给有资金需求人群的一种民间小额借贷模式。属于互联网金融(ITFIN)产品的一种。属于民间小额借贷,借助互联网、移动互联网技术的网络信贷平台及相关理财行为、金融服务。

 

互联网的思想是点对点的信息互联,网格化的关系联接,从而形成信息交互,资源共享,优劣互补,并从这些数据信息中挖掘出价值。P2P网贷的模式正符合了这个核心,即公众化点对点信息交互和资金流动。在这种模式中,(信息和资金)交互双方呈现多对多的形态,且参与者极其广泛,借贷关系密集复杂,特征正如毛细血管般的线下民间借贷。另一方面,P2P网贷更是跨越了地域和关系网络,实现了陌生人之间的互联。

 

在这个意义上,P2P网贷形式并非只是一种技术,而是理念与方式的革新,展现了金融脱媒和互联网的结合在个人端的巨大能量。若是仅以技术化形式来看,网络小贷和各大银行远程互联网审贷模式都可以称为网络借贷。但这两者只是“网络技术借贷”,并不是基于网络的思想的。网络的概念应该是超越计算机技术本身的。这种基于网络技术的借贷往往都表现为审贷技术的升级,借贷中的双方参与者结构和产生的客观效果并没有实质改变。


机器人投顾



“智能投顾”,简单理解就是用机器人部分代替或者全部代替投资理财顾问,帮助人们做出投资判断。


智能投顾这个细分行业产生的大背景是,人人都有财富管理的需求,但能接受传统的私人银行家或高级财务顾问服务的资金门槛很高,且服务费不菲。对于一个仅有几万元资产量级的用户,如果没有技术性的革命,他可能永远都享受不到好的资产配置服务,可能永远会被销售产品。


另外,互联网行业的整体特征是边际成本递减。只要这个产品完成了,固定成本就基本上已经确定,服务更多的客户对公司只有好处——这也是为什么在互联网时代下,投顾服务能够下沉的原因。


智能投顾服务,它本质上做的事情是资产配置,就是通过数据和算法来帮助普通投资人做大类资产配置,从而让一个普通投资人能够拥有全球资产配置这样一个资产组合,帮助用户有效地管理投资风险。


人工智能


人工智能听起来好像很酷炫,说白了在金融上的应用主要就三件事:


第一,是对于金融数据的高级统计学的应用和分析。比如说,对于传统的线性回归没有办法进行有效的分析归纳的,通过AI、机器学习的算法可以对同样的一组数据用不同纬度去做分析,从而在中间找出它的规律。这个数据在机器学习的算法下可以变成是一个可以支持你决策的东西。


第二,是机器自我学习演变的能力。人每天也会接触到大量的信息,但是人很难对每天接触到的信息都做一个归纳、并对自己今天做的决定基于新的信息做一个复盘,因为这种学习的能力需要大量的计算,但机器可以做到这个。


第三,是对数据的及时处理。传统银行也会对一些高级客户做资产配置推荐,就是所谓的“银行观点”。这个观点的更新频次是固定的,比较常见的情况是三个月更新一次。在这三个月之中,客户任意时间点进来,得到的建议都是一样的,这个就很成问题。及时性的风控建议将成为贷款业务中后期的关键。

 

区块链技术



区块链是一种共享的分布式数据库技术。尽管不同报告中对区块链的一句话介绍措辞都不相同,但以下4个技术特点是共识性的。


1. 去中心化(Decentralized):上图的左侧描述了当今金融系统的中心化特征,右侧描述的是正在形成的去中心化金融系统,其没有中介机构,所有节点的权利和义务都相等,任一节点停止工作都会不影响系统整体的运作;


2. 去信任(Trustless):系统中所有节点之间无需信任也可以进行交易,因为数据库和整个系统的运作是公开透明的,在系统的规则和时间范围内,节点之间无法欺骗彼此;


3. 集体维护(Collectively Maintain):系统是由其中所有具有维护功能的节点共同维护的,系统中所有人共同参与维护工作;


4. 可靠数据库(Reliable Database):系统中每一个节点都拥有最新的完整数据库拷贝,修改单个节点的数据库是无效的,因为系统会自动比较,认为最多次出现的相同数据记录为真。


区块链的潜力巨大,目前的用途有:


1.银行业作为一种数字化,安全防干扰的帐户,区块链实现了银行业的核心功能:即价值的安全储存和转移中心。也就是说,在将来的几年内,一波基于区块链技术的公司或将影响到银行业。


2.支付和转账:区块链技术能够避开繁杂的系统,在付款人和收款人之间创造更直接的付款流程,不管是境内转账还是跨境转账,这种方式都有着低价、迅速的特点,而且无需中间手续费。


3.网络安全虽然区块链的系统是公开的,但其核验、发送等数据交流过程却采用了先进的加密技术。这种技术不仅确保了数据的正确来源,也确保了数据在中间过程不被人拦截。如果区块链技术的应用更为广泛,那么其遭受黑客袭击的概率也可能会下降,因此人们认为区块链系统要比传统系统更为稳妥。区块链系统之所以能降低传统网络安全风险,一大原因就是它解除了对中间人的需求。


4.选举:大家的投票“绝不可能被我们——即程序员,学校管理员或学生修改、删除。”


5.智能合同:智能合同实际上是在另一个物体的行动上发挥功能的电脑程序。和普通电脑程序一样,智能合同也是一种“如果-然后”功能,但区块链技术实现了这些“合同”的自动填写,无需人工介入。这种合同最终可能会取代法律行业的核心业务,即在商业和民事领域起草和管理合同的业务。


6.股票交易许多年来,各个公司都在想方设法简化股票的购买、销售和交易过程,新兴的区块链技术创企认为他们能够超越以往,实现整个流程的自动化,提高安全性和效率。

 

在目睹了上述金融科技业波澜壮阔发展大潮后,你有否考虑过作为一个尚未踏入职场或职场新人,我怎么样能搭乘这场大数据和人工智能时代的快车,创造更多改变世界和日常生活的金融科技产品呢?以下有几个升级策略供你参考——


开发CRM营销响应建模



作为一个在金融科技领域从业近10年的老司机,我的工作是从数学挖掘工作开始的。数据挖掘的意图是揭示海量数据中的隐蔽规律,以预测目标顾客、风险控制、欺诈模式识别等工作为主要目的。例如:某金融公司有四种销售计划,分别是抵押、汽车贷款、储蓄、退休金,数字代码分别是1、2、3、4。该公司现在有以往的销售记录,记录了向2万多位顾客推销的销售计划(变量为campaign)、该顾客接受与否(变量为response)、以及顾客的个人信息和其他服务信息,如年龄(age)、收入(income)、是否使用金卡(gold_card)等,现在想用二元分类器对这些数据进行建模,并对不同的模型进行比较,选出最优的一个,对新的100为客户进行预测,看某种销售计划下响应的人数。


  • 通过这个项目实例可以看到:通过营销响应模型的预测:若提取得分前10%样本,则比不使用模型捕获率提高1.58倍。


  • 若对得分前20%的消费者邮寄产品册,这项活动则获得每个样本的平均利润7.5元左右。


开发信用评分卡,进入风控领域



零售银行业需要使用数据挖掘方法对客户信用进行评分,主要研究当个人申请服务和购物贷款时如何对其信用可靠性进行评估。各种贷方(银行、投资公司、信用卡公司)每天都会收到成千上万的申请,因此需要有一个自动决策系统帮助决定接受或拒绝申请。我们以某城市商业银行数据为基础,构建一个客户信用评分模型。


开发人工智能对话机器人



提起“chatbots”你会想到什么?从词语拆分来看,是不是觉得chatbots只能用于聊天,比如客服?实际上,随着技术的不断发展,chatbots的用途越来越广泛,从增强用户界面到创建更个性化的应用体验,chatbots可应用场景也越来越多,下面为大家介绍一些chatbots的应用实例:


1.收集用户信息和偏好;

2.管理用户;

3.引导商品购买;

4.改进应用商店或社交媒体评级;

5.调查用户实时感受;

6.加强通知推送;

7.进行A/B测试;

8.提高营利;

9.使即时聊天更有效率;

10.创建更个性化的促销活动。


开发问答推理系统、智能机器人框架



智能问答系统主要由问题理解、对答系统和答案生成三个模块构成。其中问题理解模块用于解析问句、理解用户意图和提取相关参数;对答系统针对不同的用户意图,进入不同的对答模块,生成答案集合;答案生成模块基于答案集合,生成自然语句的答案。对答模块主要由产品推荐、上下文、知识图谱数据库和智能问答引擎各个模块组成。

 


这是我们的专业领域智能对话机器人的数据存储形式、自然语言问句形式和预期答案。

 


目前,我们开发的对话机器人框架可以做到:


自动对话,提升渠道活跃度,改进客户体验;

支持微信群、公众号,HTTP API等多种接口、大幅提升客服效率;

目前支持贷款、个人征信、企业信用等多专业金融领域的知识图谱,知识图谱数据库非常易于配置。



人们日常行为表情发生的细小变化时,会泄露出其心理变化。这些微小的变化称之为微表情。虽然它们转瞬即逝(最短只有1/25秒),但却是情绪暴露的最好证明。我们开发的微表情反欺诈系统根据被提问者的问答正确率、表情变化种类、征信信息等,系统最终将返回总结报告(如图),信审人员可参考此报告进行审批。


最后,透露一下前海征信内部对于算法工程师的能力要求,供参考哦。

 




总之,机器学习和人工智能行业提供了很多令人兴奋的研究方向,有着远大的职业发展前景,大家可以参考这些标准和发展方向走出自己的职业发展道路。


作者介绍

张杰,前海征信股份中心有限公司产品部副总监,中国人民大学经济学硕士,拥有超过10年金融相关从业工作经验,在数据分析、风控建模、资产组合分析等量化分析与建模方面经验丰富。




赛事详情可扫描海报二维码或点击阅读原文了解