摘要
区别于能够实现海量数据的管理、简单分析与可视化的传统商业智能,艾瑞的此份商业智能报告将聚焦于人工智能技术如何用于商业智能决策,实现商业经营的智能化与自动化。
本报告中的重要观点:
中国企业精细化运营的需求正在爆发;
商业智能,帮助企业实现数据驱动认知到数据驱动决策的转变;
商业智能主要应用于金融、电商、物流、出行等领域;
中国AI论文成果达到国际一线水平;
技术方面,商业智能的未来将从强调单一技术,到各学科、分支、算法等融会贯通;
技术以外,企业、技术供应商对场景的理解是产业升级的关键;
商业智能的落地是一项系统工程,企业的工程实践能力有待增强。
商业智能的下一步,智能化与自动化
商业智能(BI,Business Intelligence)概念的提出可追溯至1958年,通常将其视为把企业中现有数据转化为知识,帮助企业做出明智的业务经营决策的工具。过去的商业智能不能给出决策方案,也不能自动处理企业运行过程中遇到的问题。借助于人工智能与其他相关学科的技术进步,现代商业智能已能在特定场景中实现商业经营的智能化与自动化。因此,本报告聚焦于将人工智能技术用于商业智能决策,试图对人工智能在商业落地的真实现状进行说明,凸显AI技术(不包括智能语音、计算机视觉等感知智能)在现阶段应用的价值。
大数据为商业智能的发展提供土壤
互联网、移动互联网高速发展,海量、高维度且可实时接入更新的数据随之而来,为机器学习等前沿技术在各领域中的探索及落地提供可能,进一步拓展了被服务人群且显著提升服务质量。另一面,产业缺乏通用标准约束,数据在采集及流转过程中污染程度不一,数据加密不规范引致的数据泄露时有发生,数据孤岛亦成为企业业务发展的掣肘(如金融方面,企业多为基于自身平台积累的独有数据做征信,评分适用范围将大大受限),通用标准的建立需要政府及产业界的共同努力。
从数据驱动认知,到数据驱动决策
智能技术的运用一方面将拓展大数据的应用场景,从帮助业务人员认知到实现企业最优决策,另一方面,自然语言处理的进步也正在解决人机交互的部分问题,自然语言查询、自然语言生成都将进一步释放商业智能的效率和价值。
商业智能主要应用于金融、电商、物流、出行等领域
类比人类智能,人工智能可分为赋予机器语音、图像等感知能力的感知智能和赋予机器思考能力的认知、决策智能。认知能提升感知(如对语义的理解判断将提升机器的语音识别率),感知也会辅助决策(如智慧商超中机器视觉对客流属性、消费行为的观察、记录可辅助商超做出营销决策),本报告聚焦于认知智能在商业场景中的应用情况。
中美同属商业智能第一方阵,发展态势各有千秋
过去的几十年中,中国科技智能环境不如西方几乎成了很多人的刻板印象,但在如今的商业智能领域,我国从“中国制造”到“中国智造”,从奋起直追到弯道超车,已进入商业智能领域第一方阵,成为发展最快的国家之一。总的来说,由于中美文化差异、人口差别、工作强度不同等因素,相比美国,中国将技术落地的加速度更快,新兴商业模式拓展力强,但业务的发展仍缺乏全面性与标准化。目前,中国通过单点突破弯道超车,并开始重视精细化运营,由局部最优逐渐向全局最优靠拢。
论文成果达到国际一线水平,企业积极应用创新性成果
AAAI(The Association for the Advancement of Artificial Intelligence)是人工智能领域顶级的综合性会议,会议论文涉及机器学习、自然语言处理、搜索、规划、视觉、知识表达等人工智能各分支的学术探讨和应用研究。2017年AAAI大会收到论文2571篇,创下新高,中国学者的论文提交量与录用率均达到国际一线水平,与美国持平。收录论文不仅有来自高校学者,还有来自百度、腾讯、华为、360、今日头条等企业研究人员,如百度的《Collaborative Company Profiling:Insights from an Employee’s Perspective》——从员工角度出发,尝试利用AI让企业人力价值最大化。
国内企业与高校间的合作也愈发紧密,腾讯即有与香港科技大学的实验室合作,高校可利用企业的海量数据与测试平台,企业则可将创新性成果落地实践。需要指出的是,尽管目前AI的商业应用中国并不落后甚至在某些维度领先美国,但在原创性研究、创新土壤、人才储备方面,中美仍有较大差距。
行业集中度低,融资火热,天使轮、A轮居多
商业智能应用场景众多,包括营销、金融、交通等领域,各领域涉及企业众多,行业集中度较低,融资方面,2012-2016年最为火热,其中,2015年融资次数达到31次,同时有两家新三板挂牌企业,是2012-2016年中融资次数最多的一年;从融资轮次来看,大部分融资尚处于早期的天使轮、A轮阶段;另外,从企业所涉领域来看,服务于金融领域的企业最受资本市场青睐。
了解技术是发展技术的前提
人工智能正在重塑科学、技术、商业、政治以及战争,而大众对技术的认知程度和该技术的重要性相比显得远远不够。即使只有工程师和机修工有必要知道汽车发动机如何运作,每位司机也都必须明白转动方向盘会改变汽车的方向、踩刹车会让车停下。另外,当今人工智能的各个分支其实在五十年前就已有相关基础,当时的一些科学家认为,人工智能的所有问题都将在十年内解决。但事实是直到今天,很多问题仍悬而未决并难以解决。过高的预期引致不当的失望,人工智能历史上的两次冬天无疑阻碍了技术、产业发展的步伐,并让踏实做事的人受到伤害。因此,我们有必要对商业智能技术的概念模型、发展现状与应用前景进行客观认知,了解它的能力与边界。
机器学习概述
将数据输入计算机,一般算法会利用数据进行计算然后输出结果,机器学习的算法则大为不同,输入的是数据和想要的结果,输出的则为算法模型,即把数据转换成结果的算法模型。通过机器学习,计算机能够自己生成模型,进而提供相应的判断,实现某种人工智能。工业革命使手工业自动化,而机器学习则使自动化本身自动化。
支持向量机、朴素贝叶斯、决策树、神经网络等经典算法
人工智能、机器学习及深度学习的相互关系
近几年掀起人工智能热潮的深度学习,属于机器学习的一个子集,在思想和理论上并未显著超越二十世纪八十年代中后期神经网络学习的研究,但得益于海量数据的出现、计算能力的提升,原来复杂度很高的算法得以落地使用,并在边界清晰的领域获得比过去更精细的结果,大大推动了机器学习在工业实践中的应用。但值得指出的是,深度学习的应用范围还很有限,统计学习仍然在机器学习中被有效地普遍采用。另外,人工智能不是一种特定的技术方法,所有方法都是在对人工智能这个课题进行研究的产物。机器学习和象征着理性主义的知识工程、行为主义的机器人一样,是人工智能的一个分支。
知识图谱的应用
就覆盖范围而言,知识图谱可分为应用相对广泛的通用知识图谱和专属于某个特定领域的行业知识图谱。通用知识图谱注重广度,强调融合更多的实体,主要应用于智能搜索等领域。行业知识图谱需要考虑到不同的业务场景与使用人员,通常需要依靠特定行业(如金融、公安、医疗、电商等)的数据来构建,实体的属性与数据模式往往比较丰富。
运筹学概述
运筹学是一门用量化分析的方法做决策与优化的科学和艺术,它为管理决策提供智慧,并以自己的智慧解决管理决策问题。体现运筹学思想和方法的某些早期先驱性的研究工作,可以追溯到20世纪初期,如1908年丹麦工程师Erlang提出的电话话务理论(运筹学中排队论的起源)。运筹学是一门应用性很强的学科,在研究和解决各种复杂的实际问题中综合使用代数、统计学、计算机科学、模拟(仿真)等各种方法,不断得到创新和发展,至今已成为一个包括许多分支的庞大的学科。在大数据时代,数据科学结合运筹学尖端理论是实现数据驱动的科学决策的坚实基础。
从军事到民用,优化各领域组织决策
最早期的较为正式的运筹学活动出现在第二次世界大战时期,有一批英国的科学家着手研究利用科学方法进行决策,以最佳使用战时资源,当时的工作小组将自己的工作称为Operational Research(简称OR)。战后的工业复苏时期,运筹学思想被引入民用领域,用来应对组织中与日俱增的复杂性和专业化所产生的问题,大幅提升了生产力。虽然运筹学的大部分实践应用产生的效益小于下表所列案例,但这些典型反映了大型的计划完善的运筹学的研究可能带来的重要影响。
精准营销负责引流获客,个性化推荐促活留存
商业智能在广告营销领域的主要应用为精准营销与个性化推荐,两者均通过用户数据,对用户贴标签,并基于产品特征与投放需求,建立不同的决策模型进行营销;两者最大的不同在于,精准营销用于引流获客阶段,以短信或优惠券的方式进行营销,提升响应率,优化企业运营;个性化推荐用于留存促活阶段,使得消费者在最合适的时间,以最恰当的方式,获得最合意的产品、资讯以及服务的推荐。
收益管理的本质是优化
商业智能在电商领域的主要应用为商品组合、定价策略、促销管理等多方面的优化,可归结为收益管理,即指在适当的时间和地点下,以合适的价格向不同的用户提供最恰当的服务或产品,以实现资源约束下,企业收益最大化的目标。收益管理最早起源于航空运输业,当时的民航处于价格管制状态,为解决旅客误机导致的座位虚耗、企业收益流失,出现了“超售”思想,除航空业外,收益管理也广泛应用于酒店服务、电子商务、交通出行以及物流运输等领域。
通过人工智能+运筹学,最小化路程与出行时间
路径优化是指如何找到从出发地到达目的地之间最短时间、最优价格的最短路径;订单分配研究的是供需匹配问题,结合多维度影响因素(例如路途距离、路况、骑手骑行速度、需求时间段等)匹配需求和供给;另外,除路径优化与订单分配外,电商领域中提到的定价优化也应用于交通出行,例如网约车定价,但与电商不同的是,网约车因其需求的及时性要求较强,账号共享性弱,使其拥有更大的个性化定价空间。
路径优化可理解为寻求由起点出发,通过所有给定需求点后再回到原点的最短路径问题,路径优化诞生于TSP问题(Traveling Salesman Problem,旅行销售员问题),即访问除原出发结点以外的每个节点一次且仅一次,应用场景例如拼车实时路线规划、某些货物需在某一时间段送到(时间窗口)。
订单分配可理解为供需匹配问题,供需匹配可分为静态匹配与动态匹配,静态匹配即有n个需求,n个供给,每一个供给只能满足一个需求,每一个需求也只需要一个供给,应用场景例如物流追踪、车辆与乘客静态匹配等;当匹配双方并非事先确定时,则为动态匹配问题,动态匹配的本质在于优化结合随机建模,当匹配的一端实时产生时,以优化模型决定如何匹配能够达到最大价值,应用场景例如网约车随时产生的乘客与车辆匹配。
通过大数据与优化技术提升供应链系统效率与柔性
物流系统分为多层,包括入库前的仓库地址选择、入库时的策略以及销售预测、入库后的库存优化、仓储优化、清仓以及出库时货运分配、配送路线规划等。其中,仓库的选择和物流的配送是供应链管理的核心,在某地区开展新业务时,如何设定枢纽的数量、枢纽位置等对最终运送的成本有着很大的影响;配送路线规划涉及到我们在交通出行领域中谈到的路径优化与车辆调度问题,通过结合实时需求、时间窗口、承重限制等因素,对送货路线进行制定,最小化成本与时间,实现物流智能化高效运营。
利用数据与技术,提高风控准确率,布局全流程风控
金融的本质在于给风险定价,对于风险及时且有效的识别、预警、防控一直是金融机构的核心。金融风控强调数据与技术,智能风控企业结合高维度的大数据,利用决策树、神经网络等机器学习技术,针对信贷评级、授信、贷后预警,反欺诈等场景提供解决方案,传统金融机构由过去的以经验或小量数据对风险进行把控,到现在以大数据及技术进行风控,实现金融风控升级。但同时,精细化运营全覆盖也是风控市场需考虑的关键点,即从系统的第一层出发,做全流程的金融风控,识别真正符合金融产品的优质客户,当潜在用户的信用存在风险时,应从营销端就避免引入此类风险用户。
人机协作,助力投研分析质效提升
商业智能在投研分析中的应用可与食材料理类比,将原始数据比喻成料理中的原料A,A被清洗择选后成为可用烹饪原料B,参考不同料理食谱,对B进行制作,最终生成佳肴,映射于投研分析领域中,清洗择选方法包括去重、数据排序、实体发现、实体关联、领域知识图谱等,食谱即不同算法与模型,最终生成可视化投研报告。与人工分析生成的报告不同,机器人报告最大的优势在于生成快、可以清晰明了的将大量数据进行罗列呈现;智能机器的效率相对高,但目前仍缺少创造性,在投研分析领域,机器人与分析师的协同合作将提升分析质量与效率。
自动化程度逐步提高,AI+投顾新模式将用户资金自动对接
智能投顾,顾名思义即人工智能+投资顾问。传统的投资顾问相当于私人银行中的客户经理通过与客户的深度沟通,结合客户个人的风险偏好和理财目标,传达给后台技术人员制定理财配置模型,再由客户经理将此方案给到客户;智能投顾可被理解为将私人银行的后台标准服务线上化。相比传统投顾,智能投顾拥有可简化流程、适合全民理财、可定制短/中/长多周期投资方案、可进行风险预警等优势,同时也面临客户对机器的弱信任感问题、现阶段政策以及所需客户财务状况全面性等限制与挑战。
从强调单一技术,到各领域融会贯通
在大数据的背景下,商业场景中任一问题的解决,往往是多学科思想的交融,而非对单一方法的依赖。在计算机科学、人工智能、运筹学、博弈论等诸多学科领域的综合与交叉中,一个个贴合实际业务场景的解决方案应运而生,使得商业智能切实优化企业决策方式,助力业务增长。融合也表现在人工智能的各分支上,如关于语义网的研究,自然语言理解、机器学习、人机交互都很重要。最后,任何一种学习算法都有自己的优势和局限,所谓的解决一切问题的终极算法,很有可能是对现有算法的兼容并包。当然,如何让各算法相遇相融并在不大幅降低效率的前提下提升通用性,仍是一个非常复杂但值得探索的难题。
技术以外,对场景的理解是产业升级的关键
在人工智能成为产业界、学术圈、投资人以及媒体关注的焦点以来,大众对深度学习等技术尤为关注。但在工业实践中,对具体业务场景的理解与对实际问题的界定,与采用何种模型、算法同等重要,前者在很大程度上决定了后者是否能够有效降低企业运营成本或者帮助相关业务增加收入,这是技术能够落地、产业得以升级的关键。
在AAAI2017中,Uber人工智能实验室主任Gary Marcus即表示当前飞速发展的深度学习等技术可能只是在不断逼近通用人工智能的一个局部最优点,而这样的逼近方式可能让我们错过那些真正更好地实现通用人工智能的方法。因此,在运用技术解决某个问题之前,绝不应先入为主地认定要是用某个具体的机器学习算法,而应首先对业务场景加以分析,抓住核心问题要素,这是做出最优技术选择的前提。
智能的落地是一项系统工程,企业的工程实践能力有待增强
商业智能业务应用的落地需要建立在完善的数据整合、管理之上,再由相应的算法、模型基于高效的计算框架将数据转化为可视化的业务规律,进一步驱动或直接生成企业决策,因此商业智能是一项系统工程,算法设计、架构搭建、系统配合、流程控制、质量监督、危机处理等缺一不可,项目工程经验非常重要。
另一方面,类比国际顶级SaaS企业Salesforce,其产品通用功能大概只占50%,产品背后依然有大量供应商及自身服务团队结合客户差异化的场景做定制服务,因此尚处早期的商业智能领域,在很长一段时期内,服务方式仍将以定制化的解决方案为主(尤其面对大企业的时候),以SaaS等标准化的产品为辅,并在部分场景中以PaaS服务接入客户ERP、CRM等信息系统,快速、低成本地将商业智能赋能于企业。
End
为了让大家能有更多的好文章可以阅读,36大数据联合华章图书共同推出「祈文奖励计划」,该计划将奖励每个月对大数据行业贡献(翻译or投稿)最多的用户中选出最前面的10名小伙伴,统一送出华章图书邮递最新计算机图书一本。投稿邮箱:[email protected]
点击查看:你投稿,我送书,「祈文奖励计划」活动详情>>>
如果有人质疑大数据?不妨把这两个视频转给他
视频:大数据到底是什么 都说干大数据挣钱 1分钟告诉你都在干什么
人人都需要知道 关于大数据最常见的10个问题
从底层到应用,那些数据人的必备技能
如何高效地学好 R?
一个程序员怎样才算精通Python?
排名前50的开源Web爬虫用于数据挖掘
33款可用来抓数据的开源爬虫软件工具
在中国我们如何收集数据?全球数据收集大教程
PPT:数据可视化,到底该用什么软件来展示数据?
干货|电信运营商数据价值跨行业运营的现状与思考
大数据分析的集中化之路 建设银行大数据应用实践PPT
【实战PPT】看工商银行如何利用大数据洞察客户心声?
六步,让你用Excel做出强大漂亮的数据地图
数据商业的崛起 解密中国大数据第一股——国双
双11剁手幕后的阿里“黑科技” OceanBase/金融云架构/ODPS/dataV
金融行业大数据用户画像实践
“讲述大数据在金融、电信、工业、商业、电子商务、网络游戏、移动互联网等多个领域的应用,以中立、客观、专业、可信赖的态度,多层次、多维度地影响着最广泛的大数据人群
搜索「36大数据」或输入36dsj.com查看更多内容。
投稿/商务/合作:[email protected]