专栏名称: 朝阳35处
互联网金融大数据挖掘哪家强,平安前海征信帮你忙。分享数据挖掘和人工智能前沿技术,探讨其在风险控制、反欺诈等金融业务中的实际应用。每周涨点知识,多点谈资,定期举办行业沙龙。
目录
相关文章推荐
云南省商务厅  ·  外贸促进信息 | 第二十期《重点贸易促进活动》 ·  17 小时前  
云南省商务厅  ·  外贸促进信息 | 第二十期《重点贸易促进活动》 ·  17 小时前  
四川商务  ·  市州观察 | ... ·  昨天  
FM1007福建交通广播  ·  宇树科技携两款机器人亮相2025GDC ·  3 天前  
FM1007福建交通广播  ·  宇树科技携两款机器人亮相2025GDC ·  3 天前  
51好读  ›  专栏  ›  朝阳35处

朝阳35处|逆天!创造101小姐姐的舞姿被AI识破了

朝阳35处  · 公众号  ·  · 2018-06-22 16:16

正文

最近大热的女团选秀节目《创造101》,你们有在看吗?处座又入坑啦。

从《中国有嘻哈》、《这就是街舞》到《偶像练习生》,近年选秀节目百花齐放,让每个一开始说不想看的人,看完节目都pick了好几个小哥哥。而《创造101》的开始,让广(kuai)大(le)群(fei)众(zhai)也可以pick漂亮小姐姐了。


虽然娱乐综艺只是消遣,但严格的处座,还是非常关注这些热门小姐姐的实力如何。虽然唱歌可以后期修音,但是,舞蹈不能修吧…为了避免个人喜好和个人情绪,我们是不是可以另辟蹊径,让人工智能成为我们的眼睛,客观的评价小姐姐们的舞蹈实力呢?



所以这一次,处座要让AI坐上评委席, 为小姐姐的舞技打打分。为了客观,我们选择《创造101》每个选手都跳过的主题曲舞蹈为样本,只需以下三个步骤就能得到小姐姐们的评分啦。


第一步:基于人体姿态图像,获取关节点



处座采用2017年CMU的开源工程openpose ,基于小姐姐的舞姿,获得关节点位置信息。


现有的一些深度学习算法主要采用两个步骤,person-detect和single-person pose estimation,这些top-down的方法很依赖上述两个部分的准确性,一旦出现人数众多或出现重叠时,就会产生较大的误差。


作者另辟蹊径,用一种新的深度学习模型,来解决姿态估计准确性问题以及多人同时出现的实时性问题。该模型将分别预测两个部分,分别是人体每个关节点位置,以及关节间相似度的向量场,流程图如下:


输入图像,利用VGG16提取图像特征,最后同时预测出confidence map和affinity fields。每个分支都是一个迭代预测结构,一共有t个stage,每个stage都加入了中间监督。模型算法示意图如下。


根据模型预测出来的confidence map和affinity fields,借助非极大值抑制算法,将关节点位置回归问题转换为一个简单的优化问题,即可将我们预测出来的关节点一一联系起来,分割出不同的人和不同的关节点。


处座选择 长期排名第一的孟美岐在主题曲中的舞蹈动作 作为样本, 根据以上算法,即可获得最终的效果,并且达到实时预测的目的。 通过前述算法,我们得到了孟美岐的关节点。


孟美岐舞蹈关节点动态示意图


第二步 :计算关节夹角,准确定位动作



虽然每个人由于身高等因素关节到关节的位置长度会有所不同,但定位舞蹈中动作是否标准,使用关节的夹角即可判断动作是否到位。我们选择了5个关节夹角,请看灵魂画手示意图:




其中,角度1和角度3表示左右手臂与身体的夹角; 角度2和角度4表示左右大臂与左右小臂的夹角; 角度5表示左右大腿的夹角。


由于舞蹈是时间段内连续的动作,所以孟美岐的主题曲舞蹈,就转换成了5段夹角的波形图:




第三步 :对比波形图差异,根据规则计分




重复上述同样的方法,我们得到了选手们的关节点定位信息。在这里,处座就选择四位热门选手作为代表来展示:



突破大众对女团审美的王菊


“综艺担”高秋梓



排名靠前但屡受质疑的杨超越


因为爱哭引起关注的朱天天


以下是分析上述四人动作产生的关节夹角波形图——




评分规则:以孟美岐的波形图为评判标准,考虑不同时刻下,各个组员的每个关节角度相较于标准的误差值。这样,主题曲一整段3分钟视频共5400帧, 误差值可以充分表达动作的完成度以及节奏感。



采用标准为100分,依据上述规则打分,接下来让我们来看看结果:



王菊得分76.98: 不愧是老江湖,还是有实力啊!



高秋梓 得分 67.37:虽然微胖,还是非常灵活滴。



杨超越 得分 43.35:已经很努力了,但还有很大空间!



朱天天 得分 36.78:是因为用力过猛吗?


这可是经过AI分析的客观评价 哟!虽然似乎和她们现在的排名不尽相同,不知道是否符合你心中的预期?



《创造101》的口号是“逆风翻盘,向阳而生”,在不长的几期节目中确实有小姐姐帅气的逆风翻盘,这里面不乏实力与运气,一定也有热爱。 跳舞实力不能说明全部问题,偶像的娱乐精神非常重 要。 本周六《创造101》也要进行总决选了,还是同样的配方,熟悉的套路, 对于人人都在渴望的C位出道,节目组设置了两条路,一条靠能力,需要才华出众;而另一条就是“越努力越幸运”了。


选秀节目以后还有更多,但是能长久的留在大家视线的人总是很少。 在更长的日子里,愿小姐姐们不断成长,继续带给粉丝们惊喜哦!本期就到这里了,有啥想说的要告诉处座,欢迎留言!


▲长按图片,识别二维码进行打赏










请到「今天看啥」查看全文