最近大热的女团选秀节目《创造101》,你们有在看吗?处座又入坑啦。
从《中国有嘻哈》、《这就是街舞》到《偶像练习生》,近年选秀节目百花齐放,让每个一开始说不想看的人,看完节目都pick了好几个小哥哥。而《创造101》的开始,让广(kuai)大(le)群(fei)众(zhai)也可以pick漂亮小姐姐了。
虽然娱乐综艺只是消遣,但严格的处座,还是非常关注这些热门小姐姐的实力如何。虽然唱歌可以后期修音,但是,舞蹈不能修吧…为了避免个人喜好和个人情绪,我们是不是可以另辟蹊径,让人工智能成为我们的眼睛,客观的评价小姐姐们的舞蹈实力呢?
所以这一次,处座要让AI坐上评委席,
为小姐姐的舞技打打分。为了客观,我们选择《创造101》每个选手都跳过的主题曲舞蹈为样本,只需以下三个步骤就能得到小姐姐们的评分啦。
处座采用2017年CMU的开源工程openpose
,基于小姐姐的舞姿,获得关节点位置信息。
现有的一些深度学习算法主要采用两个步骤,person-detect和single-person pose estimation,这些top-down的方法很依赖上述两个部分的准确性,一旦出现人数众多或出现重叠时,就会产生较大的误差。
作者另辟蹊径,用一种新的深度学习模型,来解决姿态估计准确性问题以及多人同时出现的实时性问题。该模型将分别预测两个部分,分别是人体每个关节点位置,以及关节间相似度的向量场,流程图如下:
输入图像,利用VGG16提取图像特征,最后同时预测出confidence map和affinity fields。每个分支都是一个迭代预测结构,一共有t个stage,每个stage都加入了中间监督。模型算法示意图如下。
根据模型预测出来的confidence map和affinity fields,借助非极大值抑制算法,将关节点位置回归问题转换为一个简单的优化问题,即可将我们预测出来的关节点一一联系起来,分割出不同的人和不同的关节点。
处座选择
长期排名第一的孟美岐在主题曲中的舞蹈动作
作为样本,
根据以上算法,即可获得最终的效果,并且达到实时预测的目的。
通过前述算法,我们得到了孟美岐的关节点。
孟美岐舞蹈关节点动态示意图
虽然每个人由于身高等因素关节到关节的位置长度会有所不同,但定位舞蹈中动作是否标准,使用关节的夹角即可判断动作是否到位。我们选择了5个关节夹角,请看灵魂画手示意图:
其中,角度1和角度3表示左右手臂与身体的夹角;
角度2和角度4表示左右大臂与左右小臂的夹角;
角度5表示左右大腿的夹角。
由于舞蹈是时间段内连续的动作,所以孟美岐的主题曲舞蹈,就转换成了5段夹角的波形图:
重复上述同样的方法,我们得到了选手们的关节点定位信息。在这里,处座就选择四位热门选手作为代表来展示:
突破大众对女团审美的王菊
“综艺担”高秋梓
排名靠前但屡受质疑的杨超越
因为爱哭引起关注的朱天天
以下是分析上述四人动作产生的关节夹角波形图——
评分规则:以孟美岐的波形图为评判标准,考虑不同时刻下,各个组员的每个关节角度相较于标准的误差值。这样,主题曲一整段3分钟视频共5400帧,
误差值可以充分表达动作的完成度以及节奏感。
采用标准为100分,依据上述规则打分,接下来让我们来看看结果:
王菊得分76.98:
不愧是老江湖,还是有实力啊!
高秋梓
得分
67.37:虽然微胖,还是非常灵活滴。
杨超越
得分
43.35:已经很努力了,但还有很大空间!
朱天天
得分
36.78:是因为用力过猛吗?
这可是经过AI分析的客观评价
哟!虽然似乎和她们现在的排名不尽相同,不知道是否符合你心中的预期?
◆
◆
◆
《创造101》的口号是“逆风翻盘,向阳而生”,在不长的几期节目中确实有小姐姐帅气的逆风翻盘,这里面不乏实力与运气,一定也有热爱。
跳舞实力不能说明全部问题,偶像的娱乐精神非常重
要。
本周六《创造101》也要进行总决选了,还是同样的配方,熟悉的套路,
对于人人都在渴望的C位出道,节目组设置了两条路,一条靠能力,需要才华出众;而另一条就是“越努力越幸运”了。
选秀节目以后还有更多,但是能长久的留在大家视线的人总是很少。
在更长的日子里,愿小姐姐们不断成长,继续带给粉丝们惊喜哦!本期就到这里了,有啥想说的要告诉处座,欢迎留言!
▲长按图片,识别二维码进行打赏