CUED-RNNLM -- An Open-Source Toolkit for Efficient Training and Evaluation of Recurrent Neural Network Language Models 简评:剑桥大学开源CUED-RNNLM工具箱-实现递归神经网络语言模型的高效GPU训练和CPU预测。
TVM: An End to End IR Stack for Deploying the Deep Learning Workloads to Hardwares | DMLC 简评:TVM可以把模型部署到不同硬件(移动端CPU、AMD GPU、FPGA等物联网设备),TVM提供中间层解决端到端解决方案把深度学习模型分发到各种硬件设备。
A list of chips and IPs for Deep Learning and Machine Learning, mostly industry and commercial products or projects | Shan Tang 简评:深度学习/机器学习处理器大列表,从工业使用到商用芯片。
NVIDIA Deep Learning SDK Update for Volta Now Available | NVIDIA Developer News Center 简评:Volta架构深度学习SDK,cuDNN7比TeslaP100在ResNet50快2.5倍等新特性。
DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices | D Li, X Wang, D Kong Samsung Research America (2017) 简评:三星评估了网络inference的时间花费主要在非张量层,通过横纵向地压缩网络(对竖直方向上连续非张量层的合并以及水平方向上多通道的合并和某些层的舍弃)来对网络减肥,达到有限准确率损失下加速网络的目的。
[1708.03888] Scaling SGD Batch Size to 32K for ImageNet Training 简评:作者提出(基于网络权重和权重更新量)逐层定制不同的学习率(LARS)来训练网络,用AlexNet网络,试验了bsize从128到8192这些不同情况下,训练达到相似的准确率。作者使用比较老的AlexNet发现加了BN效果喜人,毕竟AlexNet等大网络没BN的话loss难收敛。
[1704.08063] SphereFace: Deep Hypersphere Embedding for Face Recognition [code] [Demo] 简评:SphereFace自去年提交MegaFace Challenge后,在小数据集(少于50W的训练数据)上一直保持verification performance第一。相比传统softmax在MegaFace上的Verification TAR提高了24.1%(从65.9%到90%),在LFW上single model达到99.42%的Accuracy,论文发表在今年的CVPR 2017。除了face recognition,还提供了一整套从detection到alignment再到recognition的demo。
Efficient Use of Limited-Memory Resources to Accelerate Linear Learning | C Dünner, T Parnell, M Jaggi, IBM Research - Zurich & EPFL (2017) 简评:作者提出一种在异构计算平台加速机器学习训练的通用方法,当训练数据超过内存时,可以自适应地根据现有内存的大小和处理速度做调整。该方法基于对偶坐标方法(primal-dual coordinate methods),并使用对偶间隙信息(duality gap information)动态地选择数据做更快的处理。作者以线性模型为例展示了该方法比现有方法的优越性。
FaceBoxes: A CPU Real-time Face Detector with High Accuracy | S Zhang, X Zhu, Z Lei, H Shi, X Wang, S Z. Li, Chinese Academy of Sciences (2017) 简评:为解决CPU上实时检测人脸的难题,作者提出一种新的人脸检测架构FacesBoxes,保证速度的同时兼顾准确率。该架构基于两种层:快速抽象卷积层(RDCL)和多尺度卷积层(MSCL),前者使FacesBoxes在CPU上达到实时,后者在不同层上解决人脸尺度不同的带来的感受野大小等问题。
开源项目
ncnn-mobile: use ncnn in Android(Android Studio) and iOS 简评:在安卓和iOS平台使用ncnn跑SqueezeNet来构建你的AI APP(包含安卓和iOS项目代码)!
efanna: fast library for ANN search and KNN graph construction [paper] 简评:C++超快近似最近邻(ANN)搜索算法库。
Dockerface: an easy to install and use Faster R-CNN face detector in a Docker container | N Ruiz, J M. Rehg, Georgia Institute of Technology (2017) [paper] 简评:用Docker来构建你的人脸检测器吧!
chainer-pspnet: PSPNet in Chainer 简评:用金字塔场景解析网络(PSPNet)来做场景分割。
NVCaffe(NVIDIA Caffe): NVIDIA-maintained fork of BVLC Caffe tuned for NVIDIA GPUs, particularly in multi-GPU configurations 简评:对GPU多卡做了调整优化的NVIDIA Caffe。