《基于深度学习的计算机视觉》第一期
张宗健 悉尼科技大学 计算机视觉博士:
曾任职澳大利亚联邦科学与工业研究院(CSIRO )研究工程师,Vancl技术中心研究院图像研发工程师,研究领域为计算机视觉,具体涉及:图像场景理解、图像语言问题、深度神经网络、图像检索、Human ReID、数据分析及预测、信号模式识别等。
1. 基本理解计算机视觉中针对图像的重要研究问题。由浅及深得讲解图像的存储、预处理、特征提取、以及学术界和工业界中的主要应用问题。
2. 重点介绍深度学习的神经网络(DNN)模型在计算机视觉领域的应用。具体涉及在计算机视觉领域如何应用卷积神经网络(CNN)、区域卷积网络(R-CNN)、全卷积网络(FCN)、长短时记忆网络(LSTM)、生成对抗网络(GAN)等解决图像应用的难点。
3. 课程将使用Python语言及深度网络框架Tensorflow进行案例实践教学。
1. 循序渐进得学习计算机视觉中的一些重要研究问题
2. 学习不同深度神经网络(DNN)模型在计算机视觉的成功应用
3. 了解DNN的设计及改进思路
4. 学习深度学习框架Tensorflow的基本使用
2017年5月12日,共10次,每次2小时
在线直播,共10次
每周2次(周一、周五晚20:00-22:00)
直播后提供录制回放视频
可在线反复观看,有效期1年
第一讲 课题介绍/Introduction
1. 主要研究问题
2. 开源库介绍(OpenCV,Caffe,Theano,Tensorflow,Torch等)
3. 应用案例:基于Python语言的OpenCV库配置
第二讲 图像数据处理/Image Data Processing
1. 空域分析及变换(Sobel,拉普拉斯,高斯,中值等)
2. 频域分析及变换(Fourier & Wavelet Transform)
3. 模板匹配,金字塔,滤波器组
4. 主成分分析/PCA,奇异值分解/SVD,聚类/Cluster
5. 应用案例:人脸检测方法——基于OpenCV库
第三讲 图像特征与描述/Image Feature & Descriptor
1. 颜色特征(RBG,HSV,Lab等)
2. 几何特征(Edge,Corner,Blob等)
3. 纹理特征(HOG,LBP,Gabor等)
4. 局部特征(SIFT,SURF,FAST等)
5. 应用案例:虚拟现实的图像拼接(Image Stitching)
第四讲 图像识别之图像分类/Image Classification
1. 卷积神经网络介绍/CNN(AlexNet, VGG, GoogLeNet, ResNet)
2. 图片分类/Image Classification
3. 场景分类/Scene Classification
4. ILSVRC(Imagenet Large Scale Visual Recognition Challenge )竞赛之分类问题
5. 应用案例:图片分类之残差神经网络ResNet
第五讲 图像识别之图像检测/Image Detection
1. 区域卷积神经网络/R-CNN(SPPnet,Fast/Faster R-CNN,R-FCN)
2. 物体检测/object detection & localization
3. 行人检测/pedestrian detection
4. 人脸检测/face detection
5. ILSVRC竞赛之物体检测及定位问题
6. 应用案例:人脸检测的Faster R-CNN应用(快速版区域卷积神经网络)
第六讲 图像分割/Image Segmentation
1. 显著性检测/Saliency Detection
2. 物体分割/Object Segmentation(GraphCut,GrabCut等)
3. 语义分割/Semantic Segmentation(FCN,CRF/MRF)
4. PASCAL VOC竞赛介绍
5. 应用案例: 自动驾驶场景图片的语义分割——全卷积网络DeepLab
第七讲 图像描述(图说)/Image Captioning
1. 深度语言模型介绍(Vanilla-RNN,LSTM,GRU)
2. LSTM原理解析
3. 图说模型原理与结构
4. 大数据集介绍(MSCOCO,Flickr8K,Flickr30k)
5. 应用案例:图说智能(图像标注)的应用——Show and Tell
第八讲 图像问答/Image Question Answering
1. 与图像描述的区别
2. 大数据集介绍(VQA,Visual Genome)
3. 图像问答模型原理及结构
4. 模型增强:注意力机制及外部知识库
5. 应用案例:图像智能问答的应用模型堆栈注意网络Stacked Attention Networks(SANs)
第九讲 图像生成/Image Generation
1. 对抗生成网络(GAN)
2. GAN在图像生成中的应用(图片分布学习、以文生图)
3. GAN在传统问题中的应用(超分辨、语义分割)
4. 应用实例:图像复原的超分辨(SRGAN)模型应用
第十讲 图像检索/Content-based Image Retrieval
1. 检索特征(颜色,纹理,形状,局部特征,Bag of Visual Words)
2. 特征相似度
3.大数据集下的索引加速技术(KD-tree,Locality Sensitive Hash)
4. 双向检索技术(以图搜图&以文搜图)
5. 应用案例:图像检索之开源库Lire (Lucence Image Retrieval)的应用