视觉研究迎来王炸！AI+成像杀疯了！寒门学者将解决百年视觉难题！

近年来,光学成像技术已经由传统的强度、彩色成像发展进入计算光学成像时代，然而,计算成像系统的实际成像性能也同样极大程度地受限于“正向数学模型的准确性”以及“逆向重构算法的可靠性”,实际成像物理过程的不可预见性与高维病态逆问题求解的复杂性已成为这一领域进一步发展的瓶颈问题。而人工智能与深度学习技术的飞跃式发展为光学成像技术开启了一扇全新的大门，深度学习在光学成像领域的应用正日益成为研究的前沿。它能够通过神经网络优化图像重建、超分辨率成像、光学逆问题求解等任务。这些技术不仅提高了成像质量，还推动了光学系统设计的创新。深度学习在光学成像的应用领域非常广泛，包括但不限于：

超分辨率成像 ：通过深度学习技术提高图像的空间分辨率。

图像重建和去模糊 ：处理模糊图像或降噪，改善成像质量。

光学逆问题求解 ：利用神经网络处理复杂的光学逆问题，如光学成像系统中的反演。

自适应光学系统 ：利用深度学习调整光学系统的参数和配置，实现自适应成像。

计算成像 ：利用深度学习模型对光学成像过程进行优化和控制，实现更高效的成像方法。

医学成像 ：应用于MRI、CT扫描等医学图像的分析和重建。

遥感和地球观测 ：处理和分析遥感图像，提取地表特征和环境信息。

工业视觉 ：在自动化和质检领域中，利用深度学习技术进行视觉检测和分析。

这些应用展示了深度学习在改进成像质量、优化光学系统设计以及推动各种领域的创新应用中的潜力。

1.掌握深度学习算法的原理和应用，能够运用深度学习技术对光学成像系统进行创新设计和优化。

2.通过顶刊论文复现带着学员手把手操作，让学员详细的学会顶刊写作思路。

3.通过多个案例的讲解，让学员能够熟练的做自己的科研项目。

主讲老师来自国内光学成像顶尖高校，擅长计算机视觉与深度学习成像研究。近年来发表SCI论文10篇，授权四项发明专利。研究方向包括：图像处理与计算机视觉、深度学习方法、物理驱动的光学成像、跨模态成像研究等。

第一章：光学成像基础

第一节：绪论

1.什么是光学成像？

2.光学成像的发展

第二节：光学成像重要概念

1.分辨率

2.视场和景深

3.像差

第三节：成像质量评价指标

1.全参考评价

2.半参考评价

3.无参考评价

第四节：光学成像发展趋势

1.功能提升(相位、三维、穿透介质散射)

2.性能提升（分辨率、灵敏度、通量）

第二章：经典光学成像技术

第一节：高动态范围成像

1.动态范围的概念

2.合并多曝光图像生成HDR

3.色调映射

第二节：融合技术

1.可见光与红外成像机理

2.异源图像融合

3.图像融合质量评价

第三节：像素分辨率提升

1.离散采样理论

2.成像系统分辨率限制因素

图像超分辨技术

第三章 深度学习基础

第一节：深度学习相关基础知识，

1.了解python和pytorch的关系和联系

2.两大主流框架tensorflow和pytorch的介绍

3.了解深度学习工具，cuda和cudnn等

第二节：学习深度学习的代码环境

1.学习编译器pycharm的使用

2.了解python环境知识

3.使用anaconda配置虚拟环境并在pycharm中导入。

第三节：自己通过anaconda搭建环境

1.学习pip库的使用，使用pip下载库、卸载库以及更新库

2.搭建独立的环境，通过anaconda对每个环境进行管理，养成良好的编程习惯

第四节：理论知识部分

1.了解监督神经网络的基本原理

2.学习梯度下降算法和反向传播的思路。

第五节：卷积神经网络的基础讲解

1.让学员通过实例了解卷积的基础原理

2.如何通过卷积提取图片的特征（介绍minst手写数字的经典案例）

第四章 超分网络实战

第一节：讲解超分辨率神经网络

1.何为对偶监督网络

2.网络的结构是怎样的

第二节：引入DRN超分网络

1.了解drn对偶超分网络的论文大概

2.准备和制作数据集，参数的介绍

3.了解对偶监督网络的核心创新点

第三节：如何从零开开始复现一个网络

1.学习阅读代码中的readme文档

2.了解代码执行的核心思想

3.介绍如何通过终端执行命令

第五章：完整复现超分网络

第一节：环境准备

1.使用anaconda搭建drn网络的专属环境

2.激活环境，在pycharm中导入环境

3.如何根据报错解决环境问题

第二节：代码测试实战

1.介绍DRN网络中各文件夹的作用

2.如何通过DRN自带的pt文件进行测试

3.介绍option中不同参数会对网络测试和训练影响

第三节：代码训练实战

1.了解DF2K数据集的基本内容

2.如何训练一个网络

3.制作属于自己的数据集进行训练

深度学习已逐步深入多个光学技术领域，推动了诸多光学技术的发展。同时，航空航天观测、AR/VR 消费电子、手机摄影、超短焦投影仪等产业快速发展，对光学系统提出了更高、更复杂的设计需求。这些光学系统对性能的高要求，使得光学元件面形的复杂度相应提高。因此，传统的设计方法面临巨大挑战。深度学习具有强大的运算、数据演化和非线性逆问题求解能力，为更复杂的光学系统设计优化求解提供了新思路、新方法。随着对光学系统性能的要求越来越高，自由曲面、超构表面等新型光学元件的需求大大增加，为光学系统提供了更大的发展潜力和想象空间。早期的迭代优化和直接求解的光学设计方法不再适用，光学设计方法向更高难度的数学求解方向发展。得益于人工智能技术软硬件的发展，光学系统设计方法也跨入新的时代——人工智能光学设计时代。深度学习在光学设计中的应用领域包括但不限于以下几个方面：

自适应光学系统 ：利用深度学习优化光学系统的控制和调整，以适应不同环境条件和应用需求。

超分辨率成像： 通过深度学习技术提高光学成像系统的空间分辨率，改善图像质量。

计算成像 ：利用深度学习模型优化光学成像过程，如通过学习复杂光学逆问题求解来改善成像结果。

光学元件设计 ：使用深度学习进行光学元件的优化设计，例如透镜、棱镜和光学滤波器等。

自动化光学系统 ：在自动化和智能控制方面，利用深度学习技术实现光学系统的自动调节和优化。

光学成像算法 ：开发和优化基于深度学习的成像算法，以实现更高效、更精确的光学成像和分析。

这些应用领域展示了深度学习在光学设计中的潜力，能够推动现有光学技术的进步，同时探索新的应用和解决方案。

1.学习光学的几何原理、电磁理论，熟悉光学成像系统的评价标准。了解传统光学设计数值算法和参数优化法。

2.了解深度学习在可见光成像系统相比于传统光学设计方面的优势，学会使用深度学习光学设计完成简单光学系统的搭建、光学系统的优化、光学系统的配光等。

3.熟悉深度学习的算法和框架，能够运用深度学习技术对超材料的光学性能进行预测、优化和控制。

4.了解深度学习光学设计在光纤控束等领域的发展现状，启发创新性思维，推动光学设计向更加智能化和自适应的方向发展。

5.在未来，深度学习在光学设计方面有望更加深入，利用深度学习解决非线性关系问题的优势，结合调制传递函数、光学像差、偏振像差等光学系统评价标准，实现从初始结构的设计到特定的光学系统优化设计，甚至利用深度学习在图像处理等方面的发展，可能做到从光学系统设计、光学系统成像、图像处理和分析整个过程的学习优化。

6.随着光学设计在各个领域的广泛应用，深度学习光学设计人才也将面临更加广阔的职业发展空间。他们可以在光通信、生物医学、智能制造、机器视觉等领域发挥重要作用，为相关产业的发展和创新做出积极贡献。

主讲老师来自某世界QS前50高校的一国内外知名大组，一年内个人发表JCR SCI 1区论文4篇，团队在Nature, Science, Nature photonics, Nature communications, Physical Reviews Letter 等发表过多篇文章。

第一天

第一节 深度学习与光学设计

1.1.光学设计概述

1.2.深度学习在光学系统的应用

1.3.深度学习在光子器件的应用

1.4.深度学习光学设计的优势

1.5.深度学习光学设计的发展趋势与挑战

1.6.关于超表面

1.7.前沿设计与综合应用简述

图：Timeline of artificial intelligence and related optical and photonic implementations [Nature, 588, 39–47 (2020)].

第二节 光学基础

2.1 几何光学基本定理

2.1.1 几何光学原理

2.1.2 光在介质中的传播

2.2 光的电磁理论基础

2.2.1 自由空间麦克斯韦方程组

2.2.2 平面电磁波及其性质

2.2.3 球面波和柱面波

2.2.4 光波的辐射和辐射能

2.2.5 光在电介质分界面上的反射和折射

2.2.6 光在金属表面的反射和透射

2.2.7 光的吸收、色散和散射

2.2.8 波的叠加原理

2.3 成像的基本概念

2.4 光学系统的像质评价

2.4.1 瑞利判据

2.4.2 中心点亮度和能量包容图

2.4.3 分辨率与点扩散函数

2.4.4 星点检测法

2.4.5 光学传递函数

第三节 仿真软件设计辅助软件

3.1 Zemax 软件

3.2 Zemax 软件的界面

3.3 Zemax 软件的基本操作

3.4 应用实例

第二天

第一节 深度学习基础

1.1 机器学习

1.1.1 日常生活中的机器学习

1.1.2 机器学习中的关键组件

1.1.3 各种机器学习问题

1.1.4 深度学习

1.2 深度学习环境的搭建

1.2.1 Anaconda 安装

1.2.2 TensorFlow框架

1.3 Python 常见的数据结构与数据类型

1.4 TensorFlow的基本操作

1.4.1 数据操作

1.4.2 数据预处理

1.4.3 线性代数

1.4.4 自动微分

1.4.5 概率

第二节 深度神经网络模型

2.1 线性神经网络实例

2.1.1 线性回归

2.1.2 softmax 回归

2.2 多层感知机实例

2.2.1 多层感知机

2.2.2 模型选择、欠拟合和过拟合

2.2.3 权重衰减

2.2.4 暂退法（Dropout）

2.3 卷积神经网络实例

2.3.1 从全连接层到卷积

2.3.2 多输入多输出通道

2.3.3 汇聚层

2.3.4 卷积神经网络（LeNet）

2.4 循环神经网络实例

2.4.1 序列模型

2.4.2 语言模型和数据集

2.4.3 循环神经网络

2.5 生成对抗网络实例

2.5.1 概率生成模型

2.5.2 变分自编码器

2.5.3 生成对抗网络

2.6 基于注意力机制的 Transformer 架构

2.6.1 注意力机制

2.6.2 自注意力机制

2.6.3 Transformer

第三天

第一节 监督学习过程

1.1 DNN 模型介绍

1.2 自归一化神经网络参数初始化方法

1.3 SELU 函数及使用

1.4 Softplus 函数及使用

1.5 其他激活函数

1.6 最邻近搜索算法

1.7 监督损失函数的构建

第二节 半监督学习过程

3.1 超参数设置

3.2 监督函数

3.3 模型可靠性的讨论与验证

第四天 全光衍射神经网络

第一节 标量衍射理论基础

1.1 惠更斯-菲涅耳原理

1.2 广义斯涅尔定律

第二节 光学衍射 深度神经网络

2.1 人工神经网络结构

2.2 光学衍射深度神经网络

2.3 空间域光学衍射深度神经网络

2.3.1 网络设计方案

2.3.2 网络训练

2.3.3 网络性能分析

2.4 频率域光学衍射深度神经网络

2.4.1 光学衍射深度神经网络的局限性

2.4.2 频率域光学衍射深度神经网络

2.4.3 网络性能分析

图：All-optical machine learning using diffractive deep neural networks [Science, 361, 1004–1008 (2018)].

第五天

全光衍射神经网络

第一节 超材料

1.1 超材料概述

1.2超材料在光场调控中的作用

1.3数值计算案例

1.3.1 光子晶体带隙分析

1.3.2 频率选择表面周期性互补开口谐振环

1.3.3 超表面光束偏折器

1.4 超材料在量子光学中的研究与应用

1.4.1 超表面聚焦

1.4.2 超材料成像

1.4.3 波极化控制

图：Reconfigurable image processing metasurfaces with phase-change materials [Nat. Commun., 15, 4483 (2024)].

1.5超材料设计与仿真实现

1.5.1 简单设计一种超材料

1.5.2 仿真验证其性能

第二节 深度学习超材料实例

2.1 神经网络网络模型进行逆向设计

2.4基于深度学习的宽带消色差透镜设计

图：Frequency-Controlled Focusing Using Achromatic Metasurface [Adv. Optical Mater., 9, 2001311 (2021)].

图：Metasurface-empowered snapshot hyperspectral imaging with convex/deep (CODE) small-data learning theory [Nat. commun., 14, 6979 (2023) ]

图：Multiplexed supercell metasurface design and optimization with tandem residual networks [Nanophotonics, 10, 1133–1143, (2021)]