大家好！今天来了解一篇《Moculus: an immersive virtual reality system for mice incorporating stereo vision》发表于《nature methods》的研究。在视觉学习机制研究领域一直是备受关注的焦点。然而，当前的研究面临诸多挑战，如传统VR系统在呈现3D环境时的局限性，以及视觉学习研究中结果的不确定性。该项研究，开发了一款名为 Moculus 的创新系统，它为小鼠实验提供了沉浸式的3D虚拟现实环境。
*
本文只做阅读笔记分享
*
一、研究背景与问题提出
1、视觉学习研究现状及挑战
在神经科学领域，视觉学习一直是研究热点。过往研究表明，视觉皮层的活动会受到多种因素影响，如行为状态、运动、视觉流等。在视觉学习任务中，不同研究结果存在差异，部分研究发现视觉辨别任务能增加对奖励光栅响应的神经元数量，而其他研究则未观察到明显变化，甚至出现抑制现象。这些差异可能源于神经元连接、表征稀疏性、调谐锐度、学习阶段、表征稳定性、反应可变性或学习后网络空间分布变化等因素。此外，传统训练方案通常需要较长时间，而在这期间，传感器表达水平等因素可能改变，影响实验结果。同时，初级视觉皮层（V1）的表征在短时间内相对稳定，但在数天内会发生漂移和波动，干扰学习效果的直接测量。
2、现有VR系统在神经科学研究中的局限性
当前神经科学研究中使用的VR系统，主要依赖虚拟走廊的2D投影。例如，早期啮齿动物VR系统使用平面显示器和预定义的光流，后来的系统虽有改进，但仍存在问题。这些系统在将3D虚拟空间呈现给小鼠时，都是先将其投影到2D平面，再显示在二维屏幕上，缺乏立体视觉，无法为小鼠提供真实的深度感知。对于人类而言，凭借高抽象计算能力可以在2D和3D表示之间切换，但对于啮齿动物来说，从2D图像重建3D环境是一项挑战，这可能导致小鼠对虚拟环境的理解和感知存在偏差，影响实验结果的准确性和有效性。
二、Moculus系统设计与实现
1、光学机械设计
1.1 光学组件设计
为了给小鼠提供高质量、全视野覆盖且像差可忽略的视觉体验，研究团队结合成年Bl6小鼠眼的光学模型，运用多种投影光学元件进行设计。他们在ZEMAX模型中进行详细光学建模与参数优化，最终确定了由定制透镜和衍射移相器组成的光学组件（Moculus-S）。该定制透镜由N-BK7玻璃制成，厚度为1.5mm，曲率半径分别为1.9mm和4.26mm，移相器的径向位移优化至第五系数，以确保光学性能。同时，还开发了简化版Moculus-XL，并通过对不同投影光学元件在小鼠眼模型视网膜上的像差计算，包括色差、球差、切向场曲率和点扩散函数等方面的比较，确定了满足要求的光学组件。
1.2 机械结构设计
考虑到VR系统需适应不同小鼠个体差异且不干扰行为，采用生成式设计。首先利用高分辨率3D扫描获取小鼠身体的广义解剖模型，结合记录设备几何形状和小鼠解剖结构，通过迭代减少碰撞，设计出对称安装系统。该系统的机械臂提供五个自由度，可实现垂直和水平移动，旋转关节用于固定投影光学和显示器的外壳，如Moculus-S和Moculus-XL。为确保准确性，使用校准设备测量和校正眼睛相关误差，通过视网膜成像验证Z聚焦，保证光学系统与小鼠眼睛的精确对准。
1.3 畸变校正与光学验证
由于Moculus系统的光学系统具有大视野、弯曲视网膜和小尺寸等特点，会产生严重的枕形畸变，且无法仅通过光学设计校正。研究团队采用Brown-Conrady模型进行畸变校正，该模型在计算机视觉领域广泛应用，可实现实时像素级校正。具体而言，通过调整渲染图像来抵消透镜畸变，校正后的图像通过光追计算在Moculus显示器上显示并投影到视网膜上，自然图像显示出高成像质量。为验证光学模型，研究团队进行了前向和后向图像投影实验，前向实验中，通过在Moculus显示器上呈现漂移的条纹和网格，观察其在离体小鼠眼视网膜上的投影，确保视野、聚焦平面、图像质量和畸变与光学模拟一致；后向实验则通过在体实验，利用绿色LED背照并在显示器平面检测投影，进一步验证了光学系统的性能，确保其能在视网膜上产生清晰聚焦的图像。
2、虚拟环境、渲染与沉浸感验证
2.1 虚拟环境创建
利用Unity3D游戏引擎创建丰富多样的VR环境，包括3D迷宫、走廊、深渊、带有不同图案（如网格和条纹）的墙壁以及3D物体。这些元素共同增强了立体视觉、深度感知和沉浸感，使小鼠在虚拟环境中的体验更加真实。在虚拟环境中，虚拟鼠标（Moculus角色）根据其在跑步机上的运动在空间中导航，左右显示器从其视点渲染图像，同时VR平台与成像系统、舔舐端口、跑步机等外设通信，实现数据交互，运动数据则通过带光学编码器的跑步机记录。
2.2 沉浸感测试
为测试Moculus系统的沉浸感，研究团队进行了深渊测试。在测试中，小鼠在虚拟线性迷宫中奔跑，当到达迷宫尽头的虚拟悬崖（深渊）时，需要停止以避免“坠落”。实验结果显示，Moculus组小鼠在接近深渊边缘时速度显著降低，部分小鼠甚至会后退，表明它们感知到了深度并做出了相应反应，成功避免了虚拟危险。而使用单或双显示器的对照组小鼠，速度未明显降低，甚至出现短暂加速，缺乏对深度的恐惧反应。此外，添加3D物体进一步增强了Moculus的3D视觉和深度感知效果，使小鼠更能感受到虚拟环境的真实性。
3、Moculus系统在视觉学习中的应用与效果
3.1 与3D显微镜结合的视觉学习
将Moculus与跑步机和3DAO双光子显微镜相结合，搭建了一套先进的视觉学习研究平台。在实验中，小鼠在虚拟走廊中导航，走廊墙壁的自然灰度图案被随机打断，插入不同方向（0°、45°和135°）的2D光栅图案区域，其中0°区域与厌恶刺激（气吹）相关。若小鼠在3.5秒内未逃离该区域，将受到气吹刺激，随机传送到厌恶区域确保了决策时间间隔。通过这种方式，研究人员能够在小鼠进行视觉学习任务的同时，利用3DAO双光子显微镜对其神经元活动进行高时空分辨率和高信噪比的成像记录，避免了传统2D激光显微镜因传感器浓度变化或网络活动日常重排等因素造成的实验误差。
实验结果表明，小鼠在训练初期（0-10分钟），对控制和强化相关线索的运行速度和神经元反应均有所增加，但此时它们无法区分不同方向的光栅，表明小鼠开始处理视觉信息但尚未具备辨别能力。随着训练进行，约30分钟后，小鼠在厌恶区域的神经元反应变得更强、更早，行为速度也相应增加，表明厌恶线索表征逐渐占主导地位。最终，在学习后期，编码组件变得更加明显，强化相关线索在竞争中占据主导，而控制线索表征变得稀疏，反映出“赢家通吃”的动态过程。例如，通过对神经元响应的分析发现，学习后厌恶区域的神经元活动增强，且与行为变化密切相关，这表明Moculus系统能够有效促进小鼠的视觉学习，并在短时间内实现对视觉线索的辨别和表征变化。
3.2 基于3D物体的视觉学习
为进一步探索更自然的视觉学习方式，研究团队在VR环境中引入3D物体并采用正强化机制。在奖励区域设置两个奖励位置，其中第二个奖励在区域末端持续提供，而第一个奖励仅在小鼠在第二个奖励位置前开始舔舐时给予。通过这种方式，训练小鼠将特定视觉特征与水奖励相关联，提高其学习积极性。在实验过程中，小鼠在无限虚拟走廊中奔跑，根据不同区域的视觉线索和奖励设置进行学习，同时记录其位置、速度和舔舐率等数据。
实验结果显示，小鼠在引入3D物体的视觉学习任务中表现出快速学习能力。在20-40分钟内，小鼠学会了定位奖励区域，其学习速度比经典监测系统快288-432倍（Moculus系统20分钟，2D监测系统4-6天）。例如，通过对舔舐率的分析发现，在训练早期，小鼠的预期舔舐率迅速增加，并在后续实验中保持稳定，表明它们能够快速学会识别奖励区域的视觉线索。此外，在真实3D虚拟走廊中添加带光栅图案的奖励和控制区域后，小鼠在20-30分钟训练后，奖励区域的预期舔舐率显著高于控制区域，视觉辨别学习速度比经典监测系统快144-288倍以上，且学习效果在多天实验中保持稳定。这表明3D物体的引入和Moculus系统的使用极大地加速了小鼠的视觉学习过程，为研究视觉学习机制提供了更高效的实验范式。
4、视觉学习中的神经机制探究
4.1 快速学习中的神经元活动变化
在Moculus系统支持的快速视觉学习过程中，神经元活动呈现出特定的变化规律。学习初期，无论是控制相关线索还是强化相关线索，都能引起小鼠的注意，导致其运行速度和神经元反应增加，但此时小鼠无法区分不同光栅，表明其对视觉信息的处理尚处于初步阶段。随着学习的深入，约30分钟后，情况发生显著变化，厌恶线索表征逐渐占据主导地位，表现为厌恶区域的神经元反应变得更强、更早，这与行为上速度的增加相呼应。例如，从神经元响应的平均幅值可以看出，厌恶区域的神经元活动在学习后期明显增强，且这种增强与行为速度的提升密切相关，表明神经元活动的变化与视觉学习过程中的行为表现紧密耦合，共同反映了视觉学习的进程。
4.2 神经元编码的竞争与合作
在视觉辨别任务中，研究发现几乎所有神经元都被激活，参与到控制和厌恶区域的编码中。然而，尽管两个区域的编码存在重叠，但它们之间也存在竞争关系。例如，通过对神经元响应的分析发现，在学习后，控制和厌恶区域的神经元活动虽然都有所增强，但厌恶区域的响应变得更为显著，表明在信息编码过程中，不同区域的神经元集合在共同参与的同时，也在竞争对行为相关信息的主导编码权，以实现对视觉线索的有效区分和行为决策。
研究还发现，神经元形成了以hub细胞为中心的空间簇。这些hub细胞具有独特的特性，它们的响应更早、幅值更高，且功能连接更强。例如，通过对神经元活动的时空分析发现，hub细胞在空间上形成聚类，其平均响应能够反映群体活动的趋势，表明它们在神经元网络中起到了关键的信息整合和传递作用。同时，尽管控制和厌恶区域的神经元活动存在相关性，但同一细胞在控制区域的响应波动较大，这表明编码本身具有一定的正交性，即不同区域的神经元编码在一定程度上相互独立，这种正交性有助于提高视觉信息处理的效率和准确性。
4.3 强化与学习的相关性
在视觉学习过程中，强化信号与单个神经元的学习密切相关。研究人员通过分析发现，在学习初期，神经元接收到的强化信号强度与约30分钟后的学习相关反应呈正相关。具体而言，强化信号较强的神经元（“好的学习者”）在后期表现出更高的学习相关响应，而强化信号较弱的神经元（“差的学习者”）则响应较低。这表明强化信号在单个神经元水平上对学习过程具有重要的调节作用，能够影响神经元对视觉信息的编码和处理能力，进而影响视觉学习的效果。
