据中国激光杂志社网，于2024年03月01日报道，美国哥伦比亚大学的研究人员开发了一种独特的方法来表示大脑成像数据，方法是将其转换为具有动态色彩和相应音乐的电影。这种视听效果通过宽视场光学映射和扫描共聚焦对准平面激发显微镜进行演示，可以提供一种更直观的方法来深入了解复杂的神经科学数据集。

        体内脑成像技术包括宽视场光学映射、双光子激发显微镜和光片荧光显微镜等光学方法，以及功能磁共振成像等非光学方法。这两种类型都会产生大量的多维数据，这些数据可能很难筛选并与行为记录相匹配。

        David Thibodeaux和他在哥伦比亚大学的同事决定在传统的大脑活动视频记录中添加音频组件，让研究人员可以选择“收听”他们的数据集，同时并行查看行为记录。该开源工具包可作为基于 Python 的图形用户界面使用，称为 PyAnthem。

      “由于人耳非常擅长处理音乐或语音中的实时模式，我们认为这将是呈现此类实时数据集的好方法，”Thibodeaux说，他现在在美国尼康仪器公司工作。“听到数据的同时，也看到它的各个组成部分被激活为单独的颜色，这确实有助于提高我们对这种快速变化的活动的一般理解。

        视听工作流程包括四个步骤。首先，数据表示为时间和空间分量的线性组合。然后，通过使用基于颜色的混音组合时间和空间组件来创建视频。接下来，仅从时间分量生成音频流，方法是直接根据信号幅度修改纯波形，或者将时程转换为MIDI数据。最后，将同步的音频和视频流合并到组合的影片中。

        例如，研究人员从先前记录的实时3D SCAPE显微镜数据开始，这些数据捕获了清醒小鼠体感皮层中放电的神经元。他们将神经元事件转换为MIDI格式，并将不同的神经事件表示为打击乐钢琴音符。

        另一个演示使用了清醒小鼠背侧神经活动和血液动力学的宽场光学映射数据。他们将数据集转换为具有相应音频流的复合电影，其中较快的神经数据编码为钢琴音符，较慢的血流动力学波动编码为小提琴声音。

     “这种方法主要用于筛选和呈现难以通过其他方式显示的数据 - 特别是当需要同时查看多个变量时，例如我们案例中的神经活动和血流，”Thibodeaux说。“我们希望看到的下一步是其他人使用这种方法来创建其数据集的视听效果。