PNAS:大脑怎样整合多感官模态疑息,举行果果推测?

2022-11-16 13:09:45 作者:承诺是⑦彩泡泡,一触即破
导读:PNAS:大脑如何整合多感官模态信息,进行因果推断?,导语在静止的车厢里看到相邻轨道上的列车开动,我们会产生一种错觉,好像是自己在动。之所以产生错觉,是因为视觉系统“看到”了运动,但...



导语


在静止的车厢里看到相邻轨道上的列车开动,我们会孕育发生一种错觉,犹如是本身在动。之以是孕育发生错觉,是由于视觉体系“看到”了活动,但前庭信号却表现我们是静止的。大脑要怎样整合这些差别泉源的信号,并作出公道推测?


电生理记载表现,大脑神经元会编码前庭活动和视觉活动线索的组合,有些在活动偏向同等时相应,有些在活动偏向相反时相应。本年8月颁发在 PNAS 上的一项最新研究通过练习神经网络模子证明,这两种范例神经元之间的衡量决定了视觉线索和前庭线索应该整合照旧分散,从而关心大脑举行因果推测。


研究范畴:因果推测,多感官整合,人工神经网络

Stephanie Badde, Fangfang Hong, Michael S. Landy | 作者

十三维 | 译者

梁金 | 审校

邓一雪 | 编辑





1. 大脑怎样举行因果推测?


一只厌烦的蚊子连续烦扰着你,你预备拍打它。你看到它在你的手臂上回旋,觉得到痒的地方却在阁下(图1A)。这时应该打那边?数学上的最优办理方案是,对视觉和触觉指示的位置取均匀,并对更可靠、每每偏差更小的信号赐与更大加权。大量文献评释,对付大多数模态立室和知觉使命,人类举动切合这种感官整合的最佳处置惩罚规律[1-4]。


然而,假如视觉和触觉所指示的位置非常差别,那么痒感大概是因为另一个缘故原由引起的,如旧蚊虫的叮咬(图1B)。在这种情形下,对差别觉得信号做区隔,好比纰漏触觉,在视觉指示的位置拍打就更故意义。实行这一决定必要举行「因果推测」(causal inference),即推测两个觉得信号是来自一个配合泉源照旧独立的泉源。人类[5,6]和山公[7,8]的举动就像在做因果推测一样,他们不会整合不太大概来自统一泉源的信号。是以一个具有挑衅性的题目是,觉得线索整合和因果推测是怎样在大脑中实现的?



图1. 多感官整合和因果推测。(A)当推测出一个配合缘故原由时,视觉和触觉的觉得信号被整合;(B)当推测出单独的泉源时,利用分散的视觉信号。(C)在跨模态下指向偏向同等的神经元具有相似的调谐;(D)异向神经元的首选偏向在差别模态下有所差别。这两种范例的神经元对(E)自我活动和(F)天下活动的估量,以及(G)因果推测推断都有奉献,但水平差别。(H)在贝叶斯估量中,整合的和分散的估量被联合起来,其权重即是每种因果情形的概率。



2. 多感官信号怎么整合?


本年8月《美国国度科学院院刊》PNAS颁发的一篇论文中,Rideaux 等人[9]展示了差别范例的神经元之间的相互作用是怎样完成最佳整合和因果推测推断的。在多感官感知下,他们模仿了一个一向令人狐疑但也颠末了充实研究的案例:视觉和自我活动的前庭信号。这些信号在包罗背侧内颞上脑区(MSTd)和顶内沟腹侧区(VIP)的大脑地区汇聚。这些地区的神经元通常依据偏向举行调解,即当感官线索指示某个特定偏向时,相应神经元引发次数最多,信号偏向与其首选偏向差别越大,引发则越少。


很多从两种模态吸收输入*的神经元都是同调神经元(congruent neurons):它们对这两种模态有相似的调谐(图1C)。是以,同调神经元彷佛注定要举行多感官整合(multisensory integration)[10,11]。但惊奇的是,MSTd 和 VIP 中的很多别的神经元是异向神经元(图1D),它们对指示相反偏向的视觉和前庭信息举行调谐,比方,视觉刺引发出的向右活动和前庭的向左活动信号[10,12]。当觉得信号来自差别泉源时,异向神经元彷佛同样有非常得当的方法举行检测。云云一来,同调和异向神经元的协作就大概使大脑举行因果推测[10,13]。


但直接查验这一假设必要同时记载 MSTd 和 VIP 中的同调和异向神经元,以及它们所投射的神经元,这是一项险些不行能的使命。不外,人工神经网络的构建可以轻松检测神经元在差别脑域的互联举动。

*译注:大脑中某些神经细胞会对视觉、听觉和躯体觉得刺激同时起反响。普通有 50%的细胞是单通道的,但是有凌驾 20% 的细胞是双通道或三通道的,可以担当多感官模态信息输入。



3. 人工神经网络模仿


Rideaux等人[9]对这个题目接纳了一个格外聪慧的要领。他们没有构建一个由手工调谐的同调和异向神经元层组成的人工神经网络,而是练习了一个无束缚(unconstrained)的人工神经网络,来实行因果推测推断及对自我和天下的活动估量,然后查抄了多感官神经元的调谐和毗连。这个多层前馈网络有两组输入:视觉和前庭。视觉输入是天然图像的小引列,以差别速率向四个偏向变更(左-右、上-下、朝向-阔别和视线扭转)前庭输入来自沿着这四个轴调解的单元的速率,并略微受到噪声的滋扰。


对付每个活动偏向,神经网络输出的神经元分别确定活动速率(练习为立室前庭和视觉输入速率的均匀值;图1E)、天下活动速率(练习为立室两个输入速率之差;图1F),并举行配合泉源推断(练习为立室两个输入速率之差是大是小的二元分类;图1G)。值得细致的是,对天下活动估量使命的多感官整合与别的范畴差别,后者的整合通常与区隔形成对立,比方仅依靠一种模态(比力图1A和B)。是以后续会带来一个有味的题目,即该网络将怎样推广到对空间、时间或别的特性的多感官知觉的模仿中。


该论文的重要奉献是,颠末乐成练习后,该网络进展出了与猕猴 MSTd 和 VIP 中同调和异向雷同特性的神经元。更详细而言,在网络的「MSTd」层中,神经元对指示偏向有清楚的调谐(偏向沿着左-右或前-后轴速率盘算),大多数神经元要么具有同等的视觉和前庭调谐,要么对这两种模态体现出相反活动偏向的调谐。这两种范例的神经元都为因果推测推断提供了紧张的输入,证明了最初的假设,即同调和异向神经元之间的衡量对付推测两个信号是否来自统一泉源至关紧张。


至于该网络的活动速率感知,同调细胞为自我活动估量提供了更强的输入,异向细胞则为天下活动估量提供了更强的输入。这两种范例的神经元也都能对另一种知觉估量做出奉献,只不外水平较小。先前带有手工调谐的同调和异向神经元的盘算模子已经证明,这种网络可以或许实行因果推测[13,14],不外,没这些特性的人工神经网络亦云云[15]。与这些自上而下的要领相反,Rideaux等人[9]评释,同时举行知觉和因果推测推断的要求促使了同调和异向神经元的进展,评释这种神经基质(neural substrate)是盘算的最佳方案。



图2. 人工神经网络中的视觉和前庭信号输入,在经MSTd层三种差别方法解码后,分别输出对自我、场景和因果推测的估量


该网络在感知使命中的体现实质上反应了人类和山公在偏向鉴别使命中的举动[11]。乐成练习后,该网络具有较小的视觉和前庭活动输入的跨模态差别。这些测试中的视觉刺激被变动为一组移动点集,其可靠性通过转变向统一偏向移动的点的比例来利用。网络则依据其可靠性整合视觉和前庭输入:假如视觉输入可靠性较低,自我活动估量与前庭输入更同等;假如视觉输入可靠性较高,自我活动估量则与视觉输入更同等。值得细致的是,在练习时期,自我活动估量得到了增强,以立室50-50的均匀视觉和前庭信号,这就提出了一个题目,即实行可靠性加权整合的本领是来自对几项使命的团结练习,照旧因为网络架构。


当网络推测出单独的缘故原由时,视觉输入对自我活动估量的影响要比推测出两个信号的配合泉源时低。假如一种模态输入是有噪声的,即雷同的刺激导致差别试验的内部丈量略有差别,这种跨模态方向的差别会主动显现[6]。然而以现在的情势,该网络还无法重现因果推测的以下举动特性:当信号更纷歧致,即不太大概从统一泉源显现时,跨模态的毛病为何会淘汰。


鉴于该模子是严厉的前馈,因果推测及自我和天下的活动估量有单独的输出,该模子基础不克不及让因果推测推断影响自我活动的估量。换句话说,模子无法轻忽我们先容性示例中旧蚊子叮咬的挠痒感。相比之下,贝叶斯因果推测模子[6]则复制了跨模态毛病对两个信号之间差别的非线性依靠性[6,16]。他们通过将整合和分散的估量值相加来实现这一目的,并分别以配合和单独泉源的推测概率加权(图1H)。在这种看法下,Rideaux等人[9]的神经网络模子包罗了知觉两阶段历程的第一阶段。


究竟上,多感官配景下的人类大脑运动,对整合的、分散的、及终极归并的估量在独立表征上是同等的[17,18]。贝叶斯因果推测要领的另一个要害构成部门是假设的配合泉源的先验概率。在 Rideaux 等人的模子[9]中,这种先验大概反应在多感官 MSTd 层和输出层之间的毗连权重中。然而,这种先验共因随着试验情况的改变而改变[19,20],评释还必要对因果推测历程举行分外的输入。是以,一个更完备的多感官整合和因果推测模子,还将必要为同源和分散源的知觉及机动的先验共源估量提供表征空间。


总之,Rideaux等人[9]为因果推测中同调和异向神经元的作用这一困难提供了令人佩服的办理方案。他们通过练习一小我私家工神经网络,借由促使同调和反向神经元同时进展,得出了对自我和天下的活动估量及相应的因果推测推断。不外大脑是否以这种简洁的前馈方法实现这推测,以及因果推测是怎样参加知觉推断的,依旧是将来紧张的题目。别的在个别发育历程中,是否必要觉得体验来进展异向神经元,大概这种人工神经网络练习所援引的历程是否在进化历程中发挥了作用,将同样是令人非常着迷的探究偏向。


本文来自BioArtMED微信民众号,更多生物范畴前沿信息等你来发觉!
转载须知
【原创文章】BioArtMED原创文章,接待小我私家转发分享,未经许可克制转载,所登载的全部作品的著作权均为BioArtMED所拥有。BioArtMED保存全部法定权利,违者必究。

精彩图集