1.扩散模型「读脑术」，自动化所MindDiffuser清晰重建人脑视觉画面

机器之心专栏

机器之心编辑部

从脑信号中重建相应的视觉刺激都是一项有意义且充满挑战性的工作，先前已经有研究成功得到了与原图结构相近的重建结果，如：一些自然图像的轮廓、大小，但是缺乏明确的语义信息，难以辨别。

近年来，借助多模态预训练大模型与生成能力更强的 AI ，不少工作都得到了在语义上与原图十分接近的重建图像，但这些图像在位置、朝向等结构信息上不可控。

为了同时解决以上两个问题，中科院自动化所的卢一卓、杜长德等人借助 Stable Diffusion 和 CLIP 新提出了一种基于扩散模型的两阶段图像重建模型 MindDiffuser，相关论文已被国际多媒体大会 ACM MM 2023 接受。结果表明，本文提出的模型的重建结果已超过目前最优的模型。可视化结果也证明了本文的模型设计在神经生物学上的可解释性。

论文地址：https://arxiv.org/pdf/2308.04249.pdf

代码地址：https://github.com/ReedOnePeck/MindDiffuser

第一行为原图，第二行为从大脑 fMRI 信号中重建图像

研究背景

人类视觉神经系统能够高效地感知和理解现实世界中的复杂视觉刺激，这种突出的能力是当下的人工智能系统无法比拟的。通过神经编码和解码模型来研究不同脑区的功能可以使我们更加深入地理解人类视觉感知系统。

视觉神经编码指的是将外部视觉刺激拟合成神经活动信号的过程，视觉神经解码则是要找到一个从神经信号到对应视觉刺激的映射，根据解码难度和目标的不同，可以把它们划分为刺激分类、刺激识别与刺激重建。在刺激分类中，大脑活动被用来预测所呈现刺激的离散客体类别。刺激识别的目的是从一组已知的刺激图像中识别出与给定的大脑活动模式相对应的特定刺激。刺激重建则是要直接通过给定的 fMRI 信号生成图像，并且要求其形状、位置、朝向等细节与对应刺激图像对齐。本研究专注于研究刺激重建。

在详细调研图像重建领域已有的研究后，根据其模型结构，作者把目前的图像重建范式归纳为：生成式模型和优化式模型。

生成式模型在训练阶段，提取刺激图像和相应文本描述的特征，利用相应的脑响应去拟合这些特征，在测试阶段，用脑响应预测出对应的特征，将其输入训练好的生成模型，即可重建出对应的图像刺激。

优化式模型在训练阶段提取刺激图像的层次特征并用相应的脑响应去拟合，在测试阶段，首先随机初始化生成模型的隐空间，并且提取出随机生成的初始图像的层次特征，接着把脑响应预测出的对应的层次特征作为约束，通过反向传播优化隐空间，最终得到收敛的重建图像。

目前这两种重建范式都各自存在一些问题，针对以上问题本研究提出了一个新的框架来解决他们。

可控图像重建模型 ——MindDiffuser

如图 (a) 所示，首先提取出图像的 CLIP 视觉特征，VQVAE 特征，以及对应的文本描述特征，接着使用相应的脑信号去拟合这三种特征。然后通过两个阶段来实现图像重建任务。接下来将详细地介绍这两个阶段。

在阶段一，首先利用脑信号解码出 VQVAE 特征，将其通过一个前向扩散过程隐式的为扩散模型隐空间注入图像信息，接着在反向去噪过程中通过交叉注意力机制引入脑信号解码出的 CLIP 文本特征，至此完成了对重建图像的语义信息融合。

在阶段二，为了进一步对齐重建图像的结构信息，研究人员以 CLIP 图像特征为约束，通过反向传播梯度不断调整扩散模型的隐空间，得到语义和结构都与原图对齐的重建结果。

实验结果

作者在目前规模最大的神经影像数据集 NSD 上进行了详细的实验，在四种评价指标上的结果表明，提出的 MindDiffuser 重建出的图像与原图无论在语义相似度，还是结构相似度上都超过了目前的 sota 模型。

由于不同个体的大脑在解剖结构和功能连接上有着差异 [61]，因此即使给不同的被试观看相同的图像刺激，采集到的 fMRI 信号也不同，为了验证本文提出的图像重建模型可以适应不同被试间的差异，研究团队在不加任何其他额外调整的情况下，对被试 1、2、5、7 的测试集图像进行了重建，结果如下图所示：

从图 4-13 中可以看出对于相同的刺激图像，由于不同的被试在采集 fMRI 信号时的大脑主观反应以及特征解码阶段的准确率有差异导致一些图像的重建结果并不令人满意，比如：被试 7 把 “桌子上的花” 错误的重建为 “桌子和椅子”，被试 5 无法重建出 “黄昏下的飞机”。但是大部分重建出来的图像对于研究人员选取的每一个被试在语义与结构上都表现出了与原图较好的对齐，这表明他们提出的图像重建模型可以很好的适应不同被试间的差异。

在特征解码阶段，本文使用 L2 正则化的线性回归模型自动挑选体素来拟合三种特征：语义特征 c，细节特征 z，结构特征 zCLIP，为了验证提出的模型在神经科学上的可解释性，本文将 fMRI 每个体素在预测不同特征时的权重投影到展开的大脑皮层上。

从图 (a) 中可以看出在解码语义特征 c 的时候，被筛选出来的体素绝大多数集中在 IPS、LO、MT、MST、PHC、VO 等处理高级语义的脑区，且分布在高级视皮层区域的体素权重要大于分布在低级视皮层区域的体素。从图 (b) 中可以看出，用于监督重建图像结构特征的 CLIP 底层线性层特征主要 V1、V2、V3、V3ab、hV4 等处理局部形状、纹理信息的低级脑区拟合。这表明，研究团队的模型在神经解码阶段，语义特征主要由高级脑区解释，结构特征主要由低级脑区解释，这一发现与神经科学先前的研究结果相一致。从图 (c) 中可以看出，高级视皮层与低级视皮层区域的体素都参与了解码细节特征 z，且权重大小相当，这说明通过解码 z，使得交叉注意力机制为重建图像融入了更加细粒度的语义与结构信息。以上可视化结果说明，MindDiffuser 在重建图像时使用的多模态信息可以很好被解释。

综上，本文提出了一个两阶段图像重建模型 MindDiffuser，该模型将重建图像的语义和结构信息与图像刺激进行对齐。在 NSD 数据集上，MindDiffuser 在定性和定量对比结果上都优于目前的 sota 模型。同时，实验表明，MindDiffuser 对个体间的差异具有良好的适应性，在没有任何额外调整的情况下，可以为被试 1、2、5 和 7 的刺激实现很好的重建结果。此外，可视化结果还证明，本文模型中利用的多模态信息可以通过神经科学中相应的脑响应来解释，从而验证了模型设计的合理性与可解释性。研究团队认为，MindDiffuser 在促进脑机接口的精确和可控刺激重建方面将发挥重要作用。

本论文由中科院自动化所直博生（尚未入学）卢一卓和副研究员杜长德作为共同第一作者，何晖光研究员为通讯作者，周琼怡博士是共同作者。研究工作得到了科技部科技创新 2030—“新一代人工智能” 重大项目、基金委项目、以及 CAAI – 华为 MindSpore 学术奖励基金及智能基座等项目的支持。

作者介绍

第一作者

卢一卓，通过中科院自动化所 2022 年人工智能菁英班项目选拔，被拟录取为 2023 级直博生，大四学年在何晖光研究员负责的神经影像计算与分析课题组 (NICA) 实习期间在 ACMMM2023 发表一篇论文。曾获得费振勇奖学金、三星奖学金、北京理工大学优秀学生、北京理工大学优秀毕业生、北京市优秀毕业生。

共同第一作者

杜长德，中科院自动化所副研究员，从事脑认知与人工智能方面的研究，在视觉神经信息编解码、多模态神经计算等方面发表论文 40 余篇，包括 TPAMI/iScience/AAAI/KDD/ACMMM 等。曾获得 2019 年 IEEE ICME Best Paper Runner-up Award、2021 年 AI 华人新星百强。先后承担科技部、基金委、中科院的多项科研任务，研究成果被 MIT Technology Review 头条报道。个人主页：https://changdedu.github.io/

通讯作者

何晖光，中科院自动化所研究员，博导，中国科学院大学岗位教授，上海科技大学特聘教授，中科院青促会优秀会员，建国七十周年纪念章获得者。先后承担 7 项国家自然基金（含基金重点和国际合作重点）、2 项 863、国家重点研究计划课题等项目。曾获得国家科技进步二等奖两项（分别排名第二、第三）、北京市科技进步奖两项、教育部科技进步一等奖、中科院首届优秀博士论文奖、北京市科技新星、中科院 “卢嘉锡青年人才奖”、福建省 “闽江学者” 讲座教授。其研究领域为人工智能、脑-机接口、医学影像分析等。近五年来，在 IEEE TPAMI/TNNLS、ICML 等期刊和会议上发表文章 80 余篇。他是 IEEEE TCDS、《自动化学报》等期刊编委，CCF 杰出会员，CSIG 杰出会员。

2.车主同胞们的必备知识

作为车主的自己经常去维修保养自己的爱车。但是你爱车安装更换的配件品牌你们知道吗？我找了好久的资料做了个整理，大家踊跃提意见。

润滑油品牌

壳牌 埃尔夫 统一 中华 ROWE 长城 康普顿 德路普 嘉实多 东风 DAPHNE 彼特明 道达尔 路邦 施达通 奥吉娜 科发 阿菲尼亚 金格森 ，DANFER(丹弗)， 黑田 ，Carlube Esso(埃索)， 孚斯 JB润滑油 正义兄弟润滑油 BERGE（宝捷） 泽牌 莱克 胡特 凯路宝Carlube，昆仑，福斯 BP 风神 美国爱车宝 加德士

轮胎品牌

邓禄普 马牌 米其林 朝阳 正新 耐克森 韩泰 玲珑 三角 双钱牌 回力 双星 卡莱 马斯特 安泰路斯 固铂 环燕 佳通 普利司通 玛吉斯 固特异 千里马 贝斯通 横滨双喜 倍耐力 东洋

配件品牌国际50强

GKN 采埃孚 德纳 辉门 佛吉亚 现代摩比斯 博格华纳 万都 日本矢崎 爱信精机 电装 海拉 奥托立夫 德国大陆 Magna麦格纳 天合 江森自控 美国李尔 伟世通 法雷奥 德尔福 博世 巴斯夫 佳友电工 舍弗勒 康奈可 本特勒 日立 康明斯 捷太科特 丰田纺织 海斯坦普 德纳 加特可 丰田合成 马勒 马涅蒂玛 吉凯恩 NTN恩梯恩 天纳克 三菱电机 现代威亚 博泽 Plastic Omnium NHK Spring 小系车灯 贝洱 高田 LAC 东海理化 Flex-N-Gate

万象 淅川 曼牌 德科 豹王 索菲玛 韦斯特 三星 博岩 易奔玛 沃尔沃 卡卡买 博韦德 康博士

大灯品牌

斯迈克 ICEDRIVER 铂霖 润青 飞利浦 竞雄 永悦 YIAND 美仕纳 魅星 道博 弗维 名致 映红 捷昊 LUCKEASY 魅卡 欧司朗 SONAR 梦奇 飞天工 奥烁 金都光电 垫驰 银伯帝 世彩光电 鹰之剑 车仕达 英源 睿腾 angeno 点缤 车小帅 圣·兰斯蒂 耀迪 三为 申杰 全冠 VAVS 欣怡 马拉车 车亮点 点缤 Easdar 辉博利 OSIR 盗光者

刹车片品牌

金麒麟 信义制动 箭冠 菲罗多 福轩 耐磨士 斯塔博 TRW 布雷博 雷贝斯托 马瑞利 飞天工 埃弗克 NGK

离合器三件套品牌

Luk PHC 舒世帕 萨克斯 瑞迪安 迈威 一线

电瓶品牌

瓦尔塔 天能 金蝉 超威 骆驼 康铭 风帆 NFA 登路普 纽曼 卡途宝 动力足 野马 尤利特 东行 和邦纵横 光合 先科 小能人 飞扬

3.领克01、天逸SUV、荣威RX3到底能不能买？今年买车你需要了解这些

领克01

推荐指数：四星半

优点：领克01是吉利摆脱中低端品牌定位，走向高端品牌之路的一款新产品。从颜值到内饰，领克01无论设计还是质感都是在自主品牌中非常罕见的。空间很大，舒适度高于一般紧凑型SUV，具有豪华SUV的风范。搭载VEP4 2.0T涡轮增压缸内直喷发动机，稍踩油门推背感就十分强烈，十足的灵敏平顺。

缺点：设计风格太过个性，不够大众化，可能不太符合某些低调的消费者心理需求。制造成本太高，平台和发动机都是来自沃尔沃，在质量和产品力上都提升了不少，但也在无形中增加了成本，难以拉低价格。毕竟这是一款刚刚上市不久的新车，车辆的稳定性还有待接受市场的检验。

荣威RX3

推荐指数：四星半

优点：上汽荣威全新紧凑型SUV RX3，颜值很高，稳重家族式前脸，风骚的小屁股，内饰也跟得上潮流。车联网是荣威RX3的优势，跟马云爸爸合作的智能互联系统很是高端，直接提高用车生活的幸福感。搭载的上汽蓝芯1.6L发动机高效节能，5.6L每百公里的油耗可以帮你省下不少人民币。

缺点：减震不太好，车架有点软，轮胎有点小，对于追求运动感的车迷来说可能不够给力。

天逸SUV

推荐指数：四星

优点：天逸SUV是雪铁龙今年推出的唯一的，也是最重磅的产品。售价很便宜，特立独行的个性风格很能吸引年轻人。性价比不错，16.97万元就能买到无钥匙进入、一键启动、液晶仪表、全景天窗以及主驾驶电动座椅等，还搭载了雪铁龙最先进的PHC自适应液压稳定技术。底盘一贯是雪铁龙的优势，天逸SUV同样做到了长途不累、簸路不颠、弯道不飘。

缺点：采用非独立悬挂，一旦左右车轮出现高度差，刚性连接的左右悬挂必定会造成车身的过度倾斜、两侧车轮的外倾角增加进而减少附着面积，如果再加上路面颠簸反复跳动，翻车的可能性会成倍增加。

路虎卫士

推荐指数：三星

优点：去年1月，捷豹路虎宣布停产路虎卫士车型，现在在市场上是买不到的。由于该车历史悠久、车型经典，市场对它的需求不降反增，所以也有网友在后台咨询汽车情报关于这款车的信息。路虎卫士作为一款硬派越野，一直以“简单、机械、可靠”著称，将于2018年迎来换代，应该会在2019年初上市。下一代路虎卫士在设计上将会有一些重大改变，也会为了迎合消费者而被塞满各种技术。

缺点：后期的维护费用比较高，而且中国的柴油质量要比外国的柴油质量差不少，容易引起发动机出现故障。

4.无情戳穿为PSA洗地的十大话术！疯狂打脸法系水军

如果用一句话来形容法系车，那就是在让人失望这件事上，法系车从未让人失望过。虽然凡尔赛让法系车的销量，短暂回暖，但是法系车的日趋边缘化是不争的事实，很多法系车粉丝总是以PSA不懂营销，国人不懂车，来为法系车找借口，但是我要告诉你们，正是因为国人比以前更懂车了，才不买法系车了。

下面我们就来戳穿，法系车水军为法系车洗地的十大话术。

1、法系车销量差因为国人不懂车？

这句话在网上都听烂了，到了2021年还有很多车评人拿出来讲，吃翔你们都赶不上热乎的。你说国人不懂车，2014年、2015年，PSA年销量超70万，2016年60万辆，三年间，法系车的销量增加了200万辆，如今这200万车主，最早一批的7年过去了，也该到了换车的时候了，为什么2020年法系车的销量跌到了5万台，那当初这批法系车主到哪去了？他们要是在10分1换车的时候继续支持法系车，并且带动身边的人买法系车，法系车的销量会这么惨吗？

2、法系车质量好所以法系车主不换车？

这时候就有车主要说了，那是因为法系车质量好，那些法系车车主都不换车。这自我催眠的能力，医院不请你去当麻醉师真是屈才了啊。法系车质量稳定？开什么国际玩笑？最开始的4AT变速箱顿挫异响严重，后来的涡轮增压发动机严重烧机油、正时皮带掉渣、高压油泵故障、节温器故障，而且这些不是小概率，是大面积爆发，而且法系车是出了名的小故障不断，问题是五花八门，从发动机到变速箱、再到轮胎、电子元器件，这样的质量你敢说稳定？再加上法系车修起来工时费高，这才是很多法系老车主在换车的时候放弃法系车的真相。

3、法系车在欧洲卖得好，所以法系车产品力强？

你把法系车说得一文不值，也改变不了法系车在欧洲销量火爆的事实啊？法系车如果真的那么不堪，为什么在欧洲还卖得那么好呢？

哥们，你先问问自己，在欧洲卖的法系车和国内的法系车是同一款车吗？每个国家的国情不同，可以简单去类比吗？韩系车在美国甚至全球都卖得好呢？你咋不夸夸韩系车？到了中国就应该适应国内的环境。而欧洲卖得好的法系车，多是柴油发动机，手动挡，两厢，三缸涡轮增压的小车，你把这些车拿到中国来试试？别说美国市场啊，标致都退出了。

4、PSA拿着底盘技术和宝马换发动机技术？

又是一个流传甚广的谣言，很多法系车粉丝以此来论证法系车的底盘技术，你看大名鼎鼎的宝马都来求PSA的底盘技术，先问是不是，再问为什么。PSA的1.6T发动机，是PSA主导研发的，宝马只是辅助，当时宝马缺乏小排量涡轮增压发动机的开发经验，和标致在柴油机方面有积累，双方一拍即合，只不过在1.8T发动机升国六B的时候，加入了宝马的连续无级可变气门升程技术。怎么就变成了，PSA拿底盘换宝马的发动机技术了？

5、因为和宝马的合作协议，因此PSA不能研发大排量发动机？

这就更扯了，都说了是PSA主导的这款发动机，宝马凭什么限制PSA？宝马2.0T、3.0T、6.0L各种大排量发动机应有尽有，唯独PSA死守着三款涡轮增压发动机？你真当PSA是250？

6、因为欧洲环保政策，PSA没有研发2.0T发动机？

合着就法国的PSA是欧洲车企呗，德国的宝马、奔驰、奥迪、大众、瑞典的沃尔沃，都被排除出欧洲了？

7、PSA的扭力梁悬架，完胜独立悬架？

法系迷津津乐道的，法系扭力梁悬架完胜同级别独立悬架，PHC自适应液压悬架，牛！后轮随动转向技术，牛！WRC法系车的战绩，牛！

但是扭力梁它终究是扭力梁，调教出色的扭力梁，也不过是好一点的扭力梁，根本无法和同级别调教出色的独立悬架相比，而且法系车征战WRC的赛车，用的都是独立悬架，不知道很多法系车粉知道真相之后会不会捶胸顿足。

看看凡尔赛C5 X操控性和舒适性，哪一方面做好了？操控性就不说了，被锤爆了，麋鹿测试成绩80千米每小时，结果赛道圈速不如亚洲龙和混动威兰达。舒适性方面，余震不断，还是那句话，自己去试驾试驾吧！

8、法系车技术实力强？

法系车有什么技术实力？你告诉我？

发动机方面，缺少大排量发动机，别说3.0T，2.0T发动机都没有，也别提欧洲的柴油机，就说国内的，大排量发动机可以不用，但是不能没有，因为这是门面啊。有人又要拿高功率的1.6T来说事了，赛道版本420匹，但是成本多少？F1的1.6T发动机能榨出1000匹马力，能家用吗？说量产版本的270匹马力，但是奔驰M139量产2.0T最大马力421匹，大众EA888高功率版本 最大马力 310匹，沃尔沃Drive E 2.0T双增压北极星版本 最大马力367匹，你PSA拿什么来打？

变速箱方面，可以说是一片空白，国内在用的所有自动变速箱都是对外采购的，你说爱信8AT不比干式双离合良心，问题是，我说你变速箱方面没有技术积累也是事实吧，关键是爱信的8AT匹配的还不行，远不如沃尔沃。

底盘方面，赛车上的独立悬架，确实操控性很强，但是民用车上呢？PHC自适应液压悬架，用的是日系供应商KYB的产品，根本不是PSA的技术，还想刚的人去查查专利在谁手上吧。

新能源方面，纯电车型国内只有一款油改电车型，插电混动车型被自主品牌的双电机串并联混动车型爆的渣都不剩。法系车拿什么来打？

9、法系车安全性好？

最后辨无可辨了，法系车粉丝只能抛出一句，不管你说啥，法系车的用料良心，安全性强，其他车企都比不上？

是全新标致208，DS 3、雪铁龙C5在欧洲大本营的 NCAP碰撞仅拿四星的那种良心吗？是雪铁龙12年以来碰撞14款车5个三星、5个四星、4个五星的那种良心吗？再说了，如今的国产车，只要价格上了10万元，哪个安全性不良心？

10、法系粉丝都是车主？

网上法系车的粉丝呜呜泱泱，但是如果有10分之1愿意真的掏钱包来买法系车，法系车会到如此的境地吗？很多法系车粉丝都是，你买我推荐，真买我不买，还有很多人，听着抖抖上的垃圾车评人，吹捧法系车，于是形成了法系车就是良心，买车当买法系车的印象，实际上连车都没有，真到了买车的时候，反而选择了自己曾经深恶痛绝的日系车德系车。而那200万车主，从法系车转到其他车系的才是沉默的大多数啊，他们已经被法系车伤透了心。

法系车粉丝的经典名言就是，好东西就一定要买吗？静静地欣赏不可以吗？可以的，你们继续欣赏，可能再过几年，就只能到国外去欣赏了。

所以说啊，网络上吹法系车的言论听听就好，法系车从年销70万到年销5万辆，绝对不是没有原因的，也绝对不是一句，法系车不会营销和中国人不懂车可以概括的，凡尔赛的销量只是昙花一现，法系车难逃退出中国市场的结局，不信咱们拭目以待。

最后，希望那些法系车水军，别管你是真车主也好，还是键盘车神也好，希望你们拿出点真凭实据来反驳我，别跟泼妇骂街一样，这样只会更加拉低你们的层次。

如果你还想关注一些关于法系车的问题，比如说，法系车的PHC悬架生产地，法系车赛车的底盘结构。

关注WX「老司机侃侃车」，回复关键词「法系车」就可以了，我们将会满足你的好奇心。