万字精讲| AIGC时代的多模态知识工程思考与展望—李直旭

中国计算机学会

报告摘要

AIGC技术将人工智能带入了新时代。而在多模态智能领域，AIGC的能力不断提升，多模态知识工程应该何去何从？是否仍具价值？应该如何发展？在本次分享中，讲者将探讨当前AIGC技术耀眼“光芒”背后的“暗面”，思考与展望AIGC时代的多模态知识工程研究。

演讲稿原文再现

AIGC时代：未来已来

        我分享的主题是在多模态场景之下的一些思考。因为我们现在文图、图文的这种大模型做的非常好，所以我们在多模态的知识工程，还有什么可以做的地方呢？

       其实在过往几十年AI的发展历程当中，对话式的生成模型，应该说是有很多个不同阶段，当然中间有起起落落的很多问题，遇到了很多瓶颈，一直到我们最近的ChatGPT，应该都是大家能看到的一个新的高度。然后如果细分的话，其实现在的AIGC，应该说包括文本类生成、图像类生成、音频类生成和视频类生成，都有相关的很多工作，我们这边只是列举了一些有代表性的工作。

       我看到网上有个很有意思的推文，不知道大家有没有看过。这个是一些机器人的家庭的小孩儿，大人带着两个小孩去看。墙上挂着一幅画，写的是这个GPT5也没啥了不起的。这是一个人类的最后一篇推文。当然这是一个开玩笑的一张图片，但是我觉得也挺有意思的。也许未来我们很多东西真的是机器帮我们写了，我们人工都不需要写了。

       那么回到多模态大模型，实际上在过去的3—4年的时间，应该说发展的非常快，如果笼统来说的话，可以分为多模态统一大模型和多模态文图生成大模型。统一大模型更多的是建模跨模态的表示和理解，做更多的跨模态认知相关的一些任务，比如说VQA、跨模态检索等等。

       生成的话其实就是为生成而做的，GPT系列的，包括咱们各个国内外的一些大的企业和机构，都做过相关的模型出来，大家在网上也都见过，我们这边也放了一些例子，细节不去不去讲了。

       因为现在基本的一个趋势是什么呢？就是我们生成的画面要尽量的逼真高清，或者说要有像诗的意境化，风格和意境，这两方面其实都是在大家在追求的目标。尤其是最近Midjourney，大家应该也都用过，或者至少也听说过。它生成的画面是越来越精细，而且也是可控的。就比如说我们画一张草图，你再给到大模型，期望它按照你的草图给到一个更符合你要求的图片。或者说一只猫本来头往这边偏，我希望你把它画到另外一面，它就可以帮你生成出来。包括这种精细的纹理，生成我们预期的形状、质地等等，包括高清的几十秒视频，现在生成的都非常好。包括从静态到动态，这个应该是大家目前在网上可以看到的一些例子。

       还有一个我觉得特别值得一提的工作，是多模态AIGC大模型驱动的具身智能。这个是谷歌前段时间刚刚发布的5600多亿的参数，这个叫PaLM-E。它是把传感器的信号和文本做结合，建立了语言和感知链条，可以操控机器人完成相关的任务。比如说我们给到一个指令，让它把棋盘上的不同颜色的方块分到四个不同角落。那他就会经过对这个指令做理解之后，形成一个指令链条和指令操作，给到机器人来做具体的操作。主要是在指令的理解上、操作规划上，达到了一个很好的效果。当然它预训练的时候用到的是一些操作规划、视觉问答和字幕生成等等的任务。所以说其实PaLM-E也进一步验证了智慧涌现在机器人这种具身智能的上，表现也是非常不错的。

       那么我们回到了一个原点问题，因为一直以来人工智能符号主义和连接主义一直是在你争我斗这么多年了。最近当然是大模型占了非常大的上风，应该说在大多数领域已经暂时战胜了精心设计的知识工程。那到底我们接下来还应不应该做知识工程？这个问题我相信大家都会产曾经产生过这方面的一些疑问，这个game是不是really over了。

AIGC的阿克琉斯之踵

       我们来看一下AIGC做的不好的地方，当然很多大家在网上也都见过。首先第一页，我们还是讲讲单模态。第一点，强语言弱知识，一本正经的胡说八道，我相信所有了解过的同学都知道，你给他一些非常似是而非的东西，它都能给你强行解释，这个实际上根本是不对的；然后推理方面的不靠谱程度，虽然说GPT4已经有了很大的提升，但是依然还是会有做的不好的地方。比如说你给他一个其实不算难的数学题，他就会给你一个错误的答案。但实际上还是会有对数字逻辑的理解；专业这方面的理解其实更有问题，我们这里也不去过多的举例子。

       第三方面，就是知识的更新，这可能对图谱来说也是个问题，但是图谱我们好歹可以人工快速的做添加，做修改。可是在对于大模型而言，你必须要重新训练，所以这个地方相对来说，它的自更新的成本和代价是比较高的。最后一块儿，尤其在专业领域，你要想让它提供专业靠谱的答案，实际上是很难的一件事。比如说华为手机没电了，是不是可以用苹果手机的充电器来充电？它说可以的，它认为他俩用的都是USB接口，这显然是一个非常错误的理解。

       刚才是单模态，我们再看一下多模态的大模型，实际上问题更多。我们列了四类问题，也给了一些例子，主要都是现在的Stable Diffusion，应该是除了Midjourney之外最主流的开源模型。

       首先是组合方块问题，通常来说你让它生成绿草红花，它会生成的很好。因为大自然大部分都是绿草红花。可是你让它生成红草绿花，它就生成不出来了，生成出来的是很奇怪的东西。其实你如果按照我们的需要，我们是希望他把这些草画成红色，这个花画成绿色是吧？但实际上让它做不到。

       然后属性泄露问题，就比如说我让它画一个红色的车，旁边一个白色的羊，其实应该sheep是这样的，但它往往会把车的颜色迁移到羊身上，这只是其中一个例子，还有很多类似这样的例子。

       第三个就是方位理解的混乱，比如说我们希望椅子左边是沙发，但是实际上它生成出来的东西你没有办法去判断。还有一个很经典的例子，就是马骑人还是人骑马，这个地方它画出来的是人骑马，但是我实际上想让它画一个马骑人的照片，但是它可能习惯性思维见过是这样的，它没有见过不这样的，所以它画不出来。我们虽然前面讲了那么多，很惊艳、很精致、很可控的这种跨模态生成。但是它往往存在较大的信息不对称问题。

       我们再来看一看除了生成之外，在理解方面，其实也是有问题的。比如说这个VQA的任务，这个里面我们举个例子来自BLIP 2。比如说你问他这幅画面里面的racket的brand是什么？它可能回答是耐克，可能它看到衣服上有个耐克的牌子，但实际上这个球拍它应该是Wilson，它没有这一块的知识，所以他认识不了，他不知道这个W是一个logo。然后你问它在车厢里面看手机违法吗？它会说是违法的，这也是一个非常典型的错误回答。这个是完全没有理解这个场景，没有具体常识的这种推理。还有你问它，比如说这群人在海边拿着翻板，什么要穿着wetsuits？它会回答是为了保暖。实际上大部分时候我们穿衣服是为了保暖，但是在海边的场景，其实它是为了冲浪，因为冲浪通常是要穿冲浪衣的，所以这个也是关于这块的常识是不够的。所以说大模型在多模态的数据理解和一些问答上还是做的也不够好。

       包括刚才我们讲的谷歌做机器人的这个场景，实际上它demo的空间是非常有限的，只是在一个非常具体的空间里面，物品的类别，任务规划的复杂度也是相对有限的。实际上一个千亿规模的参数，它只能做一个空间范围很有限，很封闭的，物品类别非常有限的，规划任务比较简单，操作任务也比较简单的一个demo，我们觉得代价是很高的。如果说你让它达到实用级别的话，如果还是用这种以参数为主来存所有的知识、来存所有的操作方式方法，那是不是要把我们现在的这个千亿再扩大百倍千倍呢？这样的话这个代价是不是太高了？所以我们认为在具身智能这种机器人更广泛的、搜索空间更大的场景之下，这样的问题是更加凸显的。

       简单小结一下，就是多模态的大模型，它的本质主要讲就是文图。我们其实是希望用语言来解释视觉，用视觉来完善语言。当然我们是将文本中的语言符号知识和视觉中的可视化信息建立统计关联，但是有个重要的前提，要做到这件事儿，我们首先要有海量高质量的图文配对数据，注意是高质量。第二块是文字要富含事实知识和常识，很多东西是人类理解的东西，我们要在文字当中尽量多的体现。第三个是逻辑推理过程要可显化的被学习，尤其是跨模态的推理，但是我们现实的情况往往不是那么乐观，这个数据量很大。现在几亿几十亿的这个图文pair，都是互联网上能搜到的，但是它的质量不是那么好，往往有一些错误的对应，或非常粗的对应，信息也不是很对称。

       纯文本中的知识和常识，实际上是不完备的，你希望通过语言来解释视觉，但是语言本身的知识和常识，它没有表达的足够充分，所以这个时候也会导致我们很多东西是学不到的，包括很多隐性的推理，实际上是比较难以学习到的。那基于以上的现状，才导致了我们刚才上面列出来的这种种问题。所以说，统计类模型其实始终难以较低的成本，全面准确的掌握人类的知识常识和逻辑推理能力。

多模态认知智能

       我想从多模态认知智能的角度，来谈一谈动态知识图谱，以及未来它们的一个结合点。其实首先就是多模态大模型也好，知识图谱也好，其实最终都是为了实现多模态的认知智能，就是我们对于多模态的数据的知识获取、知识表示、知识推理和知识应用，我们都可以做好，实际上这就是多模态认知智能的终极目标。多模态知识的获取、表示，这是一个复杂的推理和认知，这些东西共同来支撑上游的、很多的、多模态的知识应用。其实多模态的认知智能现在的实现路径，如果单纯的从大模型和知识图谱的角度，应该说就是分为一个是大模型，一个是知识工程，也就是连接主义和符号主义，通常来说，连接主义它的好处也是很显而易见的，概率关联、简单鲁棒，但是它的问题是什么？它可能很难学到一些因果、主次，概括到具体，现象到本质，具体到一般，这些逻辑关系，实际上需要它去高度总结理念的话，我觉得至少目前还做的不够好。

       另外一方面就是我们的符号主义的这种知识工程，当然它是符号关联，符号关联是专家，我们人类控制起来是比较容易的，但是它也会很精细很脆弱。当然如果我们把数据单纯的转化成符号知识来表达，而不是像这种大模型的方式来表达话，它也会有非常多的信息的损失，以及构建成本会比较高等等的问题。但是他俩其实是互相都有各自的优缺点，所以我们认为知识工程依然是不可或缺的。其实知识工程在多模态知识工程，尤其在当下这个大数据时代，它的主要形式还是知识图谱。多模态知识图谱实际上就是在单模态的知识图谱的基础之上，加了各种各样的多模态的图片，或者说视频、音频等等，来进一步的去刻画我们的相关知识。

       简单归结一下，多模态大模型的优点是什么呢？关联推理能力比较强；多任务通吃，因为它是one for all；人工成本比较低；适配能力比较强，你不需要去人工去设计相关的Schema，不像知识图谱，适配能力是我只要通过简单的Finetune、Prompt、Instruct，我们都可以让它很快的适配到一些新的任务，尤其像现在Laura等等这样的模型不断地在出来。

       但他的缺点也是很显然的，首先，可靠程度比较低，它有各种各样的可信的问题，这是知识推理层面比较差的，因为他关注的是关联推理，并不是严谨的知识推理，关于因果之类它是做不好的；可解释性是比较弱的，虽然我们现在有COT加持，现在chelf source能够让它去给出一些相关的推理过程，但是有时候在复杂的逻辑推理上，它可能做的不一定是很好。它人工成本虽然很低，但是它训练成本很高。

       那相对来说，知识图谱的缺点：推理能力比较弱，虽然说我们现在有各种各样的trace1、GEN相关系列，包括transformers系列，也会去做推理。但是总而言之，目前的推理能力还是没有达到我们的预期的。然后人工成本比较高。第三个是架构调整难，你一旦把它的schema定好了，实际上你再去调整是要花很多的人力物力的。但它的好处也是显而易见的，专业可信度高，可解释性强，可扩展性好，细节我不去解释了。

AIGC for MMKG

       基于以上的对比，我们认为当下阶段，大模型的制度应该保持竞合关系，互相帮助，互为补充。接下来我们就来具体看一下，AIGC相关的大模型怎么样去服务我们的MMKG。

       首先AIGC是可以为我们的知识获取降本增效，也就是知识诱导，其实这个工作应该说在这一波生成模型之前就已经有很多人在做了，像2020年，用语言模型做知识库，来导出很多的三元组。还有2022年，用多模态的大模型作为常识库，然后从中来找出一些常识，就是对于给定的图片，让它去回答一些相关的问题，这个是早期做的一些工作。这个东西就是知识萃取，知识诱导。

       在AIGC这一波模型出来之后，实际上应该说给知识获取做降本增效，增加了各种各样的零样本、少样本，开放知识抽取的可能性。刚才焕勇老师里面有很多提到的这种单模态场景之下的抽取工作，实际上是已经有很多相关的工程放在了github上了。然后多模态的知识图谱，基于多模态知识的抽取，实际上目前做的还不多。但是我相信这随着模型能力进一步增强，一定是未来的趋势。因为现在做的还只是大模型打个底，还是要训一些具体的小模型来做多模态的知识抽取、关系抽取、事件抽取也好。未来我相信大模型可以解决更好的问题。

       第三个降本提效方面，在一些垂域的多模态数据上，比如说现在的ChatPDF和GPT4本身，它其实就能够对一些多模态的文档做抽取。这个能力我觉得比原来去做OCR识别，然后再去做NLP的抽取要方便的多，它把很多布局信息都留下来了，刚才讲的是知识获取方面。

       第二块就是它可以助图谱设计一臂之力，就图谱的schema半自动化设计是图谱构建非常重要的一个步骤。我们其实原来在大模型以前也有很多的方式方法来考虑半自动化设计的。但有了大模型的加持，这个工作应该是可以做的更加方便的。像2021年其实有一些工作已经开始在做这个方面的尝试了，会尝试用大模型去发现这里面的concepts，一些relation，最后去做一个整体的、系体系化的设计和架构，其实这些都是在人机耦合的这种场景之下去做schema的一个半自动化设计的。在多模态场景其实也有一些基本的尝试，比如说我们让他去帮我们生成一个CMS领域的schema，它其实可以借助大模型来生成一些Ontology。

       知识推理方面，实际上我们现在的大模型的这种推理能力、关联推理能力是非常强的，那我们知识图谱他现在虽然说有各种各样的表述系统方法，做学习和补全。但是大模型它一方面外部的知识会很多，另外一个它本身的关联能力很强，所以说它帮我们去做表示学习和图谱推理是非常好的利器。像2022年的这个BertNet，其实就是用外部的大模型来帮我们去做知识图谱的补全。2022年的另外一个工作，还没有发表在Arxiv上的，基于一个多模态的知识图谱，去够训练一些多模态的AIGC大模型，帮他补全里面的一些相关的节点。

       然后就是知识融合，这个也是知识图谱构建当中非常重要的一个步骤。就是我们经常得到多个知识源之后，我们要再去把它做合并。两个多模态知识图谱做对齐的话，当然主要是实体的对齐，传统来说，实际上就是对各自的图谱要做表示学习，最后通这两个知识图谱的实体的表示学习的相似度，来权衡之后，最后来对齐。那现在有了大模型在中间，它的这种跨模态的，以及跨不同的数据集的这种通用的表示学习能力，应该是非常好的来帮助我们去做实体的对齐。

       还有就是知识更新，我们图谱构建完了之后，实际上是要去不断的更新它的一些知识，保持它的先进性。虽然说我们的多模态大模型，就大模型本身也需要更新，但是他俩其实在这里是可以去做一个互补的关系，比如说我们外部的信息源，如果传统来说，我们是需要从外部的信息源来主动或者被动的拿到一些新的知识，再把它放入知识图谱当中。但是很多时候，比较难的就在于我怎么样知道哪些知识是过期的，因为你全盘更新的话，代价是很高的。所以这个地方会涉及到，我需要去主动的、去检测这个里面的过期知识，那大模型的话，尤其是像现在Newbing之类的，可以接入到互联网上，它是不是可以帮助我们更好的去做过期事实的检测，再帮助我们去做抽取、更新等等，这些过程其实都是可以用大模型帮助我们去做更新的一个方式。

       然后就是关于知识的应用，比如我们这里提到的问答方面，之前齐老师组里也做了一个工作，是把ChatGPT的知识问答做了一个评测。我们发现在很多的问题类型上，效果是非常显著的，尤其是跨语言低资源层面，知识问答大模型会做的非常好。但是在一些数值类的可能不如现在的SOTA。我觉得AIGC在多模态的知识问答领域，和多模态的K-VQA知识增强、视觉问答，这两方面一定是可以帮助我们去提升问题的解析能力，强化知识推理能力，以及提供外部知识的辅助等等，应该是它未来可以去发挥长处的一些地方。

MMKG for AIGC

       我们再来看这个MMKG怎么反过来帮助我们去做AIGC的一个改进。首先的话是MMKG是可以参与AIGC能力评估的。最近各种各样的AIGC能力评估其实是层出不穷的，当然目前可能主要是针对于单模态大模型的，多模态大模型的能力评测，我看现在还不多。所以这块实际上我们还是有很多想象空间的，包括视觉常识的推理能力，刚才我们提到一些组合泛化能力，这个也是我们组正在做的一些工作。

       然后就是可控的约束生成，AIGC它现在生成的东西是比较天马行空的，我们为了让它更好的去生成我们想要的东西，我们可以考虑用图谱来做一些必要的可控的约束。我们这里放的这个例子，还是一个单模态场景的，因为多模态目前还没有很具体的工作。这个是把知识图谱用在了指定的主题和约束的生成，提供一些指导的术语，也去用这个东西来修改这个模型的token生成的概率，来更好的去控制它，得到我们想要的结果。其实在多模态场景的话，我觉得不管是文生图还是图生文，实际上我们都可以通过这个知识图谱关联到知识图谱的具体的实体之上，然后来得到更多的跨模态的信息，来指导我们去更好的生成图像或者是对应的文本。

       然后就是知识编辑，知识编辑我觉得是非常值得大家关注的一个方向。这个其实主要讲的是在大模型内部，对大模型本身的知识做编辑，尤其是在这种我们不想要做全局的更新的时候。比如说美国总统换届了，我只想把当前的美国总统信息让它遗忘掉，然后让它得到新的美国总统的是谁的这样一个信息，那知识编辑在大模型当中去编辑它的隐形知识，是目前大家非常关注的学术研究方向。当然我上面放的这篇工作还是在单模态场景之下做的，我们实际上是根据知识大模型的知识类型，对数据做分类、分组。然后选择每组当中信息量比较大的需要编辑的知识，然后针对这个编辑数据所在的数据集，对应的模型进行再训练。谈到具体的过程还是在大模型这种隐形知识上去找到相关的切入点。

       还有就是MMKG也可以辅助AIGC在下游应用上去做一些领域的任务适配。我们这边放的是一个电商领域的跨模态检索。其实跨模态检索在通用领域，它基本上都是基于MS coco这样的数据集来做的，所以它基本上只适合于通用领域。但你拿到一个具体的，比如说电商领域，他其实很多时候是配不好的，比如说我们让它生成找到一个深蓝色高腰裙白色的条纹，其实应该是这个是吧，但是他找到的可能是这样的。因为它把这个衣服的信息，嫁接到了对裙子的理解上，这就是错误的预测。为了提升它在这个领域上的能力，实际上我们并没有对大模型本身做什么改动，因为这个成本很高。我们是用领域的知识图谱，构了一个小型的电商领域的知识图谱，主要是都跨模态的，比如说具体的一个衣服，比如说一个什么高腰裙，它具体长什么样，一个什么方领的衣服，方领是什么样子，我们把这些知识，我们把它作为一个辅助信息。再对这个大模型做一个微调，微调过程当中是会做一些关于尤其是实体级别的一个对应关系，我们会做一个强调，那这个效果会立马会提升非常多。

AIGC +MMKG

       我们最后再来看一下这两个的结合点。刚才讲的其实都是其中一个为另外一个去做单独的优化，但是我们实际上做很多工作是需要他们俩去携手去做的，这个其实从总体发展趋势而言，其实我们都说未来可能NLP和CV都没有边界了是吧？很多时候视觉感知，语言认知，可能都会变成了多模态认知。连接主义、符号主义，我相信未来也是会越走越近的，可能也许就是我们所谓的神经符号主义，可能通用人工智能就是一条融合之路。

       其实关于他俩的结合方式，我觉得现在有很多工作已经在做一些探索了。比如说知识注入，增强的这种预训练大模型，刚才焕勇老师也提到了一些ERNIE之类的方法，我们这边有一个survey，大家可以去看一下2021年的，这个里面提到了很多主要是单模态大模型上的一些增强方式。多模态场景的话，主要是比如说用场景图的形式，把视觉信息融入到我们的多模态大模型里面去做增强。

       还有第二个比较值得关注的是知识检索增强的多模态生成。知识检索，简而言之就是我们在给定文本提示的情况之下，要访问外部的多模态知识库，以检索相关的图文对，用来作为生成图像的参考，像NIPS2022年其实就是做了一个类似的工作。它用给定的图片搜索更多的图片，生成图片和检索图片要做一些对齐，相当于你通过一个对于外部知识的检索，来辅助增强，或者说去约束，或者说去引导你，生成的一个结果。也有很多其他的工作，我们这里由于时间关系，不去细讲了。比如说从文到图的也有，Text inversion，还有这个DreamBooth, 其实都是通过微调这个模型，使得生成的图片和给定的物品尽量接近。它都是会有给定的图片作为一个打底的基础，我不希望你生成一个太天马行空的东西。

       还有就是因果知识增强的多模态生成。因果知识，实际上是现在的关联模型绝对做不到的，就是大模型这种靠关联能力想要知道因果，实际上是很难的一件事情，所以说我们可以利用因果图谱中的因果关系和图推理的能力，辅助大模型的因果决策。也有一些相关的工作，2022年的有一篇发在findings-acl上的，大家可以去看一下。当然他做的是一个event prediction的工作，其实是把事理因果图谱上的相关信息，跟大模型做结合，然后来做相关的推理。

       还有就是个性化知识介入的多模态生成。我相信大家已经开始有越来越多的这种领域应用，最近有很多的Plugins在网上发布，实际上我们未来很多的生成，我相信可能是每个企业，每个个人都要希望有自己的一个独特定制的大模型。我相信每一个个人也好，还是图谱，企业也好，还是自媒体也好，比如说我们需要一些价值观导向的东西，还是用知识图谱来管理和构建是比较方便的。因为知识图谱对人是比较友好的，你对它去做编辑、做修正、做改动都会比较方便。然后再用它去跟我们的大模型去做结合，去做约束、去做嵌入、去做检索式的生成也好，anyway，都是一些可行的方式，但这种我觉得是松散耦合的方式，解耦的方式去合作，应该是更适合未来很多的个性化应用的。

       我觉得Copilot本身，可能就是类似这样的一个产品。因为它本质上除了有个大模型在后面打底之外，它其实是有一个Microsoft的这个Graph。这个Graph实际上就是你自己的Data，就是一个关于你个人的知识图谱，就是把你的相关信息都拿到了，比较了解你，然后跟大模型相结合，去做各种各样的你想要做的PPT，或者excel表等等。

       如果在行业落地层面的话，我觉得我们也是不应该废弃当下已经构建出来的、很多行业的特色的数据，数据库、知识库等等。这些东西实际上都可以帮助我们跟通用大模型去做一个知识增强，更好的去构建一些行业的大模型。

       然后我们最近也在探索模型共同体这样一个工作，我们会尝试在一些领域任务上，采用多层的结构，除了有一个通用的大模型打底之外，我们希望有一个行业的大模型训练出来，再结合行业的知识库和外部的一些工具，再对于每一个小而美的模型，如果它做的精确度足够高，而且本身要求很高的这样的一些模型的话，我们应该保留它。但是我们可能要通过各层模型的协作，比如说某些模型是负责调用所有可能的知识库，或者各种各样的模型，它可能起到一个决策作用的，然后在最近放出来的HuggingGPT，在Hugging Face上做。我觉得这个工作的思路是类似的，只不过我们就会更强调各个模型之间的交互能力。

       以上就是我今天主要分享的内容。总结来说就是AIGC技术一定是加速了我们的步伐，但是我们仅凭AIGC技术是很难实现通用人工智能的，我相信知识图谱和AIGC之间还是应该互相借力，以上就是我今天的分享，谢谢大家。


本论坛发布的所有内容，包括但不限于文字、图片、音频、视频、图表、程序等，除特别标明外，均来源于CCF数字图书馆，版权归原作者或原出处所有。若涉及版权问题，请及时联系我们进行处理。