本帖最后由 中国计算机学会 于 2024-8-9 10:35 编辑
本期看点：基础模型的基础理论、基础模型的高效计算框架、大模型与知识图谱的结合、基于KG+LLM的AI应用开发新范式等4篇大模型相关内容全文
基础模型的基础理论—何俊贤 ADL138：ChatGPT与大模型技术
精彩内容节选
今年前不久的时候，就有Paper开始批判这一点，他们做了一些实验，为了评估涌现能力是不是海市蜃楼，假的东西。然后他们觉得能力涌现现象的评价指标可能是离散的，因为刚刚这个图评价指标可能很多是Accuracy。Accuracy是Exact match一个离散的mirage ，就是你必须得跟他的标准一模一样。大家可以看中间这一点，就是他可能是输出正确答案的概率，他们发现这个概率很多时候是线性增长。 但是你如果把概率对应到prediction的这样一个Accuracy上面，它就变成了这样的突变。这个也很好理解，就比如说我有一个分类器，你分这个文本可能是Positive 还是Negative，然后你分Positive的概率，打个比方，这个文本本来应该是Positive，但是你分到Positive的概率一开始只有0.1。随着你模型变大，它从0.1就开始变好，变到0.2、0.3、0.4，但是直到变到0.5之前，你的预测都是Negative，因为你的Positive概率是小于0的......
基础模型的高效计算框架—韩旭 ADL138ChatGPT与大模型技术 精彩内容节选
为了降低空泡比例，英伟达在megatron第二版做了细化流水这件事，实际上，流水的级数化更细了，相当于让流水拉的更密集。那中间的空泡比例自然就降低了，大家干活的效率就变高了。但是它的代价是什么，我让流水降低，我刚刚说了流水除了它的空泡是一个不确定的点，它另外一个问题是，两个流水之间需要通信，流水的级数拉的越长越细，通信的次数就越多，这个概率会越大了。它这种方式是降低了空泡，但是增加了通信的代价。 英伟达之后说后面推进速度特别快。大家买市面上的显卡，都有这样的经历，他会问你，我现在手上有英伟达的带NVlink的卡和英伟达带PCIE的卡都是A100。你要买哪一张？价格PCIE的会比NVlink要便宜很多，大家肯定想都是A100肯定买PCIE的......
浅谈大模型与知识图谱的结合—刘焕勇 TF97：大语言模型时代的知识工程 精彩内容节选
大模型在训练过程中的阶段，它的效果取决于它所用的这个模型架构、训练时间和训练算力。它其实可以用知识图谱来增强模型的有效性。怎么增强呢？一种方法是隐性的，就比如说ERNIE，它其实是把一些实体的表示融入到文本表示里面去，或者是说我们直接把知识图谱的嵌入和这个模型去做联合训练，然后把它真正的去融合到这个语言表示模型当中。 另外一种方法，就是构建以它为中心的下游评测任务，去做模型的训练评估。因为我们发现，你要去评估一个模型效果是好坏的话，你现在会用一些，比如说下游的任务，比如说阅读理解任务，但这些任务它其实和业务之间还是存在Gap的。我们能不能从图谱这个角度去构造一些和特定下游任务，或者是说特定场景，更对齐的一些任务上，这个是需要去考虑的...... 全文闪记链接（Link中点击）：https://shanji.dingtalk.com/app/transcribes/76327569643130363133373636335f343437303736333831345f32/106137663/2?from=4
基于KG+LLM的AI应用开发新范式—胡芳槐 ADL138：ChatGPT与大模型技术
精彩内容节选
通过语言大模型去构建知识图谱，在实际的应用过程中，我们更多的是要做可控的生成，也就是要在我们给定的数据边界、给定的知识边界里面去做生成。对于用户的输入，我们会做一层意图的理解。然后在KG里面去把我们要做生成、做理解的上下文的数据，包括实际数据本身检索出来，把它们作为提示的一部分，去共同构建整体的提示。然后再用语言大模型的生成和理解能力，去生成我们的档案。 对于复杂类的推理问题，我们就直接用KG的推理能力去做辅助，最终做答案的融合，同时对答案我们用KG里面的知识去做引证，去做链接，最终形成可信度相对来说比较高的一个答案，这就是简单的实现的一个路径......
本论坛发布的所有内容，包括但不限于文字、图片、音频、视频、图表、程序等，除特别标明外，均来源于CCF数字图书馆，版权归原作者或原出处所有。若涉及版权问题，请及时联系我们进行处理。
| 
京公网安备 11010802032778号 )
发表于 2024-8-9 09:45:20