如何看待United We Care研究人员在arXiv发表研究称数学上证明了ai的幻觉不可避免?

发布时间：

2024-09-17 06:57

阅读量：

llm的知识无非是in-weight＆in-context，理解了这个也就能理解幻觉实际上就是一个x等于了两个y的问题。顺着这个思路想要解决幻觉，只要解决这种一个x对应两个y的情况就可以，答案呼之欲出：增长context。发现没有，这是检索增强

当然这种方法解决不了训练不完备的问题。你训练数据严重不足，模型连基础能力都没有，再长context它也不能正确解答

当然如果要较真，context也不一定就完备，尤其当in-context正好跟in-weight知识冲突，那完了，x既等于y又等于-y，就看两边哪个强，哪个更在大特征空间上了。就像9.11＞9.8，你直接告诉llm它还会帮你纠错，过会就开始胡言乱语了。不如先告诉它0.8＞0.11再试试？

顺着这个思路，换个问题继续深入，为什么o1效果好，为什么reflection效果好（非Reflection 70B），应该有人已经转过弯来了，我就留个白，大伙自由讨论

END