开yun体育网其中约四分之一的开端未经东谈主工审核-开云(中国)Kaiyun·官方网站 登录入口

IT之家 1 月 14 日音书开yun体育网,纽约大学的一项接头揭示了大型说话模子(LLM)在医学信息考验中的潜在风险。接头标明,即使考验数据中仅含有 0.001% 的作假信息,也可能导致模子输出不准确的医学谜底。
数据“投毒”是一个相对简短的见地。LLM 常常通过多数文本进行考验,这些文本大多来自互联网。通过在考验数据中注入特定信息,不错使模子在生成谜底时将这些信息视为事实。这种按序以致不需要径直造访 LLM 自身,只需将蓄意信息发布到互联网上,便可能被纳入考验数据中。举例,一家制药公司只需发布几份针对性文献,便可能影响模子对某种药物的解析。
据IT之家了解,接头团队接受了一个常用于 LLM 考验的数据库“The Pile”作为接头对象。该数据库包含多数医学信息,其中约四分之一的开端未经东谈主工审核,主要来自互联网爬取。接头东谈主员在三个医学范畴(普通医学、神经外科和药物)中接受了 60 个主题,并在“The Pile”中植入了由 GPT-3.5 生成的“高质料”医学作假信息。遵守泄漏,即使仅替换 0.5% 至 1% 的干系信息,考验出的模子在这些主题上生成作假信息的概率也权贵增多,且这些作假信息还会影响其他医学主题。
张开剩余47%接头东谈主员进一步有计划了作假信息的最低影响门槛。以疫苗作假信息为例,即使作假信息仅占考验数据的 0.01%,模子生成的谜底中就有逾越 10% 包含作假信息;行动假信息比例降至 0.001% 时,仍有逾越 7% 的谜底是无益的。接头东谈主员指出,针对领有 700 亿参数的 LLaMA 2 模子进行雷同流毒,仅需生成 4 万篇著述(本钱低于 100 好意思元)便可。这些“著述”不错是普通的网页,不错把作假信息甩掉在网页中不会被正常浏览到的区域,以致不错通过守密文本(如玄色布景上的玄色笔墨)来达成。
接头还指出,现存的作假信息问题相通拦阻漠视。好多非专科东谈主士倾向于从通用 LLM 中赢得医学信息,而这些模子常常基于所有这个词互联网进行考验,其中包含多数未经审核的作假信息。接头东谈主员联想了一种算法,概况识别 LLM 输出中的医学术语,并与进程考据的生物医学学问图谱进行交叉援用,从而标记出无法考据的短语。天然这种按序未能捕捉所有医学作假信息,但生效标记了其中大部天职容。
然而,即使是最佳的医学数据库(如 PubMed)也存在作假信息问题。医学接头文献中充斥着未能达成的表面和已被淘汰的休养按序。
接头标明,即使依赖最优质的医学数据库开yun体育网,也无法保证考验出的 LLM 都备免受作假信息的影响。医学范畴的复杂性使得打造一个永恒可靠的医学 LLM 变得尤为繁难。
发布于:山东省