澳大利亚联邦科学与工业研究组织(CSIRO)和昆士兰大学(UQ)的研究人员开展的一项突破性研究,揭示了人工智能(特别是大型语言模型,例如ChatGPT)在生成健康信息方面的可信度这一关键发现。事实上,这项研究也揭示了随着技术与医疗信息传播的融合程度不断加深,可能出现的诸多挑战的复杂性。.
为了准确性而简化
这项实验测试了 ChatGPT 对来自 TREC 健康虚假信息 trac项目的 100 个健康相关问题的回答,结果发现,问题的呈现方式对 ChatGPT 的准确率有显著影响。当问题表述简单,不提供其他证据时,ChatGPT 基于现有医学知识的准确率可达 80%。然而,当问题带有证据倾向性,例如支持或反对某个问题时,其准确率则下降至 63%。.
该研究进一步发现,当允许 ChatGPT 在回答中表达不确定性时,其准确率骤降至惊人的 28%。因此,研究表明,无论此类带有偏见的证据的真假如何,都会给系统引入“噪声”,并可能trac其给出可靠答案的能力。这种语言模型的行为将对人工智能处理健康相关咨询和虚假信息等复杂信息的方式构成真正的威胁。.
将人工智能与健康信息相结合的挑战
作为主流搜索引擎的一部分,LLM(生命周期管理)和搜索技术的这种能力与检索增强生成(RAG)流程相结合,成为在线获取健康信息的重要一步。然而,澳大利亚联邦科学与工业研究组织(CSIRO)首席研究科学家、昆士兰大学副教授贝文·库普曼博士和昆士兰数字健康中心的吉多·祖孔的研究推翻了这种观点,并表明人们对LLM如何与搜索组件交互的理解非常有限,甚至几乎没有理解,这导致数据检索不完整。.
因此,对于高级用户而言,这一点至关重要;而对于健康相关问题,用户则可以利用网络资源。该研究指出,亟需开展更多研究,以弥合人们对LLM(生命科学硕士)如何处理和检索健康信息的理解差距,从而确保其对公众的回应具有可靠性和准确性。.
前进的道路
因此,显而易见,亟需对人工智能平台在健康信息领域的能力和局限性进行更多研究。研究人员据此提出,这需要提高公众对通过人工智能平台寻求健康建议可能存在的风险的认识,并需要建立相应的机制来提高所获取信息的质量和准确性。.
随着技术格局的演变,我们获取和解读健康信息的方式也在不断变化。这有力地提醒我们,在人工智能提问中保持简洁明了至关重要,而引入复杂证据则可能导致误导。因此,我们的目标是完美地运用人工智能;例如,提高获取可靠健康信息的最佳途径,这就需要我们更好地判断人工智能处理能力与健康相关查询之间存在的复杂动态关系。.
CSIRO 和昆士兰大学的研究结果再次强调,人工智能与健康信息检索的结合极其复杂,出错的可能性非常高。随着人工智能在我们的日常生活中,尤其是在健康信息领域,扮演着越来越重要的角色,我们亟需了解机器的局限性,并使其更加可靠。.
这无疑将大大增加人们获取健康信息的途径,即便不能完全避免欺诈。然而,随着持续的研究和开发,即便情况如此,人工智能在健康信息领域革新潜力依然巨大,前提是我们在应用人工智能时秉持谨慎、意识和对准确性的承诺。.

