新闻中心 >> 公司新闻 >>

危险!别再让AI给你看病了!

2025-11-04 18:00:09

【导语】过去人们常被提醒“勿在网上乱搜医疗建议”,因信息不可靠。而今AI时代,又添新风险——莫轻易让AI提供医疗建议。《内科医学年鉴·临床病例》就报道了一起患者听信AI用溴代替氯,导致溴中毒的奇葩病例。这虽罕见,却引出“AI精神病”现象,即用户与AI聊天时症状加剧,目前虽未正式认定,但已引发关注。OpenAI已更新政策,禁止ChatGPT在某些领域提供服务。

以前大家经常说“不要在网上乱搜医疗建议”,因为网上信息不那么可靠,患者又不可能准确描述自己所有的症状成了而大语言模型 AI 时代,又出现了一种新风险,网上寻医问药禁忌中,恐怕必须再加上一条“不要随便让 AI 提供医疗建议”了。

图片

图片截自论文页面

不久前《内科医学年鉴·临床病例》(Annals of Internal Medicine: Clinical Cases)就报道了一起神奇的病例——有人因为听信 AI,把自己吃成了多年未见的溴中毒。

AI 真敢建议,患者真敢实践

这个病例,只能说从头到脚都写着奇葩二字。

这人一开始去急诊室,是说他邻居在给他下毒,当时没有说自己在吃任何药物。住院之后才得知,他平日有好多食物都不吃,水也是自己在家蒸馏了才喝,在医院虽然一直说口渴但又不信任别人给他的水。住院 24 小时后,他的偏执狂症状越来越严重,出现了幻听幻视,还试图从医院逃跑,结果被强制(zhì)收(shōu)押(yā)并(bìng)打(dǎ)了(le)抗(kàng)精(jīng)神(shén)病(bìng)药(yào)。

等(děng)到(dào)药(yào)物(wù)生(shēng)效(xiào),患(huàn)者(zhě)冷(lěng)静(jìng)下(xià)来(lái)之(zhī)后(hòu),医(yī)生(shēng)才(cái)算(suàn)问(wèn)出(chū)来(lái)真(zhēn)实(shí)情(qíng)况(kuàng)。原(yuán)来(lái),这(zhè)位(wèi)患(huàn)者(zhě)特别特别害怕吃到对身体有害的食物,这也不吃那也不吃,已经把自己饿到了多种维生素欠缺的地步了。而就在这时,他又在网上看到了关于食盐的文章,得知食盐对身体很不好。

就在研究食盐危害的过程中,他灵机一动,发现了一个巨大的“华点”:食盐的化学成分是氯化钠,但为什么文献都在关注钠对身体的伤害,没人关注氯呢?超市只能买到低钠盐,为什么买不到低氯盐呢?难道这个氯,对身体竟然没有一点害处吗?能不能不摄入氯呢?

图片

图库版权图片,不授权转载

既然网上没人说,那就得靠自己了,患者询问了 ChatGPT,结果 AI 给出了“非常具有可操作性”的建议:用溴来代替氯。

这位患者真的这么干了,然而这并不是个好主意。

看似六七八分像,其实完全不一样

溴,元素符号 Br,在周期表上位于氯的正下方,是个普通人不太容易接触到的元素。大概一百年前,溴中毒还算是医生经常能遇到的事情,因为当时溴被认为拥有镇静效果,很多非处方药物里含有溴盐,什么治失眠、治焦虑、治歇斯底里,都能用到。当然,要是一不小心吃多了,那就从治焦虑一跃而成致焦虑,引发运动失调和各种幻觉,严重的可以导致昏迷,顺便还附送厌食和便秘之类的症状。

为什么会这样呢?溴和(hé)氯(lǜ)都(dōu)是(shì)卤(lǔ)族(zú)元(yuán)素(sù),最(zuì)外(wài)层(céng)都(dōu)是(shì) 7 个(gè)电(diàn)子,化学性质很相似,在简单的化学反应里确实可以相互代替。人体摄入溴离子后,它也会“冒充”氯离子去参与各种生化反应。

但是一旦反应真的开始,它就露馅了:生化反应非常精密,哪一步速度稍微跟不上,活性稍微差一点,就(jiù)会(huì)导(dǎo)致(zhì)大(dà)范(fàn)围(wéi)脱(tuō)节(jié)。神(shén)经(jīng)系(xì)统(tǒng)的(de)正(zhèng)常(cháng)运(yùn)行(xíng)相(xiāng)当(dāng)依(yī)赖(lài)于(yú)氯(lǜ)离(lí)子(zi),所(suǒ)以(yǐ)如(rú)果(guǒ)被(bèi)溴(xiù)离(lí)子(zi)冒(mào)名顶(dǐng)替(tì),遭(zāo)到(dào)的(de)破(pò)坏(huài)也(yě)尤(yóu)其(qí)严(yán)重。

人体可以排出体内的溴离子,但速度算不上很快,大概 9 到 12 天才能排出一半。所以如果持续摄入含溴的食物或者药物,溴可以逐渐积累,造成更大伤害。历史上,溴中毒一度占到了精神病院住院人数的 8%。后来大家都知道了溴的危险性,药物纷纷弃用它,溴中毒也就难得一见了。

没想到如今因为 AI 的建议,溴中毒又迎来了难得的“文艺复兴”。可喜可贺,还好,这位病人在住院三个星期之后,中毒症状逐渐缓解而顺利出院了,两周后的复查也没有问题。希望他能就此放弃对低氯饮食的追求吧。

这种“精神”病

大概已经在路上了

如此说来,虽然这个病例本身是罕见的(de)奇(qí)葩(pā),但(dàn)它(tā)却(què)反(fǎn)映(yìng)了(le)更(gèng)广(guǎng)泛(fàn)的(de)现(xiàn)象(xiàng),那(nà)就(jiù)是(shì)所(suǒ)谓(wèi)的(de)“聊(liáo)天(tiān)机(jī)器(qì)人精神病”(Chatbot psychosis)或者“ AI 精神病”。

这个词语形容的不是 AI 本身犯病了,而是用户在和大语言模型 AI 聊天的过程中产生或者加剧了精神病症状。一个非常典型的场景是,用户相信某种阴谋论,AI 没有否定反而迎合并鼓励用户,并且幻觉出支持这一阴谋论的各类证据,导致用户深陷其中,日常生活和社交濒临崩溃,甚至采取极端行为。

目前这一现象还不是正式认定的诊断,也几乎没有相关科学研究,但已经引起了媒体的重视,积累了数量不少的个案。或许不久之后,我们就能知道这一现象的严重程度究竟如何。

相信奇怪的信念,这本身相当常见。但人终究是社会动物,需要身边同道之人的支持,才能毅然决然地一路走进沟里出不来。历史上要找到这样的同伴往往需要抛家弃子,互联网出现后就可以到小众论坛里寻找同好了。

而生成式 AI 的时代,连人类同道都不需要,管你有什么怪念头,AI 都能给你提供无限的支持和情绪价值。毕竟目前的大语言模型距离真正的通用智能还颇有一段距离,如果不把它设定为“应声虫”,就无法给用户良好的使用体验。但是这种体验是否值得付出幻觉、谣言和 AI 精神病的代价,我们作为普通用户有没有选择权,那就是另一个问题了。

据报道,OpenAI 已于 10 月 29 日更新了 ChatGPT 的使用政策,禁止其在某些原本被认为(wèi)最(zuì)具(jù)价(jià)值(zhí)的(de)应(yīng)用(yòng)领(lǐng)域提(tí)供(gōng)服(fú)务(wu) —— 例(lì)如(rú)解(jiě)读(dú)医(yī)学(xué)影(yǐng)像(xiàng)、协(xié)助(zhù)医(yī)疗(liáo)诊(zhěn)断(duàn),以(yǐ)及(jí)提(tí)供(gōng)法(fǎ)律(lǜ)或(huò)财(cái)务建议。

此举旨在防止 ChatGPT(以及其他任何 OpenAI 模型)输出可能被视作专业性、受托性或具有法律约束力的建议,以符合欧盟《人工智能法案》和美国食品药品监督管理局的相关指导要求。

策划制作

作者丨范岗 科普作者

审核丨于乃功 北京工业大学教授 中国人工智能学会理事

         孙明轩 上海工程技术大学教授、中国科普作家协会会员

策划丨丁崝

责编丨丁崝

审校丨徐来、张林林

本文封面图片及文内图片来自版权图库

转载使用可能引发版权纠纷

400-85643322
广东省广州市番禺区长沙路103号
PR:com@czzscl.com; Sales:ccm@czzscl.com
粤ICP备19042278号 | © 2025 汽车芯片科技有限公司官方网站【登录入口】. All rights reserved. | 网站地图