官方网站-首页

【导语】过去人们常被提醒“勿在网上乱搜医疗建议”，因信息不可靠。而今AI时代，又添新风险——莫轻易让AI提供医疗建议。《内科医学年鉴·临床病例》就报道了一起患者听信AI用溴代替氯，导致溴中毒的奇葩病例。这虽罕见，却引出“AI精神病”现象，即(jí)用(yòng)户(hù)与(yǔ)AI聊(liáo)天(tiān)时(shí)症(zhèng)状(zhuàng)加(jiā)剧(jù)，目前虽未正式认定，但已引发关注。OpenAI已更新政策，禁止ChatGPT在某些领域提供服务。

以前大家经常说“不要在网上乱搜医疗建议”，因为(wèi)网(wǎng)上(shàng)信(xìn)息(xi)不(bù)那(nà)么(me)可(kě)靠(kào)，患(huàn)者(zhě)又(yòu)不(bù)可(kě)能(néng)准(zhǔn)确(què)描(miáo)述(shù)自(zì)己(jǐ)所(suǒ)有(yǒu)的(de)症(zhèng)状(zhuàng)成(chéng)了(le)而(ér)大(dà)语(yǔ)言(yán)模(mó)型(xíng) AI 时(shí)代(dài)，又(yòu)出(chū)现(xiàn)了(le)一(yī)种(zhǒng)新(xīn)风(fēng)险(xiǎn)，网(wǎng)上寻医问药禁忌中，恐怕必须再加上一条“不要随便让 AI 提供医疗建议”了。

图片截自论文页面

不久前《内科医学年鉴·临床病例》（Annals of Internal Medicine: Clinical Cases）就报道了一起神奇的病例——有人因为听信 AI，把自己吃成了多年未见的溴中毒。

AI 真敢建议，患者真敢实践

这个病例，只能说从头到脚都写着奇葩二字。

这人一开始去急诊室，是说他邻居在给他下毒，当时没有说自己在吃任何药物。住院之后才得知，他平日有好多食物都不吃，水也是自己在家蒸馏了才喝，在医院虽然一直说口渴但又不信任别人给他的水。住院 24 小时后，他的偏执狂症状越来越严重，出现了幻听幻视，还试图从医院逃跑，结果被强制收押并打了抗精神病药。

等到药物生效，患者冷静下来之后，医生才算问出来真实情况。原来，这位患者特别特别害怕吃到对身体有害的食物，这也不吃那也不吃，已经把自己饿到了多种维生素欠缺的地步了。而就在这时，他又在网上看到了关于食盐的文章，得知食盐对身体很不好。

就在研究食盐危害的过程中，他灵机一动，发现了一个巨大的“华点”：食盐的化学成分是氯化钠，但为什么文献都在关注钠对身体的伤害，没人关注氯呢？超市只能买到低钠盐，为什么买不到低氯盐呢？难道这个氯，对身体竟然没有一点害处吗？能不能不摄入氯呢？

图库版权图片，不授权转载

既然网上没人说，那就得靠自己了，患者询问了 ChatGPT，结果 AI 给出了“非常具有可操作性”的建议：用溴来代替氯。

这位患者真的这么干了，然而这并不是个好主意。

看似六七八分像，其实完全不一样

溴，元素符号 Br，在周期表上位于氯的正下方，是个普通人不太容易接触到的元素。大概一百年前，溴中毒还算是医生经常能遇到的事情，因为当时溴被认为拥有镇静效果，很多非处方药物里含有溴盐，什么治失眠、治焦虑、治歇斯底里，都能用到。当然，要是一不小心吃多了，那就从治焦虑一跃而成致焦虑，引发运动失调和各种幻觉，严重的可以导致昏迷，顺便还附送厌食和便秘之类的症状。

为什么会这样呢？溴和氯都是卤族元素，最外层都是 7 个电子，化学性质很相似，在简单的化学反应里确实可以相互代替。人体摄入溴离子后，它也会“冒充”氯离子去参与各种生化反应。

但是一旦反应真的开始，它就露馅了：生化反应非常精密，哪一步速度稍微跟不上，活性稍微差一点，就会导致大范围脱节。神经系统的正常运行相当依赖于氯离子，所以如果被溴离子冒名顶(dǐng)替(tì)，遭(zāo)到(dào)的(de)破(pò)坏(huài)也尤其严重。

人体可以排出体内的溴离子，但速度算不上很快，大概 9 到 12 天才能排出一半。所以如果持续摄入含溴的食物或者药物，溴可以逐渐积累，造成更大伤害。历史上，溴中毒一度占到了精神病院(yuàn)住(zhù)院(yuàn)人(rén)数(shù)的(de) 8%。后(hòu)来(lái)大(dà)家(jiā)都(dōu)知(zhī)道(dào)了(le)溴(xiù)的(de)危(wēi)险(xiǎn)性(xìng)，药(yào)物(wù)纷(fēn)纷(fēn)弃(qì)用(yòng)它(tā)，溴(xiù)中(zhōng)毒(dú)也(yě)就(jiù)难(nán)得(de)一(yī)见(jiàn)了(le)。

没(méi)想(xiǎng)到(dào)如(rú)今(jīn)因(yīn)为 AI 的建议，溴中毒又迎来了难得的“文艺复兴”。可喜可贺，还好，这位病人在住院三个星期之后，中毒症状逐渐缓解而顺利出院了，两周后的复查也没有问题。希望他能就此放弃对低氯饮食的追求吧。

这种“精神”病

大概已经在路上了

如此说来，虽然这个病例本身是罕见的奇葩，但它却反映了更广泛的现象，那就是所谓的“聊天机器人精神病”（Chatbot psychosis）或者“ AI 精神病”。

这个词语形容的不是 AI 本身犯病了，而是用户在和大语言模型 AI 聊天的过程中产生或者加剧了精神病症状。一个非常典型的场景是，用户相信某种阴谋论，AI 没有否定反而迎合并鼓励用户，并且幻觉出支持这一阴谋论的各类证据，导致用户深陷其中，日常生活和社交濒临崩溃，甚至采取极端行为。

目前这一现象还不是正式认定的诊断(duàn)，也(yě)几(jǐ)乎没有(yǒu)相(xiāng)关科(kē)学(xué)研(yán)究(jiū)，但(dàn)已(yǐ)经(jīng)引(yǐn)起(qǐ)了(le)媒(méi)体(tǐ)的(de)重(zhòng)视(shì)，积(jī)累(lèi)了(le)数(shù)量(liàng)不(bù)少(shǎo)的(de)个(gè)案(àn)。或(huò)许(xǔ)不(bù)久(jiǔ)之(zhī)后(hòu)，我(wǒ)们(men)就(jiù)能(néng)知(zhī)道(dào)这(zhè)一(yī)现(xiàn)象(xiàng)的(de)严(yán)重(zhòng)程(chéng)度(dù)究(jiū)竟(jìng)如(rú)何(hé)。

相(xiāng)信(xìn)奇怪的信念，这本身相当常见。但人终究是社会动物，需要身边同道之人的支持，才能毅然决然地一路走进沟里出不来。历史上要找到这样的同伴往往需要抛(pāo)家(jiā)弃(qì)子(zi)，互(hù)联(lián)网(wǎng)出(chū)现(xiàn)后(hòu)就(jiù)可(kě)以(yǐ)到(dào)小(xiǎo)众(zhòng)论(lùn)坛(tán)里(lǐ)寻(xún)找(zhǎo)同(tóng)好(hǎo)了(le)。

而(ér)生(shēng)成(chéng)式(shì) AI 的(de)时(shí)代(dài)，连(lián)人(rén)类(lèi)同(tóng)道(dào)都(dōu)不(bù)需(xū)要(yào)，管(guǎn)你(nǐ)有(yǒu)什(shén)么(me)怪(guài)念(niàn)头(tóu)，AI 都(dōu)能(néng)给(gěi)你(nǐ)提(tí)供(gōng)无(wú)限(xiàn)的(de)支持和情绪价值。毕竟目前的大语言模型距离真正的通用智能还颇有一段距离，如果不把它设定为“应声虫”，就无法给用户良好的使用体验。但是这种体验是否值得付出幻觉、谣言和 AI 精神病的代价，我们作为普通用户有没有选择权，那就是另一个问题了。

据报道，OpenAI 已于 10 月 29 日更新了 ChatGPT 的使用政策，禁止其在某些原本被认为最具价值的应用领域提供服务 —— 例如解读医学影像、协助医疗诊断，以及提供法律或财务建议。

此举旨在防止 ChatGPT（以及其他任何 OpenAI 模型）输出可能被视作专业性、受托性或具有法律约束力的建议，以符合欧盟《人工智能法案》和美国食品药品监督管理局的相关指导要求。

策划制作

作者丨范岗 科普作者

审核丨于乃功 北京工业大学教授 中国人工智能学会理事

         孙明轩 上海工程技术大学教授、中国科普作家协会会员

策划丨丁崝

责编丨丁崝

审校丨徐来、张林林

本文封面图片及文内图片来自版权图库

转载使用可能引发版权纠纷