打开同行评论
116 打开同行评论
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年，V老.24, 不.9, 116–117
替罪羊在循环中？人类对医疗 AI 的控制以及
（错误）责任归属
罗伯特·拉尼施
u波茨坦大学
Salloch 和 Eriksen 的论文 （2024） 提供
深刻 贡献 自 这 伦理 争论 上
机器 学习驱动型 临床 决定 支持
系统（ML_CDSS）并提供急需的控制-
AI 中协作方法的感知取向
伦理学。虽然我同意他们的推理，但我扩展
作者提出的第三个反对意见（“放置也
责任重大“、Salloch 和 Eriksen 2024, 75)
和 谨慎 大约 这 潜在 影响 之
越来越多地安置临床医生，尤其是患者
“In the Loop” 作为共同推理者。
这种做法有可能将医生和患者变成
故障或故障的替罪羊
医疗 AI。众所周知，人们表现出复杂的 atti-
责备判断和问责制 ASCRip 等-
tions （英语） 在 这 上下文 之 自动化 系统 （利马，
Grgić-Hlača 和 Cha 2023).描述的现象
发帖人Elish （2019）是人类最终如何陷入“道德
Crumple Zone“，保护机器的完整性
以不成比例甚至不公正的代价
怪 上 这 最近 人类。 个人 关闭 自
当机器出现故障时，机器往往会承担责任-
功能，强调了患者的脆弱性
可能会因不受欢迎的-
受到复杂 AI 系统的影响。调查有
在自主机器人系统方面显示出类似的效果-
TEM，参与者往往持有外科医生账户-
即使在它们功率非常小的情况下也能使用
控制 一 自治 机器 （贾姆乔姆 et 铝。
2022).在复杂和一些-
times opaque ML_CDSS，这样的错误归因 respon-
可性可能成为未来的紧迫挑战，
提出道德问题和法律问题，特别是-
关于责任的 larly （Mello 和 Guha 2024).
应该承认，整合人类
Into the Loop 不仅引起了认识论的关注-
他们有效监督或共同推理的能力
人工智能。它还引发了对公平性的担忧，因为不公正的指责可能会
放在人类身上。同时增强患者角色
在 AI 支持的决策中值得称赞，步骤
必须采取这些措施来保护人类行为者免受这种指责。
Salloch 和 Eriksen 建议将 answerabil 分开-
ity 从 问 责 自 减轻 这些 风险。
但是，此方法可能会导致进一步的问题。
如果患者参与ML_CDSS
对提供的决策支持的任何因果影响
由 这 算法 针对 责任 什么时候
Things Go Wrong 仍然具有挑战性。
如果坚持认为不应拘留患者
正如 Salloch 和 Eriksen 所建议的那样，负责负担
可以转移到循环中的另一个人 — 该
临床医生——从而给健康带来更大的压力-
护理专业人员并加剧他们已经的需求-
ing 角色（Mello 和 Guha 2024).或者，ML
系统或开发者可能会被追究责任，但
在某些情况下似乎不合理。责怪 ML
系统本身是有问题的，因为机器可以说不是
适当 科目 为 怪 （丹纳赫 2016).
归 因 责任 自 开发 人员 也 出现
如果决策支持失败（部分）导致 unfair
从患者作为共同推理者的参与。
因此，在
这样 场景 能 可能 唤起 新增功能 责任
间隙 （Matthias 2004），尤其是问责差距，在
医患 AI 合作。发生错误时，
确定道德上适当的主体
因为失败或伤害可能变得不可能，电位-
tially “粉碎问责制”（Salloch 和 Eriksen
2024，67），作者正确地试图避免这种情况。
矛盾的是，人在回路中通常是介绍-
被骗 自 减轻 责任 差距 由 带
道德主体能够识别不受欢迎的
ML 系统行为 （Rahwan 2018).这通常
将这些代理转换为可问责的实体。正在推出
© 2024 作者。由泰勒 & 许可发布 francis 集团， 有限责任公司.
联系 r奥伯特 r阿尼施 ranisch@uni-potsdam.de f学院 hEalth 伊尔斯 sciences Brandenburg， u波茨坦大学， Am mÜhlenberg 9， 波茨坦，
勃兰登堡州，14476 年德国。
这是一个 o笔 Access 文章根据 c反应 commons 属性 liense （http://creativecommons.org/licenses/by/4.0/），它允许 unrestricted
在任何媒体上使用、分发和复制，前提是正确引用原始作品。本文发布所依据的条款允许发布
接受 m由作者或经作者同意在存储库中编写的 anuscript 文件。
https://doi.org/10.1080/15265161.2024.2377137
116 打开同行评论
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年，V老.24, 不.9, 116–117
替罪羊在循环中？人类对医疗 AI 的控制以及
（错误）责任归属
罗伯特·拉尼施
u波茨坦大学
Salloch 和 Eriksen 的论文 （2024） 提供
深刻 贡献 自 这 伦理 争论 上
机器 学习驱动型 临床 决定 支持
系统（ML_CDSS）并提供急需的控制-
AI 中协作方法的感知取向
伦理学。虽然我同意他们的推理，但我扩展
作者提出的第三个反对意见（“放置也
责任重大“、Salloch 和 Eriksen 2024, 75)
和 谨慎 大约 这 潜在 影响 之
越来越多地安置临床医生，尤其是患者
“In the Loop” 作为共同推理者。
这种做法有可能将医生和患者变成
故障或故障的替罪羊
医疗 AI。众所周知，人们表现出复杂的 atti-
责备判断和问责制 ASCRip 等-
tions （英语） 在 这 上下文 之 自动化 系统 （利马，
Grgić-Hlača 和 Cha 2023).描述的现象
发帖人Elish （2019）是人类最终如何陷入“道德
Crumple Zone“，保护机器的完整性
以不成比例甚至不公正的代价
怪 上 这 最近 人类。 个人 关闭 自
当机器出现故障时，机器往往会承担责任-
功能，强调了患者的脆弱性
可能会因不受欢迎的-
受到复杂 AI 系统的影响。调查有
在自主机器人系统方面显示出类似的效果-
TEM，参与者往往持有外科医生账户-
即使在它们功率非常小的情况下也能使用
控制 一 自治 机器 （贾姆乔姆 et 铝。
2022).在复杂和一些-
times opaque ML_CDSS，这样的错误归因 respon-
可性可能成为未来的紧迫挑战，
提出道德问题和法律问题，特别是-
关于责任的 larly （Mello 和 Guha 2024).
应该承认，整合人类
Into the Loop 不仅引起了认识论的关注-
他们有效监督或共同推理的能力
人工智能。它还引发了对公平性的担忧，因为不公正的指责可能会
放在人类身上。同时增强患者角色
在 AI 支持的决策中值得称赞，步骤
必须采取这些措施来保护人类行为者免受这种指责。
Salloch 和 Eriksen 建议将 answerabil 分开-
ity 从 问 责 自 减轻 这些 风险。
但是，此方法可能会导致进一步的问题。
如果患者参与ML_CDSS
对提供的决策支持的任何因果影响
由 这 算法 针对 责任 什么时候
Things Go Wrong 仍然具有挑战性。
如果坚持认为不应拘留患者
正如 Salloch 和 Eriksen 所建议的那样，负责负担
可以转移到循环中的另一个人 — 该
临床医生——从而给健康带来更大的压力-
护理专业人员并加剧他们已经的需求-
ing 角色（Mello 和 Guha 2024).或者，ML
系统或开发者可能会被追究责任，但
在某些情况下似乎不合理。责怪 ML
系统本身是有问题的，因为机器可以说不是
适当 科目 为 怪 （丹纳赫 2016).
归 因 责任 自 开发 人员 也 出现
如果决策支持失败（部分）导致 unfair
从患者作为共同推理者的参与。
因此，在
这样 场景 能 可能 唤起 新增功能 责任
间隙 （Matthias 2004），尤其是问责差距，在
医患 AI 合作。发生错误时，
确定道德上适当的主体
因为失败或伤害可能变得不可能，电位-
tially “粉碎问责制”（Salloch 和 Eriksen
2024，67），作者正确地试图避免这种情况。
矛盾的是，人在回路中通常是介绍-
被骗 自 减轻 责任 差距 由 带
道德主体能够识别不受欢迎的
ML 系统行为 （Rahwan 2018).这通常
将这些代理转换为可问责的实体。正在推出
© 2024 作者。由泰勒 & 许可发布 francis 集团， 有限责任公司.
联系 r奥伯特 r阿尼施 ranisch@uni-potsdam.de f学院 hEalth 伊尔斯 sciences Brandenburg， u波茨坦大学， Am mÜhlenberg 9， 波茨坦，
勃兰登堡州，14476 年德国。
这是一个 o笔 Access 文章根据 c反应 commons 属性 liense （http://creativecommons.org/licenses/by/4.0/），它允许 unrestricted
在任何媒体上使用、分发和复制，前提是正确引用原始作品。本文发布所依据的条款允许发布
接受 m由作者或经作者同意在存储库中编写的 anuscript 文件。
https://doi.org/10.1080/15265161.2024.2377137
打开同行评论
ThE 一个梅里肯 JOu核糖核酸l Of BIOETh集成电路 117
患者进入循环，旨在影响 ML 系统-
TEM 透射电镜 决定 支持 而 同时 看到
他们作为对责任归属免疫，可以
恰好加剧了责任差距。这将创建一个
自相矛盾 情况 哪里 这 非常 溶液 自
责任差距 — 人工参与 — 引入了
问责制差距的潜在新来源。
披露声明
作者未报告潜在的利益冲突。
资金
这项工作由 VolkswagenStiftung 资助，作为
数字医学伦理网络（资助号 9B233）。
ORCID
罗伯特·拉尼施 http://orcid.org/0000-0002-1676-1694
引用
丹纳赫 J. 2016.机器人、法律和报复差距。 伦理学
和信息技术 18(4):299–309.doi： 18（4）：299–309.doi：10.1007/
编号： S10676-016-9403-3.
埃利什，MC 2019.道德崩溃区：警示故事
人机交互 互动。 有意思 科学 科技
和社会 5:40–60.doi： 5：40–60.doi：10.17351/ESTS2019.260.
Jamjoom， A. A. B.， AM. A. Jamjoom， JP 托马斯， P.
Jamjoom，A.A.B.，上午A. Jamjoom， JP 托马斯， P.
棕榈树， K. 克尔 J. W. 柯林斯 E. 瓦耶纳， D.
斯托亚诺夫和 H. J. 马库斯。 2022.自主手术
机器人系统和责任困境。 前沿
手术 9：1015367. doi：10.3389/fsurg.2022.1015367.
利马，G.，N. Grgić-Hlača 和 M. Cha。 2023.责怪 胡-
人与机器：是什么影响了人们对
算法 伤害。 在 论文集 之 这 2023 池
计算系统中的人为因素会议, 1–
26. doi：10.1145/3544548.3580953.
马蒂亚斯 2004.责任差距：责任归属-
ity 来执行学习自动机的操作。 道德与信息
科技 6(3):175–83.doi： 6（3）：175–83.doi：10.1007/s10676-004-3422-1.
Mello， MM和 N. Guha。 2024.了解责任
使用医疗保健人工智能工具的风险。
这 新增功能 英国 杂志 之 药 390(3):271–8.
doi：10.1056/NEJMhle2308901.
拉万，I. 2018.Society-in-the-loop：算法编程-
Rithmic 社会契约。 道德与信息技术
20(1):5–14.doi： 20（1）：5–14.doi：10.1007/s10676-017-9430-8.
Salloch， S. 和 A. Eriksen。 2024.人类在做什么
循环？当我们进行共推理和实际判断时-
ing 机器学习驱动的决策辅助工具。 美国人
生物伦理学杂志：美国生物伦理学杂志 24
(9):67–78.doi： （9）：67–78.doi：10.1080/15265161.2024.2353800.
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年，V老.24, 不.9, 117–120
透明度、评估和从“道德清洗”到可执行
法规：关于机器学习驱动的临床医生决策辅助
袁英·史蒂文斯 和马 h.扎瓦蒂
m鳃 u大学
介绍
机器学习 （ML） 具有巨大的潜力
增强预后、诊断、
和医疗保健骗局中的治疗决策-
发短信。当用于临床环境时，ML 系统可以
涉及处理大量患者
个人数据，目的是训练系统
识别这些数据中的模式，并以速度和规模
这通常远远超出了人类的能力。
ML 系统可用于广泛的 pur-
姿势，例如用于医疗诊断、药物发现
和开发、个性化医疗、医疗想象-
ING 分析、虚拟助手和聊天机器人，以及
更广泛的临床决策支持系统（Alowais
等。 2023).大型多模态模型，包括 con-
ChatGPT 等语言代理也正在成为
越来越普遍。它们之所以重要，是因为
他们能够分析大量各种物质
https://doi.org/10.1080/15265161.2024.2377123
© 2024 作者。由泰勒 & 许可发布 francis 集团， 有限责任公司.
联系 袁 Y. s特文斯 yuan.stevens@mcgill.ca c基因组学和政策领域， m鳃 u尼弗西蒂，740 Penfield Avenue 博士， oFFICE 5210、 m安特雷尔，
魁北克 h3A 0G1， c阿纳达。
s本文的补充数据可在线获取，网址为 https://doi.org/10.1080/15265161.2024.2377123
这是一个 o笔 Access 文章根据 c反应 commons 归属-n上c商业 liense （http://creativecommons.org/licenses/by-nc/4.0/），其中
允许在任何媒体上不受限制地进行非商业用途、分发和复制，前提是正确引用原始作品。本文所依据的术语
published 允许发布已接受的 m由作者或经作者同意在存储库中编写的 anuscript 文件。
ThE 一个梅里肯 JOu核糖核酸l Of BIOETh集成电路 117
患者进入循环，旨在影响 ML 系统-
TEM 透射电镜 决定 支持 而 同时 看到
他们作为对责任归属免疫，可以
恰好加剧了责任差距。这将创建一个
自相矛盾 情况 哪里 这 非常 溶液 自
责任差距 — 人工参与 — 引入了
问责制差距的潜在新来源。
披露声明
作者未报告潜在的利益冲突。
资金
这项工作由 VolkswagenStiftung 资助，作为
数字医学伦理网络（资助号 9B233）。
ORCID
罗伯特·拉尼施 http://orcid.org/0000-0002-1676-1694
引用
丹纳赫 J. 2016.机器人、法律和报复差距。 伦理学
和信息技术 18(4):299–309.doi： 18（4）：299–309.doi：10.1007/
编号： S10676-016-9403-3.
埃利什，MC 2019.道德崩溃区：警示故事
人机交互 互动。 有意思 科学 科技
和社会 5:40–60.doi： 5：40–60.doi：10.17351/ESTS2019.260.
Jamjoom， A. A. B.， AM. A. Jamjoom， JP 托马斯， P.
Jamjoom，A.A.B.，上午A. Jamjoom， JP 托马斯， P.
棕榈树， K. 克尔 J. W. 柯林斯 E. 瓦耶纳， D.
斯托亚诺夫和 H. J. 马库斯。 2022.自主手术
机器人系统和责任困境。 前沿
手术 9：1015367. doi：10.3389/fsurg.2022.1015367.
利马，G.，N. Grgić-Hlača 和 M. Cha。 2023.责怪 胡-
人与机器：是什么影响了人们对
算法 伤害。 在 论文集 之 这 2023 池
计算系统中的人为因素会议, 1–
26. doi：10.1145/3544548.3580953.
马蒂亚斯 2004.责任差距：责任归属-
ity 来执行学习自动机的操作。 道德与信息
科技 6(3):175–83.doi： 6（3）：175–83.doi：10.1007/s10676-004-3422-1.
Mello， MM和 N. Guha。 2024.了解责任
使用医疗保健人工智能工具的风险。
这 新增功能 英国 杂志 之 药 390(3):271–8.
doi：10.1056/NEJMhle2308901.
拉万，I. 2018.Society-in-the-loop：算法编程-
Rithmic 社会契约。 道德与信息技术
20(1):5–14.doi： 20（1）：5–14.doi：10.1007/s10676-017-9430-8.
Salloch， S. 和 A. Eriksen。 2024.人类在做什么
循环？当我们进行共推理和实际判断时-
ing 机器学习驱动的决策辅助工具。 美国人
生物伦理学杂志：美国生物伦理学杂志 24
(9):67–78.doi： （9）：67–78.doi：10.1080/15265161.2024.2353800.
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年，V老.24, 不.9, 117–120
透明度、评估和从“道德清洗”到可执行
法规：关于机器学习驱动的临床医生决策辅助
袁英·史蒂文斯 和马 h.扎瓦蒂
m鳃 u大学
介绍
机器学习 （ML） 具有巨大的潜力
增强预后、诊断、
和医疗保健骗局中的治疗决策-
发短信。当用于临床环境时，ML 系统可以
涉及处理大量患者
个人数据，目的是训练系统
识别这些数据中的模式，并以速度和规模
这通常远远超出了人类的能力。
ML 系统可用于广泛的 pur-
姿势，例如用于医疗诊断、药物发现
和开发、个性化医疗、医疗想象-
ING 分析、虚拟助手和聊天机器人，以及
更广泛的临床决策支持系统（Alowais
等。 2023).大型多模态模型，包括 con-
ChatGPT 等语言代理也正在成为
越来越普遍。它们之所以重要，是因为
他们能够分析大量各种物质
https://doi.org/10.1080/15265161.2024.2377123
© 2024 作者。由泰勒 & 许可发布 francis 集团， 有限责任公司.
联系 袁 Y. s特文斯 yuan.stevens@mcgill.ca c基因组学和政策领域， m鳃 u尼弗西蒂，740 Penfield Avenue 博士， oFFICE 5210、 m安特雷尔，
魁北克 h3A 0G1， c阿纳达。
s本文的补充数据可在线获取，网址为 https://doi.org/10.1080/15265161.2024.2377123
这是一个 o笔 Access 文章根据 c反应 commons 归属-n上c商业 liense （http://creativecommons.org/licenses/by-nc/4.0/），其中
允许在任何媒体上不受限制地进行非商业用途、分发和复制，前提是正确引用原始作品。本文所依据的术语
published 允许发布已接受的 m由作者或经作者同意在存储库中编写的 anuscript 文件。