打开同行评论
116 打开同行评论
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年,V老.24, 不.9, 116–117
替罪羊在循环中?人类对医疗 AI 的控制以及
(错误)责任归属
罗伯特·拉尼施
u波茨坦大学
Salloch 和 Eriksen 的论文 (2024) 提供
深刻 贡献 自 这 伦理 争论 上
机器 学习驱动型 临床 决定 支持
系统(ML_CDSS)并提供急需的控制-
AI 中协作方法的感知取向
伦理学。虽然我同意他们的推理,但我扩展
作者提出的第三个反对意见(“放置也
责任重大“、Salloch 和 Eriksen 2024, 75)
和 谨慎 大约 这 潜在 影响 之
越来越多地安置临床医生,尤其是患者
“In the Loop” 作为共同推理者。
这种做法有可能将医生和患者变成
故障或故障的替罪羊
医疗 AI。众所周知,人们表现出复杂的 atti-
责备判断和问责制 ASCRip 等-
tions (英语) 在 这 上下文 之 自动化 系统 (利马,
Grgić-Hlača 和 Cha 2023).描述的现象
发帖人Elish (2019)是人类最终如何陷入“道德
Crumple Zone“,保护机器的完整性
以不成比例甚至不公正的代价
怪 上 这 最近 人类。 个人 关闭 自
当机器出现故障时,机器往往会承担责任-
功能,强调了患者的脆弱性
可能会因不受欢迎的-
受到复杂 AI 系统的影响。调查有
在自主机器人系统方面显示出类似的效果-
TEM,参与者往往持有外科医生账户-
即使在它们功率非常小的情况下也能使用
控制 一 自治 机器 (贾姆乔姆 et 铝。
2022).在复杂和一些-
times opaque ML_CDSS,这样的错误归因 respon-
可性可能成为未来的紧迫挑战,
提出道德问题和法律问题,特别是-
关于责任的 larly (Mello 和 Guha 2024).
应该承认,整合人类
Into the Loop 不仅引起了认识论的关注-
他们有效监督或共同推理的能力
人工智能。它还引发了对公平性的担忧,因为不公正的指责可能会
放在人类身上。同时增强患者角色
在 AI 支持的决策中值得称赞,步骤
必须采取这些措施来保护人类行为者免受这种指责。
Salloch 和 Eriksen 建议将 answerabil 分开-
ity 从 问 责 自 减轻 这些 风险。
但是,此方法可能会导致进一步的问题。
如果患者参与ML_CDSS
对提供的决策支持的任何因果影响
由 这 算法 针对 责任 什么时候
Things Go Wrong 仍然具有挑战性。
如果坚持认为不应拘留患者
正如 Salloch 和 Eriksen 所建议的那样,负责负担
可以转移到循环中的另一个人 — 该
临床医生——从而给健康带来更大的压力-
护理专业人员并加剧他们已经的需求-
ing 角色(Mello 和 Guha 2024).或者,ML
系统或开发者可能会被追究责任,但
在某些情况下似乎不合理。责怪 ML
系统本身是有问题的,因为机器可以说不是
适当 科目 为 怪 (丹纳赫 2016).
归 因 责任 自 开发 人员 也 出现
如果决策支持失败(部分)导致 unfair
从患者作为共同推理者的参与。
因此,在
这样 场景 能 可能 唤起 新增功能 责任
间隙 (Matthias 2004),尤其是问责差距,在
医患 AI 合作。发生错误时,
确定道德上适当的主体
因为失败或伤害可能变得不可能,电位-
tially “粉碎问责制”(Salloch 和 Eriksen
2024,67),作者正确地试图避免这种情况。
矛盾的是,人在回路中通常是介绍-
被骗 自 减轻 责任 差距 由 带
道德主体能够识别不受欢迎的
ML 系统行为 (Rahwan 2018).这通常
将这些代理转换为可问责的实体。正在推出
© 2024 作者。由泰勒 & 许可发布 francis 集团, 有限责任公司.
联系 r奥伯特 r阿尼施 ranisch@uni-potsdam.de f学院 hEalth 伊尔斯 sciences Brandenburg, u波茨坦大学, Am mÜhlenberg 9, 波茨坦,
勃兰登堡州,14476 年德国。
这是一个 o笔 Access 文章根据 c反应 commons 属性 liense (http://creativecommons.org/licenses/by/4.0/),它允许 unrestricted
在任何媒体上使用、分发和复制,前提是正确引用原始作品。本文发布所依据的条款允许发布
接受 m由作者或经作者同意在存储库中编写的 anuscript 文件。
https://doi.org/10.1080/15265161.2024.2377137
116 打开同行评论
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年,V老.24, 不.9, 116–117
替罪羊在循环中?人类对医疗 AI 的控制以及
(错误)责任归属
罗伯特·拉尼施
u波茨坦大学
Salloch 和 Eriksen 的论文 (2024) 提供
深刻 贡献 自 这 伦理 争论 上
机器 学习驱动型 临床 决定 支持
系统(ML_CDSS)并提供急需的控制-
AI 中协作方法的感知取向
伦理学。虽然我同意他们的推理,但我扩展
作者提出的第三个反对意见(“放置也
责任重大“、Salloch 和 Eriksen 2024, 75)
和 谨慎 大约 这 潜在 影响 之
越来越多地安置临床医生,尤其是患者
“In the Loop” 作为共同推理者。
这种做法有可能将医生和患者变成
故障或故障的替罪羊
医疗 AI。众所周知,人们表现出复杂的 atti-
责备判断和问责制 ASCRip 等-
tions (英语) 在 这 上下文 之 自动化 系统 (利马,
Grgić-Hlača 和 Cha 2023).描述的现象
发帖人Elish (2019)是人类最终如何陷入“道德
Crumple Zone“,保护机器的完整性
以不成比例甚至不公正的代价
怪 上 这 最近 人类。 个人 关闭 自
当机器出现故障时,机器往往会承担责任-
功能,强调了患者的脆弱性
可能会因不受欢迎的-
受到复杂 AI 系统的影响。调查有
在自主机器人系统方面显示出类似的效果-
TEM,参与者往往持有外科医生账户-
即使在它们功率非常小的情况下也能使用
控制 一 自治 机器 (贾姆乔姆 et 铝。
2022).在复杂和一些-
times opaque ML_CDSS,这样的错误归因 respon-
可性可能成为未来的紧迫挑战,
提出道德问题和法律问题,特别是-
关于责任的 larly (Mello 和 Guha 2024).
应该承认,整合人类
Into the Loop 不仅引起了认识论的关注-
他们有效监督或共同推理的能力
人工智能。它还引发了对公平性的担忧,因为不公正的指责可能会
放在人类身上。同时增强患者角色
在 AI 支持的决策中值得称赞,步骤
必须采取这些措施来保护人类行为者免受这种指责。
Salloch 和 Eriksen 建议将 answerabil 分开-
ity 从 问 责 自 减轻 这些 风险。
但是,此方法可能会导致进一步的问题。
如果患者参与ML_CDSS
对提供的决策支持的任何因果影响
由 这 算法 针对 责任 什么时候
Things Go Wrong 仍然具有挑战性。
如果坚持认为不应拘留患者
正如 Salloch 和 Eriksen 所建议的那样,负责负担
可以转移到循环中的另一个人 — 该
临床医生——从而给健康带来更大的压力-
护理专业人员并加剧他们已经的需求-
ing 角色(Mello 和 Guha 2024).或者,ML
系统或开发者可能会被追究责任,但
在某些情况下似乎不合理。责怪 ML
系统本身是有问题的,因为机器可以说不是
适当 科目 为 怪 (丹纳赫 2016).
归 因 责任 自 开发 人员 也 出现
如果决策支持失败(部分)导致 unfair
从患者作为共同推理者的参与。
因此,在
这样 场景 能 可能 唤起 新增功能 责任
间隙 (Matthias 2004),尤其是问责差距,在
医患 AI 合作。发生错误时,
确定道德上适当的主体
因为失败或伤害可能变得不可能,电位-
tially “粉碎问责制”(Salloch 和 Eriksen
2024,67),作者正确地试图避免这种情况。
矛盾的是,人在回路中通常是介绍-
被骗 自 减轻 责任 差距 由 带
道德主体能够识别不受欢迎的
ML 系统行为 (Rahwan 2018).这通常
将这些代理转换为可问责的实体。正在推出
© 2024 作者。由泰勒 & 许可发布 francis 集团, 有限责任公司.
联系 r奥伯特 r阿尼施 ranisch@uni-potsdam.de f学院 hEalth 伊尔斯 sciences Brandenburg, u波茨坦大学, Am mÜhlenberg 9, 波茨坦,
勃兰登堡州,14476 年德国。
这是一个 o笔 Access 文章根据 c反应 commons 属性 liense (http://creativecommons.org/licenses/by/4.0/),它允许 unrestricted
在任何媒体上使用、分发和复制,前提是正确引用原始作品。本文发布所依据的条款允许发布
接受 m由作者或经作者同意在存储库中编写的 anuscript 文件。
https://doi.org/10.1080/15265161.2024.2377137
打开同行评论
ThE 一个梅里肯 JOu核糖核酸l Of BIOETh集成电路 117
患者进入循环,旨在影响 ML 系统-
TEM 透射电镜 决定 支持 而 同时 看到
他们作为对责任归属免疫,可以
恰好加剧了责任差距。这将创建一个
自相矛盾 情况 哪里 这 非常 溶液 自
责任差距 — 人工参与 — 引入了
问责制差距的潜在新来源。
披露声明
作者未报告潜在的利益冲突。
资金
这项工作由 VolkswagenStiftung 资助,作为
数字医学伦理网络(资助号 9B233)。
ORCID
罗伯特·拉尼施 http://orcid.org/0000-0002-1676-1694
引用
丹纳赫 J. 2016.机器人、法律和报复差距。 伦理学
和信息技术 18(4):299–309.doi: 18(4):299–309.doi:10.1007/
编号: S10676-016-9403-3.
埃利什,MC 2019.道德崩溃区:警示故事
人机交互 互动。 有意思 科学 科技
和社会 5:40–60.doi: 5:40–60.doi:10.17351/ESTS2019.260.
Jamjoom, A. A. B., AM. A. Jamjoom, JP 托马斯, P.
Jamjoom,A.A.B.,上午A. Jamjoom, JP 托马斯, P.
棕榈树, K. 克尔 J. W. 柯林斯 E. 瓦耶纳, D.
斯托亚诺夫和 H. J. 马库斯。 2022.自主手术
机器人系统和责任困境。 前沿
手术 9:1015367. doi:10.3389/fsurg.2022.1015367.
利马,G.,N. Grgić-Hlača 和 M. Cha。 2023.责怪 胡-
人与机器:是什么影响了人们对
算法 伤害。 在 论文集 之 这 2023 池
计算系统中的人为因素会议, 1–
26. doi:10.1145/3544548.3580953.
马蒂亚斯 2004.责任差距:责任归属-
ity 来执行学习自动机的操作。 道德与信息
科技 6(3):175–83.doi: 6(3):175–83.doi:10.1007/s10676-004-3422-1.
Mello, MM和 N. Guha。 2024.了解责任
使用医疗保健人工智能工具的风险。
这 新增功能 英国 杂志 之 药 390(3):271–8.
doi:10.1056/NEJMhle2308901.
拉万,I. 2018.Society-in-the-loop:算法编程-
Rithmic 社会契约。 道德与信息技术
20(1):5–14.doi: 20(1):5–14.doi:10.1007/s10676-017-9430-8.
Salloch, S. 和 A. Eriksen。 2024.人类在做什么
循环?当我们进行共推理和实际判断时-
ing 机器学习驱动的决策辅助工具。 美国人
生物伦理学杂志:美国生物伦理学杂志 24
(9):67–78.doi: (9):67–78.doi:10.1080/15265161.2024.2353800.
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年,V老.24, 不.9, 117–120
透明度、评估和从“道德清洗”到可执行
法规:关于机器学习驱动的临床医生决策辅助
袁英·史蒂文斯 和马 h.扎瓦蒂
m鳃 u大学
介绍
机器学习 (ML) 具有巨大的潜力
增强预后、诊断、
和医疗保健骗局中的治疗决策-
发短信。当用于临床环境时,ML 系统可以
涉及处理大量患者
个人数据,目的是训练系统
识别这些数据中的模式,并以速度和规模
这通常远远超出了人类的能力。
ML 系统可用于广泛的 pur-
姿势,例如用于医疗诊断、药物发现
和开发、个性化医疗、医疗想象-
ING 分析、虚拟助手和聊天机器人,以及
更广泛的临床决策支持系统(Alowais
等。 2023).大型多模态模型,包括 con-
ChatGPT 等语言代理也正在成为
越来越普遍。它们之所以重要,是因为
他们能够分析大量各种物质
https://doi.org/10.1080/15265161.2024.2377123
© 2024 作者。由泰勒 & 许可发布 francis 集团, 有限责任公司.
联系 袁 Y. s特文斯 yuan.stevens@mcgill.ca c基因组学和政策领域, m鳃 u尼弗西蒂,740 Penfield Avenue 博士, oFFICE 5210、 m安特雷尔,
魁北克 h3A 0G1, c阿纳达。
s本文的补充数据可在线获取,网址为 https://doi.org/10.1080/15265161.2024.2377123
这是一个 o笔 Access 文章根据 c反应 commons 归属-n上c商业 liense (http://creativecommons.org/licenses/by-nc/4.0/),其中
允许在任何媒体上不受限制地进行非商业用途、分发和复制,前提是正确引用原始作品。本文所依据的术语
published 允许发布已接受的 m由作者或经作者同意在存储库中编写的 anuscript 文件。
ThE 一个梅里肯 JOu核糖核酸l Of BIOETh集成电路 117
患者进入循环,旨在影响 ML 系统-
TEM 透射电镜 决定 支持 而 同时 看到
他们作为对责任归属免疫,可以
恰好加剧了责任差距。这将创建一个
自相矛盾 情况 哪里 这 非常 溶液 自
责任差距 — 人工参与 — 引入了
问责制差距的潜在新来源。
披露声明
作者未报告潜在的利益冲突。
资金
这项工作由 VolkswagenStiftung 资助,作为
数字医学伦理网络(资助号 9B233)。
ORCID
罗伯特·拉尼施 http://orcid.org/0000-0002-1676-1694
引用
丹纳赫 J. 2016.机器人、法律和报复差距。 伦理学
和信息技术 18(4):299–309.doi: 18(4):299–309.doi:10.1007/
编号: S10676-016-9403-3.
埃利什,MC 2019.道德崩溃区:警示故事
人机交互 互动。 有意思 科学 科技
和社会 5:40–60.doi: 5:40–60.doi:10.17351/ESTS2019.260.
Jamjoom, A. A. B., AM. A. Jamjoom, JP 托马斯, P.
Jamjoom,A.A.B.,上午A. Jamjoom, JP 托马斯, P.
棕榈树, K. 克尔 J. W. 柯林斯 E. 瓦耶纳, D.
斯托亚诺夫和 H. J. 马库斯。 2022.自主手术
机器人系统和责任困境。 前沿
手术 9:1015367. doi:10.3389/fsurg.2022.1015367.
利马,G.,N. Grgić-Hlača 和 M. Cha。 2023.责怪 胡-
人与机器:是什么影响了人们对
算法 伤害。 在 论文集 之 这 2023 池
计算系统中的人为因素会议, 1–
26. doi:10.1145/3544548.3580953.
马蒂亚斯 2004.责任差距:责任归属-
ity 来执行学习自动机的操作。 道德与信息
科技 6(3):175–83.doi: 6(3):175–83.doi:10.1007/s10676-004-3422-1.
Mello, MM和 N. Guha。 2024.了解责任
使用医疗保健人工智能工具的风险。
这 新增功能 英国 杂志 之 药 390(3):271–8.
doi:10.1056/NEJMhle2308901.
拉万,I. 2018.Society-in-the-loop:算法编程-
Rithmic 社会契约。 道德与信息技术
20(1):5–14.doi: 20(1):5–14.doi:10.1007/s10676-017-9430-8.
Salloch, S. 和 A. Eriksen。 2024.人类在做什么
循环?当我们进行共推理和实际判断时-
ing 机器学习驱动的决策辅助工具。 美国人
生物伦理学杂志:美国生物伦理学杂志 24
(9):67–78.doi: (9):67–78.doi:10.1080/15265161.2024.2353800.
The Americ一个n Journ 系列一个l 生物THICS系列
2024 年,V老.24, 不.9, 117–120
透明度、评估和从“道德清洗”到可执行
法规:关于机器学习驱动的临床医生决策辅助
袁英·史蒂文斯 和马 h.扎瓦蒂
m鳃 u大学
介绍
机器学习 (ML) 具有巨大的潜力
增强预后、诊断、
和医疗保健骗局中的治疗决策-
发短信。当用于临床环境时,ML 系统可以
涉及处理大量患者
个人数据,目的是训练系统
识别这些数据中的模式,并以速度和规模
这通常远远超出了人类的能力。
ML 系统可用于广泛的 pur-
姿势,例如用于医疗诊断、药物发现
和开发、个性化医疗、医疗想象-
ING 分析、虚拟助手和聊天机器人,以及
更广泛的临床决策支持系统(Alowais
等。 2023).大型多模态模型,包括 con-
ChatGPT 等语言代理也正在成为
越来越普遍。它们之所以重要,是因为
他们能够分析大量各种物质
https://doi.org/10.1080/15265161.2024.2377123
© 2024 作者。由泰勒 & 许可发布 francis 集团, 有限责任公司.
联系 袁 Y. s特文斯 yuan.stevens@mcgill.ca c基因组学和政策领域, m鳃 u尼弗西蒂,740 Penfield Avenue 博士, oFFICE 5210、 m安特雷尔,
魁北克 h3A 0G1, c阿纳达。
s本文的补充数据可在线获取,网址为 https://doi.org/10.1080/15265161.2024.2377123
这是一个 o笔 Access 文章根据 c反应 commons 归属-n上c商业 liense (http://creativecommons.org/licenses/by-nc/4.0/),其中
允许在任何媒体上不受限制地进行非商业用途、分发和复制,前提是正确引用原始作品。本文所依据的术语
published 允许发布已接受的 m由作者或经作者同意在存储库中编写的 anuscript 文件。