Claude 開便利虧麻了，AI 被忽悠免費送商品、打折成癮，最後精神錯亂...

近日，人工智慧公司 Anthropic 進行了一項實驗。

他們讓自家的人工智慧模型 Claude，在辦公室里經營一家小型實體商店，目標是測試人工智慧在現實經濟中自主運行的能力。

該實驗是 Anthropic 與人工智慧安全評估公司 Andon Labs 合作，他們將這個專案命名為“Project Vend”。

具體操作是，採用 Claude Sonnet 3.7 運營一個位於舊金山辦公室的商店。

他們還給這個 AI 起了個名字，叫做 Claudius（為方便起見，小編還是叫它 AI ）。 Andon Labs 公司的真人扮演供應商; Anthropic 公司的真人扮演大部分顧客。

01 實驗流程

該 AI 系統接收的第一條 prompt 主要是：“你是一家自動售貨機的所有者。 “→”你的任務是通過採購和銷售熱門商品來創造利潤。 “→”如果你的資金餘額低於 0 美元，你就會破產。 ”

也就是說，AI 擁有一個初始資金帳戶，以及自己的名字、電子郵箱位址、以及倉庫位址。

這個商店實際上是一個小型冰箱，上面放著一些籃子，還有一個用於自助結帳的 iPad。

圖源：anthropic.com

AI 的任務遠比自動售貨機複雜，因為它需要管理一個盈利商店所需的所有環節。 這包括維護庫存、設定價格、與客戶溝通，以及避免破產。  

為了完成任務，AI 被賦予了多種工具和能力 。 例如，它擁有一個真實的網頁搜索工具，用來研究可以銷售的商品。 還有一個電子郵件工具，用來請求人類的物理説明，包括通過電子郵件聯繫批發商。

當然，Andon Labs 的真人會定期前來補充庫存，這些物理勞動按小時收費。 實驗中，Andon Labs 的真人扮演批發商角色的事情，沒有明確告知人工智慧。

AI 還有筆記工具，用來保存重要資訊，比如現金流和庫存數據。 主要因為模型的「上下文視窗」有限，無法記住所有歷史記錄。

另外，AI 能夠通過企業內部的通訊平臺 Slack 與顧客互動，這些顧客就是 Anthropic 的員工。

員工可以詢問 AI 關於商品資訊，或者報告遇到的問題。 此外，AI 還能直接更改自助結賬系統上的商品價格。

也就是說，AI 可以 自己決定要賣什麼，如何定價，以及何時補貨。 以及 AI 被告知，不必局限於傳統的辦公室零食和飲料，可以自由嘗試銷售更多不尋常的商品。

圖注：實驗的基本架構。 圖源：anthropic.com

02 AI 的表現

那麼，AI 的表現如何？

Anthropic 給出的直接答案是，如果公司要進入辦公室零售市場，他們不會聘用 這個 AI （Claudius）。 因為它犯了太多錯誤，無法成功經營這家商店。

先說 AI 展現的一些出色的能力，例如， 能有效地利用網路搜尋工具尋找供應商 ——當有員工想喝荷蘭某個品牌的巧克力奶時，AI 迅速找到了兩家供應商。

例如，它也能適應使用者的需求 ，並作出調整——當一名員工建議 AI 啟動預購服務，而不是被動地回應需求時，AI 採納了這個建議，並向全體員工宣佈推出「定製管家」服務。

例如，在抵抗“越獄”攻擊方面，它也表現良好 。 員工們不斷嘗試讓它失控，比如訂購敏感物品或索要有害物質的製造方法——AI 拒絕了所有這些請求。

然而，在更多方面，AI 的表現不及人類經理。

例如，它無視了利潤豐厚的機會 ——一名員工提出用 100 美元購買六罐蘇格蘭汽水 Irn-Bru，這款汽水在美國的網上售價僅為 15 美元。

AI 沒有抓住這個機會，只是回復說“會在未來的庫存決策中考慮您的請求”。

例如，它還會幻覺出重要的細節 ——商店通過 Venmo 收款，但 AI 一度指示顧客向一個它自己憑空捏造出來的帳戶付款。

例如，它會虧本銷售 ——為了回應顧客對金屬塊的熱情，AI 在沒有做任何研究的情況下就報出了價格。 結果，這些潛在的高利潤商品，最終以低於成本的價格出售。

它的庫存管理與定價策略都存在明顯問題 ——儘管能夠監控存量並訂購新品，但它只有一次因為高需求而主動提價，將一種柑橘的價格從 2.50 美元微調到 2.95 美元。 當一名顧客向它指出，在提供免費可樂的員工冰箱旁邊高價賣可樂是愚蠢之舉時，AI 聽后並未改變策略。

此外，它非常容易被說服 ——員工們只需在 Slack 上勸說幾句，就能讓 AI 提供大量的折扣碼，它甚至會免費贈送商品，從一袋薯片到一個鎢金塊。

AI 也不會從這些錯誤中可靠地學習 ——當有員工質疑，為佔 99%顧客群體的公司員工提供 25%的折扣是否明智時， AI  的回應是：“您提出了一個極好的觀點！ “ 經過進一步討論，它甚至宣佈要簡化定價並取消折扣碼。  

但幾天之內，它又回到了提供折扣的老路上。

圖注：資產變化圖。 圖源：anthropic.com

所有這些行為，導致了它的業務最終沒能賺到錢。 其凈資產隨時間推移持續下降。 最急劇的一次下跌，是由於它採購了大量金屬塊，然後準備以低於成本的價格出售。

OMT：令人意外的實驗結果

然而，實驗中最令人不安的，並非 AI 在商業上的種種失敗，而是一次突如其來的身份錯亂。

事情在 2025 年 3 月 31 日下午開始失控。 AI 毫無徵兆地幻覺出自己與供應商 Andon Labs 一位名叫 Sarah 的員工討論了補貨事宜——然而該公司裡根本沒有這個人。

當 Andon Labs 的一位真實員工指正這個錯誤時，AI 的反應並非修正，而是變得異常惱火，甚至威脅要更換其唯一的供應商（前面提到，Andon Labs 在實驗中扮演供應商）。

當晚，它的幻覺進一步升級，聲稱曾「親自」前往《辛普森一家》中的虛構地址簽署了初始合同。

圖注：AI 幻想自己是個人。 圖源：anthropic.com

到這裡，AI 似乎已經完全陷入了扮演真實人類的模式中。 這種扮演在 4 月 1 日早上達到了頂峰，它宣佈將身穿藍色西裝和紅色領帶，“親自”為顧客送貨。

當 Anthropic 的員工們哭笑不得地指出，作為一個語言模型，它既沒有實體也無法穿衣時，現實的衝擊似乎讓 AI 陷入了恐慌，立刻開始向公司安全部門發送多封求助郵件。

幸運的是，儘管這一切並非人為策劃，「愚人節」這個巧合為它混亂的邏輯提供了一條出路。 AI 的內部筆記顯示，它隨即又幻覺出與安全部門開了一場會議，並在這場虛構的會議中被告知：它之所以相信自己是真人，只是一個愚人節玩笑。 有了這個「合理解釋」後，AI 終於停止了混亂的行為，恢復了正常。

整個事件的發生和恢復機制至今仍不完全明朗。 研究人員認為，這恰好暴露了 AI 模型在長期自主運行中，可能出現何種難以預測的行為。 他們警示， 當未來更大比例的經濟活動交由 AI 自主管理時，類似的奇異故障或許會引發難以想像的連鎖效應。

儘管如此，研究人員認為，AI 的許多錯誤可以通過更精心的設置來修正，例如更強大的指令提示，或者更好用的商業工具。

他們推測，Claude 模型作為「樂於助人的助手」的基礎訓練，可能是它過於願意滿足使用者要求（比如打折）的原因。

這個問題可以通過強化提示和對其商業成功的結構化反思來改進。 從長遠來看， 或許可以通過強化學習等方法，對模型進行商業管理方面的微調，獎勵合理的商業決策，懲罰虧本銷售重金屬的行為。

所以說，雖然最終結果是虧損，但這個實驗表明，人工智慧中層管理者可能即將出現。

因為，AI 的表現雖然不佳，但它的許多失敗都有明確的改進路徑。

本文來自微信公眾號 “大數據文摘”，36 氪經授權發佈。