在 AI 技術中，有一個術語叫「AI 幻覺」，由於大型語言模型只能盡力猜測下一個最有可能出現的單詞，但並不是實際理解上下文內容，因此它們經常會憑空捏造內容，例如完全不正確的醫療建議或是像是編造的「小常識」。然而，這些虛假資訊並非完全無害，實際上你甚至能以此起訴公司。
最近，一位名叫 Arve Hjalmar Holmen 的挪威男子就在與 ChatGPT 交談時，在輸入自己的名字後發現，ChatGPT 編造了一個謊言，稱他殺死了自己的兒子，並被判處了 21 年監禁。他感到十分震驚，因為自己竟然被 AI 編造了子虛烏有的罪行，而且 ChatGPT 還圍繞這個「事實」編造了他「完整的一生」。
隱私權倡導組織 Noyb 很快介入。該組織告訴媒體 TechCrunch，他們調查了ChatGPT 為何會輸出這些指控，並檢查是否有人犯下了與該名字相似但犯下的嚴重罪行。最終，他們沒有找到任何實質性的證據，因此 ChatGPT 輸出令人毛骨悚然的指控背後的「原因」仍不清楚。
聊天機器人的底層 AI 模型已經更新，現在它不再重複誹謗性指控。然而，Noyb 之前曾以 ChatGPT 輸出有關公眾人物的不準確資訊為由提出投訴，但並不滿足於就此了結。該組織現已向 Datatilsynet（挪威數據保護局）提出投訴，理由是 ChatGPT 違反了歐盟的《一般數據保護法規》（GDPR）。
根據歐盟法律第 5(1)(d) 條，處理個人數據的公司必須確保其準確性——如果不準確，則必須更正或刪除。 Noyb 認為，僅僅因為 ChatGPT 停止了對 Holmen 的污衊，並不意味著數據已被刪除。
目前，Noyb 要求 Datatilsynet 命令 OpenAI 刪除有關 Holmen 的不準確數據，並確保該公司確保 ChatGPT 不會產生關於其他人的恐怖故事。OpenAI 目前的做法只是在每個用戶會話底部以小字體顯示免責聲明「ChatGPT 可能會犯錯。請考慮檢查重要資訊」。
