大型遊戲創作平台《羅布樂思》已經使用機器學習 AI 進行語音聊天審核長達一年，由於該遊戲有著大量的兒童用戶，公司非常重視審核。在近日舉辦的 GDC 2024 年遊戲開發者大會期間，羅布樂思公司高級技術總監 Kiran Bhat 和語音安全負責人 Hannes Heikinheimo 透露雖然 AI 審核取得了良好的效果，但有時候真正的人類還是能把這項工作做的更好。
Bhat 在演講中說道：「實時監控語音聽起來很難，因為要監控語音，你不僅要知道對方在說什麼，還要捕捉對方說話的語氣和強度，以判斷某段話是否真的具有惡意。」
「上下文也是判斷某段話是否具有冒犯性的一部分。所以這是一個非常困難的問題。」
他繼續解釋道，公司通過將違規內容涵蓋到 4 個主要類別當中來應對這些問題，並表示 85% 的違規內容都屬於這些分類，而且「絕大多數」都可以通過 50 個關鍵詞來捕獲。他表示：「如果你已經涵蓋這些類別的前 50 個關鍵詞，那麼已經做的很不錯了。「
語音安全負責人 Heikinheimo 聲稱 AI 監管取得了令人印象深刻的成果：在運行一年後，該系統已覆蓋 31 個國家地區，並且每段「活躍聊天時間」的違規舉報數量減少了一半。使用 AI 的一個優勢是他們沒有情感且不會疲憊，因此在「非常明顯的違規情況下，機器比人類更有效、更穩定」。但是，道高一尺魔高一丈，想要真正理解意圖和進行判斷，他認為「人類仍然強過機器」。
Heikinheimo 說道：「在那些可能非常接近判定邊緣的東西上，人類仍然表現更好。或者在非常罕見的情況下，我們沒有那麼多數據供機器學習系統訓練。所以在這些情況下，人類仍然表現更好。」
