當AI大軍正以前所未有的速度滲透各行各業時，一項最新的評測結果卻像一盆冷水，澆熄了部分過於樂觀的預期。結果顯示，當前最頂尖的AI模型在處理真實世界的白領工作時，表現令人失望，引發了關於AI「即戰力」的深刻質疑。這不免讓人們重新思考，AI距離成為一名合格的辦公室員工，究竟還有多遠？
這項研究來自數據訓練巨擘Mercor，他們推出名為「Apex-Agents」的全新評測基準，專門模擬投資銀行、法律與顧問等專業服務領域的真實工作情境。根據TechCrunch報導，測試結果堪稱慘烈，即便是目前最先進的AI模型，答對率也不到四分之一，絕大多數情況下，AI要不是給出錯誤答案，就是乾脆「交白卷」。
研究人員Brendan Foody向TechCrunch指出，AI模型最大的弱點在於「跨領域資訊整合」的能力，而這恰恰是人類知識工作者的核心價值。 真實的工作場景極其複雜，員工需要在不同的應用程式如Slack、Google Drive之間切換，整合零散資訊並做出判斷。顯然，AI在這方面仍力有未逮。
過去，許多AI評測專注於單一學術任務，但與真實工作需求有明顯脫節。普林斯頓大學的學者便提出批評，認為現行評測標準過於狹隘，只看重準確率，卻忽略了成本、穩健性與泛用性等更關鍵的商業指標，這可能導致對AI能力的誤判。 這種「評測的詛咒」讓許多AI看似在特定項目上取得高分，實際投入職場卻是另一回事。
在軟體工程領域，這個問題同樣存在。一個名為SWE-bench的基準測試，專門用來評估AI處理真實GitHub程式碼議題的能力。 根據Scale AI的說明，更新、更嚴苛的SWE-Bench Pro版本顯示，頂尖模型在處理未曾見過的複雜程式碼問題時，解決率急遽下降，凸顯了AI在面對全新、模糊不清的真實開發挑戰時的脆弱性。
另一項由AI安全中心(CAIS)主導的實測，結果更為驚人。研究人員讓AI挑戰真實的自由工作者接案平台上的任務，這些都是人類已經成功完成並獲得報酬的工作。The Information Difference網站的報導指出，AI的失敗率高達98%。 報告細節顯示，46%的AI產出有重大品質問題，36%交付的內容不完整，甚至還有18%的檔案是毀損的。
儘管眼前的現實略顯骨感，但各界對AI潛力的投入並未因此減緩。根據麥肯錫(McKinsey)的調查，高達92%的企業領袖計劃在未來三年增加對AI的投資。 世界經濟論壇(World Economic Forum)的報告也預測，未來五年，工作所需的技能將有70%發生改變，凸顯了為AI時代進行技能再培訓的急迫性。
專家們普遍認為，問題不在於AI本身，而在於我們如何部署它以及周遭的配套環境是否成熟。Factory.ai公司便提出「Agent Readiness」(代理人就緒度)的概念，主張企業需要先優化自身的程式碼庫與工作流程，才能讓AI發揮最大效益。 就像給一位超級跑車手一輛老爺車，再好的技術也難以施展。
從目前來看，AI更適合扮演「副駕」或「助理」的角色。根據IBM的觀察，導入AI的員工，能將更多時間從「從零創造」轉移到「審核與指導AI產出」的更高價值任務上。 劍橋大學的研究也提醒，強迫員工用AI處理大量需要批判性思考的任務，反而可能導致認知過載與職業倦怠。
國際貨幣基金組織(IMF)則從更宏觀的角度提出警告，生成式AI的普及已經開始衝擊入門級的白領職位，年輕求職者將面臨更嚴峻的挑戰。 AI並不會完全取代多數工作，但它將深刻改變任務內容、薪資結構與勞動條件。 如何在這波浪潮中，確保創新能嘉惠所有人，而非擴大既有差距，將是各國政府與企業的共同課題。