「幫我找託兒服務」、「搬家後為孩子選幼兒園」、「為剛被診斷出糖尿病的家人安排第一周的飲食」——這些問題很少出現在傳統模型的排行榜上,卻比解一道競賽題更接近於普通人每天願意為 AI 支付費用的理由。OpenAI 在11月2日發布了 LifeVal,試圖將評測的重點從知識问答轉移到日常任務是否真正完成上。
LifeVal 的任務來源並非研究人員憑空列出的清單。團隊首先參考美國時間進行的調查與跨國時間進行的研究,之後對3995名具有代表性的受訪者進行調查,詢問人們最希望個人助理在哪些環節提供幫助。最終涵蓋了照護、健康、教育、家庭行政、個人財務、購物和政府服務等領域。
這個設計帶來了一個明顯的變化:模型不僅要提供建議,還需要處理多步驟的流程、使用瀏覽器和連接器、整理信息並留下可供用戶確認的結果。例如,在比較附近的幼兒園時,一個好的答案不是一段泛泛的選校原則,而是篩选出符合位置與需求的候選者、整理申請條件,並明確哪些偏好仍需由家長來決定。
LifeVal 考驗的是「交付狀態」,而非漂亮的回答
OpenAI 所展示的樣例包括遠程陪伴祖母觀看比賽、搬家找房、洪水前組織志願者、制定照護與膳食計劃等。頁面給出的單項樣例分數很高,例如幼兒園任務93.1%、洪水志願者任務98.0%、找房任務100%,但这些是展示案例,不能代表整個基準的平均水平,更不能推出模型已能獨立處理所有生活事務。
這些任務共同考驗三件事。第一,模型必須從模糊的願望中找出限制條件;第二,它需要跨多個網頁或工具來完成操作;第三,它必須在該停下的地方停下。當涉及到醫療、合約、政府申報或付款時,“已經替你做完”並不總是好事,保留用戶確認往往才是合格的交付。
這也是 LifeVal 比一般聊天測試更難的地方。答案寫得流暢,只證明語言組織沒有卡住;把正確資料放進正確流程,還要面對網頁變化、權限、身份信息以及現實世界的不確定性。模型可能知道如何填表,卻因為頁面改版點錯按鈕;也可能找到三個選項,卻漏掉家庭最在意的通勤條件。評測必須同時看結果、過程和邊界。
日常任務評測仍存在一塊現實缺口
LifeVal 將任務選擇建立在時間使用數據和人群調查的基礎上,降低了「研究人員認為重要」與「用戶真正需要」之間的偏差。不過,網頁和公共服務不斷變化,不同地區的制度也不盡相同。今天能完成的流程,明天可能因為登錄方式、費用或政策更新而失效。這樣的基準需要持續更新,不能像靜態題庫一樣長期沿用。
另一個問題是代表性。3995人的調查能提供比小規模訪談更穩定的方向,但任何一次抽樣都會受到地區、收入、數字技能和家庭結構的影響。對於行動不便者、非母語用戶或缺乏穩定網絡的人來說,任務難度可能完全不同。因此,LifeVal 更適合作為“日常幫助能力”的一張地圖,而不是宣佈某個統一的分数覆蓋了所有人的生活。
對於產品團隊而言,這套評測最有用的地方並非是重新製作一張排行榜,而是改變功能的優先級。瀏覽器控制、連接器、權限提示、失敗恢復和結果確認,這些原本常被視為模型之外的工程細節;但在現實生活中的任務中,它們恰恰決定了一次幫助是否成功。
AI 從聊天工具走向個人助理,真正的門檻不在於回答越來越長,而在於讓人少跑一次窗口、少遺漏一張資料、少承擔一次錯誤操作。LifeVal 將「有用」拆分成可以觀察的任務,但最終的標準仍掌握在用戶手中:事情是否辦妥,關鍵在於是否決定由本人來完成,出現問題時是否知道該在什麼地方停下。
這也會改變模型更新的評判方式。即使新版本在知識題上多獲得幾分,但如果在完成流程時更容易越權、遺漏限制或無法從網頁錯誤中恢復,用戶所獲得的幫助仍可能變差。只有將最終交付、必要確認和失敗恢復一起考慮,才能更接近個人助理真正的品質評估。












