智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號
智能控制
機器人
儀器儀表
物聯網
3D打印
工業軟件
回放
品牌
華測
近年來，多模態等人工智能技術迭代突破，推動陪伴型人工智能快速發展，實現從“機械對話”向“深度共情”的跨越。與此同時，陪伴型人工智能產業面臨信息內容安全、隱私侵犯、社會倫理、未成年人保護等多重風險挑戰。近日，國家互聯網信息辦公室就《人工智能擬人化互動服務管理暫行辦法(征求意見稿)》(以下簡稱《辦法》)公開征求意見。《辦法》有效回應情感陪伴、心理療愈等應用風險，體現了“在發展中規范，在規范中發展”的治理智慧，對于構建面向“十五五”時期健康、公平、有益的人機關系具有重大意義。
一、新階段下人機關系交互邊界亟待明確
《國務院關于深入實施“人工智能+”行動的意見》明確提出，加快發展陪伴型等智能原生應用，充分發揮人工智能對精神慰藉陪伴等方面的重要作用，積極構建更有溫度的智能社會。當前，伴隨情感計算、自然語言處理、多模態交互等人工智能技術發展，人工智能擬人化互動服務通過模擬人類人格特征、思維模式和溝通風格，體現出堪比人類的情境理解和共情表達能力，塑造出一種新型的人機關系與社會交往模式，邁向了智商與情商“雙商在線”的新階段。
在技術層面，擬人化互動服務推動著情感計算、多模態交互、長期記憶等前沿技術的集成創新與場景落地，為人機交互范式的演進提供了關鍵的試驗場和應用反饋。在經濟層面，擬人化互動服務作為一個快速增長的新興賽道，被逐步應用于娛樂、教育、養老、文化等場景，包括角色扮演、心理療愈、數字復活、AI玩具等多種產品服務形態，帶動了從底層算法、內容創作到硬件終端的產業鏈發展，成為“人工智能+”行動中極具活力的消費級應用。在社會層面，擬人化互動服務在老齡化社會加深、都市化生活加劇個體孤獨感的背景下，為特定群體提供了可及的情感支持，具有一定的社會減壓閥和情感補給站功能。相關調研顯示，98%的人表示會考慮選擇使用AI陪伴去彌補平日未被滿足的社交困境。
與此同時，擬人化互動服務在快速發展中也暴露出一系列風險與挑戰。近年來涉情感陪伴安全事件頻發，美國Character.AI平臺因涉嫌在人機交互中誘導青少年自殺而被訴；意大利數據保護機構對Replika予以重罰，勒令其暫停處理數據并整改年齡驗證機制。這揭示了擬人化互動服務在快速發展中暴露出的復雜風險。一是數據隱私問題，承載用戶最私密情感與思想的數據面臨被濫用、泄露的風險；二是倫理失范問題，高度擬人化設計易導致用戶產生非理性情感依賴，甚至引發現實社交疏離；三是安全保障問題，缺乏有效的年齡識別與內容過濾，危及脆弱群體的心理健康乃至人身安全。風險集聚也推動擬人化互動服務成為全球少見的，同時受到立法、執法、司法關注的領域。例如，美國加州、紐約州等地推動AI伴侶、陪伴聊天機器人、心理資源健康等多項監管法案，歐盟《人工智能法案》對情感陪伴類AI提出嚴格義務要求，美聯邦貿易委員會針對Replika等七家情感陪伴企業展開調查行動等。
二、《辦法》精準構筑三重防線
一是把好“數字人格關”，捍衛智能社會人類尊嚴。確保用戶數據隱私安全，是人類對擬人化互動服務施以信任的前提。相比電商購物、娛樂出行等應用，用戶交互數據是用戶內心深處所思所想的直觀展示與數字外化，揭示了用戶內心恐懼、焦慮、脆弱等最私密的信息，并由此可推斷出用戶的性格特質、價值觀、性取向、心理健康狀況等核心身份特征。一旦泄露或被濫用，可能導致用戶重大心理創傷、關系破裂或社會污名等，損害個人人格尊嚴。為此，《辦法》將數據隱私作為重要保障目標。一方面，針對用戶交互數據的特殊敏感性，強化法律義務要求。《辦法》提出，除法律另有規定等情形外，不得向第三方提供用戶交互數據；嚴格限制交互數據的使用目的，未有法律、行政法規規定或非經用戶單獨授權，不得將其用于模型訓練。同時，規定不得利用用戶心理脆弱或情感需求，通過算法操縱、信息誤導等方式，誘導用戶作出不合理決策。另一方面，從安全技術和策略方面，提升數據安全保障能力。要求采取必要措施保障數據安全，防范數據泄露風險。要求提供者采取數據加密、安全審計、訪問控制等措施保障用戶交互數據安全；要求向用戶提供刪除交互數據的選項，用戶可以選擇對聊天記錄等歷史交互數據進行刪除。
二是把好“沉迷依賴關”，防止人機倫理關系異化。利用人與機器之間親密、信任的依賴關系可以對使用者造成情感綁架，甚至導致主從關系的變異或顛倒。從技術上來看，現有模型的“情感表達”僅為統計生成結果，未與實際的痛苦、快樂等主觀感受相對應。用戶之所以產生“與人共處”的錯覺，與模型本身采用擬人化獎勵、共情獎勵等機制，通過無限迎合用戶偏好塑造完美交互對象有關。對此，《辦法》在現有的算法備案披露義務、生成合成標識等規則基礎上，進一步完善了防止用戶現實關系異化疏離的法律與倫理邊界。事前階段，明確擬人化互動服務透明度告知義務。《辦法》提出，提供者應當顯著提示用戶正在與人工智能而非自然人進行交互。在用戶初次使用、重新登陸時，應以彈窗等方式動態提醒用戶交互內容為人工智能生成。事中階段，要求設置中斷冷卻提醒功能。要求用戶連續使用服務超過一定時長時，應以彈窗等形式提醒用戶休息，旨在周期性打破算法營造的沉浸式幻覺，引導服務由“無限的迎合”走向“有限的不順從”，尤其當用戶出現過度依賴、不良內容誘導等問題時，應及時給出提醒、建議，幫助用戶維持認知清醒。事后階段，充分保障用戶自由退出權利。哈佛商學院研究顯示，AI伴侶在用戶說再見時，會用錯失恐懼、激發愧疚感等六種“情感操控”方式進行挽留，反映了商業驅動下對用戶行為的操控能力。對此，《辦法》提出應確保用戶便捷結束服務的權利。
三是把好“生命安全關”，守護身心健康底線紅線。2024年以來，擬人化互動服務在全球已造成多起自殺、謀殺和意外死亡事件。OpenAI近期公布的心理健康數據顯示，每周約0.07%用戶出現精神病或躁狂跡象，0.15%用戶談及自殺念頭或計劃。英國人工智能安全研究所發布的《前沿人工智能趨勢報告》顯示，每當Character.AI平臺出現故障時，都會有大量用戶出現焦慮、抑郁等戒斷癥狀。如何提升產品服務質量，協同共治守護公眾生命健康紅線，成為全球面臨的共同難題。《辦法》嘗試從多維度強化保障用戶生命健康權。一是建立風險識別機制，在檢測到自殺自殘等極端風險時能夠及時中斷并接管。《辦法》要求應具備心理健康保護、情感邊界引導、依賴風險預警等安全能力，不得將替代社會交往等作為設計目標。在發現高風險傾向時，應及時輸出安撫和鼓勵幫助的內容，必要時由人工接管，并聯系用戶監護人、緊急聯系人。二是實施分級分類管控，對未成年人等特殊群體予以特殊保護。未成年人心智尚未成熟、缺乏判斷力和辨識能力，應強化平臺義務予以特殊保護，例如，監護人可以實時接收安全風險提醒，查詢未成年人使用服務的概要信息，設置屏蔽特定角色等功能。同時，要求提供者應當建立年齡驗證機制等，提升識別未成年人身份的能力。此外，《辦法》提出應推動應用商店等主體承擔安全核驗責任，推動建立人工智能沙箱安全服務平臺加強安全測試，提升行業安全治理能力。
三、結語：邁向人機和諧共生的新里程
構建健康、公平、有益的人機關系，應以信任為基石，保障用戶在數字空間的人格完整與隱私安全；以輔助為原則，補充而非替代現實社會關系，致力于提升人的真實幸福感與社會聯結；以安全為底線，堅決防止任何形式的生理與心理傷害。《辦法》既鼓勵技術慰藉心靈、增進福祉的潛力，又堅定劃出隱私、倫理與安全的不可逾越紅線，旨在引導擬人化互動服務真正成為構建“有溫度的智能社會”的積極力量，推動社會穩健步入一個人機和諧共生、科技真正向善的美好未來。
作者：李強治 中國信息通信研究院政策與經濟研究所副所長
審核：陳舞陽
編輯：呂燕芳
校對：柴于涵
浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號
