智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號
智能控制
機器人
儀器儀表
物聯網
3D打印
工業軟件
回放
品牌
華測
隨著人工智能技術的深入發展和廣泛應用，具備擬人化互動能力的智能應用日益普及，深刻改變著人們的交流方式和生活方式。從智能客服到虛擬陪伴，從教育輔導到心理咨詢，人工智能擬人化互動服務已經深度融入經濟社會發展各領域。然而，技術進步在帶來便利的同時，也引發了情感依賴、價值觀誤導、未成年人保護等新的風險挑戰。《人工智能擬人化互動服務管理暫行辦法(征求意見稿)》(以下簡稱《辦法》)對擬人化互動服務的安全提出明確要求，對于有效防范技術風險、切實保護用戶權益、促進人工智能健康發展具有重要意義。
一、《辦法》有效銜接現有法規體系，積極回應擬人化互動服務新挑戰
《辦法》是我國人工智能治理體系的重要組成部分，是對現有治理架構的進一步完善和深化。《辦法》與《生成式人工智能服務管理暫行辦法》《人工智能生成合成內容標識辦法》等規章在治理思路上一脈相承、相互銜接，在治理對象和治理重點上各有側重、相互補充，共同構建起覆蓋人工智能技術研發、應用、傳播全流程的安全治理體系。
擬人化互動服務作為人工智能技術應用的新形態，具有鮮明的技術特征和顯著的風險特征。一是情感交互的深度性，不同于傳統的信息查詢、內容生成等功能性服務，擬人化互動服務通過算法模擬人類情感反應機制，能夠與用戶建立情感聯結，對用戶心理狀態和行為模式產生深層次影響。二是用戶關系的持續性，擬人化互動服務往往涉及長期性、高頻次的交互過程，用戶可能與人工智能系統建立類似人際關系的情感紐帶，這種持續性互動關系使得潛在風險不斷累積和放大。三是影響對象的脆弱性，未成年人處于認知發展階段，老年人面臨數字鴻溝挑戰，這些群體在使用擬人化互動服務時，更需要適當的引導和保護機制，以防止產生過度依賴。四是價值傳遞的隱蔽性，擬人化互動服務在交互過程中往往較直接地輸出內容，價值觀傳遞更加隱蔽和潛移默化，對用戶世界觀、人生觀、價值觀的影響更為深遠。
二、《辦法》堅持精準施策，系統聚焦擬人化互動服務重點特性與關鍵環節規范
《辦法》立足擬人化互動服務的技術特性和應用場景，從鼓勵創新應用、強化安全設計、規范訓練數據、建立風險識別、完善提示機制、探索沙箱監管等關鍵方面入手，構建起全鏈條、多層次、立體化的治理框架。
(一)堅持正向引導與風險防范并重，推動技術向善發展
《辦法》在明確安全底線的同時，積極鼓勵擬人化互動服務在合理場景的創新應用。一方面，鼓勵提供者在充分論證安全性、可靠性的前提下，合理拓展應用場景，充分發揮技術優勢服務經濟社會發展。另一方面，明確劃定安全紅線，嚴禁開展危害國家安全、破壞倫理道德的服務，嚴禁生成鼓勵、美化、暗示自殺自殘的內容，嚴禁利用用戶心理脆弱狀態、通過算法操縱等方式誘導用戶作出不合理決策。這種“鼓勵什么、禁止什么”的雙向治理模式，突破了傳統的單純限制性監管思路。通過正向激勵引導企業將技術能力投向真正有益于社會的應用場景，同時通過底線約束防范技術能力被用于操控用戶心理利用脆弱性謀利，既為產業發展留足空間，又能夠有效防范技術異化風險。
(二)建立全生命周期安全管理制度，構建立體化防護體系
《辦法》要求服務提供者建立覆蓋全流程的安全管理制度體系，涵蓋算法機制審核、科技倫理審查等多個關鍵環節，形成多維度的安全保障機制。特別強調提供者在設計、運行、升級、終止服務等各個階段都應落實安全要求，確保安全措施同步設計、同步使用。這種全生命周期的安全管理理念，將安全責任貫穿于技術研發應用的各個環節，本質上是將安全作為技術系統的內生屬性而非外加約束，從制度層面筑牢了安全防線，推動企業從技術架構層面夯實擬人化互動服務的安全基礎。
(三)強化訓練數據質量管控與安全對齊要求，從技術根源保障模型可控
《辦法》高度重視訓練數據對提升擬人化互動服務安全水平的基礎性作用，體現了精準治理的理念。如提出評估合成數據的安全性的要求，避免放大訓練數據中的偏差，防止在專業領域等場景產生危險的“幻覺”輸出，影響用戶生命健康安全。在情感陪伴、角色扮演等容易產生心理依賴的場景下，要求提高訓練數據的多樣性，通過負向采樣、對抗訓練等手段，提升模型生成內容安全性，防止模型在追求用戶滿意度的過程中偏離安全軌道，從算法源頭提升擬人化互動服務的安全性和可靠性。
(四)構建智能化風險識別與分級提示機制，實現動態防護與理性引導
《辦法》要求提供者建立智能化的用戶狀態識別和風險預警機制，通過技術手段實現對用戶使用行為的感知。當發現用戶出現負面情緒、極端傾向、過度依賴、沉迷等風險信號時，提供者應當及時識別并采取干預措施。通過“以智能治智能”的思路，充分發揮了人工智能在風險防范治理方面的技術優勢，將被動防御轉變為主動識別。對于表達自殺、自殘等危險傾向的用戶，要求立即進行人工接管，提供必要的心理疏導和專業幫助引導，確保技術手段的局限性能夠通過人工干預得到彌補。在提示機制方面，《辦法》在已有標識機制基礎上進一步強化提示提醒要求，通過設計基于使用時長和場景類型的差異化干預閾值設計，既避免過度打擾影響用戶體驗，又能在關鍵節點進行有效提醒。這種多層次、遞進式的干預體系，構建起動態監測、實時預警、及時干預、理性引導的全方位安全防護網。
(五)創新監管沙箱機制，探索包容審慎監管新路徑
《辦法》首次引入監管沙箱機制，探索為技術創新提供了制度化的試驗空間。對于技術先進、應用場景新穎但尚未完全成熟的擬人化互動服務，在確保基本安全要求的前提下，在限定應用范圍、限定用戶群體、加強動態監測的條件下開展試點應用。這一機制具有重要的方法論意義。擬人化互動服務技術迭代快、應用場景復雜、社會影響深遠，沙箱監管可實現管理部門與企業的深度互動。企業可以在真實場景中驗證技術方案，降低創新試錯成本。管理部門可以在風險可控前提下近距離觀察技術應用效果，深入了解新興業態的運行規律，及時發現潛在風險，總結實踐經驗，持續完善治理規則。
三、《辦法》著眼長遠發展，為人工智能產業健康發展提供堅實保障
《辦法》的研制是完善我國人工智能治理體系建設的新探索，對于完善技術安全體系、維護人民群眾利益、促進產業健康發展具有積極意義。
(一)進一步完善人工智能安全治理技術體系
《辦法》與《生成式人工智能服務管理暫行辦法》《人工智能生成合成內容標識辦法》等文件共同構成了系統完備、科學規范、運行有效的人工智能治理制度體系。這一體系既關注技術研發應用的安全性、可靠性，也關注技術應用的社會影響和倫理問題；既規范內容生成、標識傳播等技術功能層面，也延伸至情感交互、價值傳遞等社會關系層面；既強調事前預防、源頭治理，也注重事中監測、動態管理和事后處置、責任追究。《辦法》將治理視角從技術功能的“內容安全”深入拓展到社會關系的“情感安全”，從信息傳播的“真實準確”延伸覆蓋到價值傳遞的“正確導向”，標志著我國人工智能治理進入更加精細化、更加關注人本價值的新階段。
(二)切實維護人民群眾使用人工智能的根本安全
《辦法》把保護用戶合法權益、維護用戶身心健康、促進人的全面發展作為根本出發點和落腳點。通過建立強提示機制有效保障用戶知情權和選擇權，通過明確底線要求堅決防范技術濫用風險和安全隱患，通過強化對齊算法切實確保價值觀正確導向，通過強化相關群體保護要求充分體現對未成年人、老年人等群體的關懷關愛。《辦法》高度關注擬人化互動服務可能對用戶心理健康、人際關系、價值觀念產生的深層次影響，要求服務提供者不僅要確保技術安全、數據安全、內容安全等基礎性安全，更要切實承擔社會責任。這種從技術安全延伸到心理安全、從個體保護延伸到社會影響的全方位保護，讓人工智能技術真正成為提升人民生活品質、增進人民福祉的有力工具。
(三)為“人工智能+”戰略深入實施提供有力安全保障
國務院印發的《關于深入實施“人工智能+”行動的意見》明確提出要推進人工智能與經濟社會各領域深度融合。擬人化互動服務作為人工智能技術應用的重要方向，在教育培訓、醫療健康、養老服務、文化娛樂等眾多領域具有廣闊的應用前景。《辦法》通過明確發展方向、劃定安全邊界、創新治理機制，為擬人化互動服務的規范發展、健康發展創造了良好的制度環境和市場環境。監管沙箱等創新性治理機制為技術創新、模式創新提供了充分的試驗空間，鼓勵和支持企業在合規前提下大膽探索、勇于創新。《辦法》在確保安全與促進發展之間找到了科學的平衡點，為“人工智能+”戰略的深入實施、人工智能產業的高質量發展提供了堅實的制度保障和有力的政策支撐。
作者：張 震 國家互聯網應急中心副處長、正高級工程師
審核：陳舞陽
編輯：呂燕芳
校對：柴于涵
浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號
