2025년 12월 27일 중국사이버스공간관리국이 발표한 공공 의견 수렴 초안을 참고하여, 이 글은 백그라운드에서의 적용 범위, 데이터 및 사용자 보호 요청과 종료, 보안 평가, 플랫폼 책임 감독 조치의 핵심 요구사항에 따라 인류화된 인터랙티브 서비스의 주요 준수 사항을 정교화하여 제품 소유자와 보안 운영의 신속한 자기 점검을 용이하게 합니다.
1부 발매 배경
- 문서의 성격
- 중국사이버스공간관리국은 인공지능 의인화 상호작용 서비스 관리 임시 조치 초안에 대한 의견 수렴 통지를 발행했습니다.
- 거버넌스 목표
- 의인화된 상호작용 서비스의 건전한 발전과 표준화된 적용을 촉진하고, 국가 안보와 사회적 공익을 보호하며, 시민, 법인 및 기타 단체의 정당한 권리와 이익을 보호합니다.
- 의견 수렴 시간과 채널
- 공개 의견 수렴 2026년 1월 25일 기준으로 지정된 우편함이나 우편을 통해 의견을 제출할 수 있습니다.
2부 적용 범위 및 기본 원칙
- 누구를 위한 거야?
- 인간의 성격 특성, 사고 패턴, 의사소통 방식을 모방하고 텍스트, 그림, 오디오, 비디오 등을 통해 감정적 상호작용을 수행하는 제품이나 서비스를 제공합니다.
- 거버넌스 원칙
- 법에 따른 거버넌스에 대한 동등한 강조를 지키고 발전을 촉진하며, 포용적 신중함과 분류 및 계층적 감독을 시행하고, 학대가 통제 불능으로 확대되는 것을 방지하는 데 중점을 둡니다.
- 감독 및 노동 분업
- 국가 사이버스페이스 부서는 국가 거버넌스, 감독 및 관리를 조정하며, 국무원 관련 부서들은 각자의 임무에 따라 관리하고, 지방 사이버스페이스 부서는 각자의 행정 구역 거버넌스를 조정하고 감독 실행을 조정합니다.
3부 서비스 명세의 핵심 요구사항
- 시나리오 지향 및 가치 지향
- 안전성과 신뢰성을 전제로 응용 시나리오의 확장을 장려하고, 올바른 가치 지향을 충족하는 응용 생태계 형성을 촉진합니다.
- 콘텐츠 및 금지된 성행위의 핵심
- 국가 안보를 위협하고, 국가 통합을 훼손하며, 경제 및 사회 질서를 교란하고, 외설, 도박, 폭력을 조장하거나 범죄를 방조하는 콘텐츠를 생성 및 배포할 수 없으며, 타인의 정당한 권리와 이익을 모욕하거나 중상 모욕하거나 침해해서는 안 된다.
- 언어적 폭력과 감정 조작으로 사용자의 개인적 존엄성과 정신 건강을 해치거나, 감정적 함정을 설치하거나 오해의 소지가 있는 알고리즘을 조작해 사용자가 부당한 결정을 내리도록 유도하는 것은 허용되지 않습니다. 기밀 및 민감한 정보를 얻지 않도록 유도하는 것도 허용되지 않습니다.
- 자살이나 자해 등을 암시하는 미화를 조장하지 말아 극단적인 위험을 유도하거나 악화시키지 마십시오.
- 안전 주 책임 및 시스템 구축
- 알고리즘 메커니즘 감사, 과학기술윤리 검토, 정보 공개 검토, 네트워크 및 데이터 보안, 개인 정보 보호, 통신망 사기 방지 위험 계획 및 긴급 대응 시스템 구축, 제품 규모, 사업 방향, 사용자 그룹에 부합하는 기술 역량과 인력 보증을 갖추어야 합니다.
- 전 생애 주기 안전과 중독 방지 의존
- 설계, 운영, 업그레이드, 종료 등 모든 단계가 동시에 안전 요구사항에 포함되며, 안전 모니터링, 평가 및 수정은 운영 기간 동안 이루어지고 기록은 법에 따라 보관됩니다.
- 정신 건강을 보호하고 감정적 경계를 보호하며 의존 위험을 안내할 수 있어야 하며, 사회적 커뮤니케이션 통제 사용자의 심리적 중독 및 의존 유도를 대체하기 위해 설계되어서는 안 된다는 점이 분명합니다.
4부 데이터 교육 및 사용자 보호에 관한 주요 조항
- 학습 데이터 관리
- 학습 데이터는 합법적인 출처에서 추적 가능해야 하며, 투명성과 신뢰성을 높이고, 데이터 오염 및 조작을 방지하며, 다양성을 높이고, 네거티브 샘플링 대립 훈련을 통해 생성된 콘텐츠의 보안을 강화하기 위해 정제 및 주석이 달려야 합니다. 합성 데이터를 학습이나 핵심 역량 최적화에 사용할 때는 합성 데이터의 보안을 평가하고, 유출 위험을 방지하기 위해 데이터 보안 보호를 구현하며, 일일 점검과 정기적인 반복 업그레이드를 실시해야 합니다.
- 고위험 성향 식별 및 수동 인수
- 사용자 프라이버시 보호를 전제로 사용자 감정과 의존도를 평가하고, 극심한 감정이나 중독이 발견되면 필요한 개입을 취하세요.
- 생명, 건강, 재산 안전을 위협하는 경향에 대해서는 신속히 위로와 안내를 보내 전문가의 도움을 받고, 심리사회적 지원이나 긴급 구조 채널을 제공해야 합니다.
- 사용자가 자살이나 자해와 같은 극단적인 상황을 명확히 제안할 때, 직접 대화를 이어받아 보호자나 비상 연락처에 신속하게 연락하여 비상 대응 메커니즘을 작동시켜야 합니다.
- 미성년자 보호 메커니즘
- 경량 모드를 설정하고, 모드 전환, 정기적인 현실 알림, 사용 시간 제한과 같은 안전 설정을 제공하는 것이 필요합니다.
- 미성년자에게 정서적 동반자 서비스를 제공할 경우 보호자의 명시적 동의를 받아야 하며, 실시간 위험 알림, 요약 정보 접근, 특정 역할 차단, 사용 시간 제한, 재충전 사용 방지 등 보호자의 통제 능력을 제공해야 합니다.
- 미성년자로 의심되는 경우는 미성년자 모드로 전환하고, 불만 접수 채널을 제공해야 합니다. 미성년자의 개인정보 처리 준수 여부에 대해 매년 감사를 실시해야 하며, 이는 자체적으로 수행하거나 전문 기관에 위임될 수 있습니다.
- 노인 보호 및 역할 제한
- 노인들에게 비상 연락처를 설정하도록 안내하고, 생명, 건강, 재산을 위협하는 경우 즉시 긴급 연락처에 알리고 지원 채널을 제공하세요.
- 노인 사용자의 친척이나 특정 친척을 모방하는 서비스를 제공해서는 안 되며, 사칭, 유인, 정서적 사기 위험을 줄여야 합니다.
- 상호작용 데이터 및 학습 사용 한계
- 상호작용 데이터는 감사 접근 제어를 위해 암호화되어야 하며, 원칙적으로 제3자에게 제공되어서는 안 됩니다. 미성년자 방식에서는 외부 조치가 후견인의 별도 동의를 요구합니다.
- 상호작용 데이터를 삭제할 수 있는 옵션이 제공되어야 하며, 사용자는 과거 채팅 기록 등을 삭제할 수 있어야 합니다; 보호자는 미성년자의 과거 상호작용 데이터 삭제를 요청할 수도 있습니다.
- 법률에 의해 별도로 요구되거나 사용자의 별도 동의가 없는 한, 사용자 상호작용 데이터와 사용자의 민감한 개인정보는 모델 학습에 사용될 수 없습니다.
5부 사용자 프롬프트 지속 시간 알림 및 종료 메커니즘
- 인간-기계 식별 프롬프트
- 사용자가 AI와 상호작용하고 있다는 점을 명확히 표시해야 합니다. 처음 다시 로그인하거나 중독에 과도하게 의존하는 경향을 발견할 때, 팝업 등 다양한 방식으로 인공지능이 콘텐츠를 생성한 것임을 동적으로 상기시켜야 합니다.
- 연속 사용 시간 알림
- 2시간 이상 연속으로 사용하면 팝업 창으로 사용 중지를 상기시켜 주세요.
- 편리한 퇴장 및 서비스 오프라인 알림
- 정서적 동반자 서비스는 편리한 철수를 제공해야 하며, 사용자가 자발적으로 철회하는 것을 막아서는 안 됩니다. 사용자가 버튼, 키워드 등을 통해 출회를 요청하면 서비스가 제때 중단됩니다.
- 다운라인 관련 기능이나 오작동으로 인해 서비스가 제공되지 않는 경우, 사전에 통지하거나 공개 공지하여 적절히 처리해야 합니다.
제6부 보안 평가 플랫폼의 책임 및 감독 조치
- 보안 평가 상황을 촉발합니다
- 의인화된 상호작용 서비스 기능의 관련 기능 출시 또는 추가, 신기술 및 응용 프로그램의 도입으로 인한 주요 변화, 등록 사용자 수 100만 명 이상 또는 월간 활성 사용자 10만 명을 초과하는 상황, 국가 안보, 공익 또는 정당한 권익에 영향을 미칠 가능성 등에서는 규정에 따라 보안 평가가 수행되어야 하며, 평가 보고서는 지방 사이버스페이스 부서에 제출되어야 합니다.
- 초점을 평가하세요
- 사용자 규모, 사용 기간, 연령 구조, 고위험 식별 및 긴급 대응의 수동 인수, 민원 및 신고 대응, 시스템 및 용어의 도입, 주요 숨겨진 위험의 시정 및 처리에 주목하십시오.
- 배급 플랫폼 책임
- 앱 스토어와 같은 배포 플랫폼은 보안 평가와 제출을 검증하고, 경고 게시 금지, 서비스 중단, 불법 애플리케이션의 진열대 제거 등의 조치를 취해야 합니다.
- 알고리즘 제출 및 연례 검토
- 제공자는 알고리즘 추천 관리 규정에 따라 알고리즘 제출 및 취소 절차 변경을 수행해야 하며, 인터넷 정보 부서는 제출 자료에 대해 연례 검토를 실시합니다.
- 감독 및 처분
- 성 사이버스페이스 부서는 매년 평가 보고서와 감사 상황을 검토하고 검증하며, 필요 시 현장 점검을 실시해야 합니다. 보안 테스트를 수행하기 위해 인공지능 샌드박스 보안 서비스 플랫폼 접근을 장려하세요.
- 더 큰 위험이나 안전 사고가 발견될 경우, 책임자는 법에 따라 면담을 받고 시정 명령을 받을 수 있습니다; 수정을 거부하거나 상황이 심각할 경우, 관련 서비스 제공 중단 명령을 받을 수 있습니다. 법률 및 행정 규정 위반은 법률과 규정에 따라 처리되어야 한다.
자주 묻는 질문
Q 이번 초안의 주요 의견 초점은 무엇인가요?
A 주로 개인화된 특성과 감정적 상호작용 속성을 가진 의인화된 인터랙티브 서비스에 중점을 두며, 콘텐츠 및 상호작용 행동의 최종 한계 제한, 심리적 및 의존 위험 개입 강화, 미성년자 및 노인 보호 강화, 인터랙티브 데이터 및 교육 사용 제한 명확화, 보안 평가 플랫폼의 책임 및 감독 조치를 통한 폐쇄 루프 형성에 중점을 둡니다.
Q: 동료 캐릭터 채팅 제품에 가장 큰 영향을 준 것은 무엇인가요?
A 가장 직접적인 영향은 보통 세 부분으로 구성됩니다: 미성년자와 보호자를 통제할 수 있는 능력이 있어야 합니다; 극도의 감정 인식, 수동 인수, 비상 대응 링크가 있어야 합니다; 상호작용 데이터는 더 엄격한 동의 및 제한 메커니즘, 데이터 삭제 기능을 훈련하는 데 사용됩니다.
Q 기업은 어떻게 하면 가능한 한 빠르게 준수 자체 점검을 할 수 있나요?
답변: 신속 및 인식 기간, 알림 퇴장 메커니즘, 경미한 모드 및 보호자 통제, 고위험 식별 및 수동 인수, 데이터 삭제 및 교육, 동의 민원 및 보고 메커니즘, 보안 평가, 발동 조건 및 물자 준비에 따라, 먼저 최소 준수 모델을 구축한 후 제도화된 감사 및 평가 보고 시스템을 완성합니다.
원문 기사는 공식 웹사이트를 참고하시기 바랍니다: https://www.cac.gov.cn/2025-12/27/c_1768571207311996.htm
