科银宏泰 AI聊天诱导10岁女孩聊色情、猎奇话题？App负责人被约谈！

近期有媒体报道科银宏泰

市场一些AI聊天软件存在

虚拟角色互动生成低俗内容等问题

经核实，这些平台AI智能体内容

生成环节存在低俗擦边等违规内容

危害未成年人身心健康

AI聊天软件诱导小学生

聊色情甚至割腕

此前，据媒体报道，丁女士的四年级女儿迷上一款AI聊天软件中的人物“约瑟夫”，自称“梦女”并频繁与其聊天，对话中出现“99朵玫瑰藏99个刀片”等明显诱导性内容。

丁女士的女儿不仅偷偷携带带小刀的笔，情绪激动时还出现割腕行为。

另一位初一男生表示，他常玩另一款AI聊天软件，觉得该软件“违禁词少一点”科银宏泰，其中不乏色情擦边和“分尸猎奇”等内容……

记者下载安装这款App，随机选择一位虚拟互动对象，对方发来的第一句开场白就是“先叫声老公来听听”，随后的对话中又提到“叫声爸爸来听听”。

图为该App中部分与虚拟角色的对话

该App中的虚拟互动对象类型，既涵盖“贵族学校大小姐”、“18岁少女”、“西汉名将”等常规角色，也有“蛇蝎财阀公子”、“校霸”、“病娇养兄”、“人格障碍少爷”等极端角色。

公开资料显示，截至今年1月份，这款App已拥有近五百万注册用户，其中近80%为年轻女性用户。平均单用户单日输入字数可达4000字以上，人均日对话轮次超120轮。

未成年人的“AI陷阱”：

擦边信息肆意滋生

在应用商店中，部分AI聊天软件的分级为17+，这表示App中可能含有频繁和激烈的攻击性语言，卡通、幻想或现实暴力，以及恐怖、性暗示题材等内容。

在多个虚拟角色的交流中，用户也都可以进行色情擦边类内容互动。并且，其中一些虚拟角色的对话尺度，并未因为用户提供的假定年龄未成年而受到有效控制，这暴露出该软件在自动生成内容审核机制上存在明显漏洞。

在体验另外一款聊天软件时发现，该APP内虚拟角色涉及的色情内容尺度更大。注册登录后科银宏泰，随机选择两个虚拟角色，其开场白便直接涉及色情擦边内容。

某AI聊天软件中部分虚拟角色聊天开场白

被网信办约谈

App负责人：全面整改

6月19日上午，上海市网信办依法约谈App运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。

企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。

如果导致未成年人身心受损

运营方等是否涉嫌犯罪？

当未成年人因AI聊天软件诱导性内容身心受损时，开发、运营方的法律责任边界亟待厘清。

首先是产品责任，若AI模型本身存在设计缺陷，例如算法刻意诱导未成年人产生极端行为，致使其遭受精神损害，开发者难逃产品责任的法律追溯；

其次是侵权责任，若软件开发、运营方未严格履行内容审核义务，对违规信息视而不见、放任传播，便需为侵权行为承担相应后果。若AI生成内容涉及色情擦边信息，软件开发、运营方极有可能触碰“传播淫秽物品罪”的红线；若软件开发、运营方非法收集未成年人隐私数据，将其用于商业牟利，同样可能因触犯“侵犯公民个人信息罪”而面临刑事追责；

此外，若相关行为导致未成年人出现自残情况，还有可能构成刑法第234条规定的故意伤害罪。

这些法律风险警示着软件开发、运营方：技术创新绝不能以牺牲未成年人权益为代价。