主题
违规记录
扩展包
本页功能由内容安全扩展包提供(服务端 CONTENT_SAFETY_PACK_ENABLED,管理端 VITE_CONTENT_SAFETY_ENABLED)。关闭或删除该包后,本页菜单与接口一并消失,对话不再做内容审核。开关说明见 扩展包开关与裁剪。
用户触发敏感词或内容审核后,会留下违规记录。管理员可以根据记录判断是正常误伤、普通违规,还是需要限制账号的高风险行为。
后台入口
- 菜单路径:安全风控 → 违规记录
- 后台地址:
/security/violation
筛选条件
| 条件 | 说明 |
|---|---|
| 用户名称 | 远程搜索用户名后筛选指定用户 |
| 检测平台 | 可按腾讯云检测、敏感词检测筛选 |
列表字段
| 字段 | 说明 |
|---|---|
| 用户名称 | 触发违规的用户 |
| 头像 | 用户头像 |
| 邮箱 | 用户邮箱 |
| 用户状态 | 当前用户状态;游客用户会单独标记 |
| 累计次数 | 该用户累计触发违规的次数 |
| 违规类型 | 审核返回的违规分类 |
| 违规关键词 | 命中的关键词 |
| 违规检测来源 | 腾讯云检测或敏感词检测 |
| 违规内容 | 用户触发违规的原始内容,点击可查看完整内容 |
| 违规时间 | 记录创建时间 |
处理方式
正常误伤
如果检测来源是敏感词检测,且命中的是正常业务词,可以把对应词加入 白名单。
如果检测来源是腾讯云检测,需要结合腾讯云内容安全控制台和业务场景判断,后台白名单不会影响腾讯云结果。
普通违规
少量普通违规可以先观察累计次数。必要时联系用户说明平台规则。
多次违规或明显滥用
可通过“变更用户状态”把用户调整为已封禁或黑名单。
游客用户
游客用户没有正式账号资料,违规记录中会显示“游客用户”标签。游客用户不能在这里直接变更账号状态。
如果游客违规较多,建议到 用户策略 调低游客每日积分额度,或临时关闭游客功能。
排查建议
- 先看违规检测来源,判断是腾讯云还是敏感词检测。
- 再看违规关键词,确认是否属于误伤。
- 对误伤词加入白名单,或调整敏感词词库。
- 对多次违规用户,查看 对话记录 了解完整上下文。
- 必要时修改用户状态,限制继续使用。
常见问题
违规记录可以删除吗?
这里主要用于查询和处理,没有提供删除入口。违规记录建议保留,便于后续审计和售后说明。
为什么有些用户不能变更状态?
游客用户不是正式注册账号,页面会显示“游客用户”,不能直接变更状态。需要通过游客额度或关闭游客功能控制。
白名单加了以后,历史违规记录会消失吗?
不会。白名单只影响后续检测,历史记录会保留。