违规检测记录
功能概述
违规检测记录用于查看和管理所有触发敏感词过滤的违规记录，包括用户信息、违规内容、敏感词类型、检测时间等。管理员可以查看违规详情、分析违规趋势、优化敏感词库。
主要功能：
- 记录查询：支持按用户、违规类型等多条件查询
- 详情查看：查看完整的违规内容和上下文
- 违规分析：统计违规类型和频次
- 记录管理：删除误报或过期记录
违规类型
按来源分类
用户输入违规
- 说明：用户发送的消息包含敏感词
- 处理：消息被拦截，用户收到提示
- 记录：保存用户输入的违规内容
AI 回复违规
- 说明：AI 回复的消息包含敏感词
- 处理：消息被拦截，提示用户稍后重试
- 记录：保存 AI 生成的违规内容
按敏感词类型分类
百度云敏感词
- 来源：百度云内容审核API
- 类型：涉政、涉黄、暴恐、广告等
- 优先级：高于自定义敏感词
- 准确率：较高，误报率低
自定义敏感词
- 来源：系统自定义敏感词库
- 类型：根据业务需求自定义
- 优先级：低于百度云敏感词
- 准确率：取决于词库质量
查询功能
查询条件
用户名称
- 类型：下拉选择
- 说明：查看特定用户的违规记录
- 用途：分析个别用户的违规行为
违规类型
- 类型：下拉选择
- 选项：
- 用户输入
- AI回复
- 全部类型
- 作用：筛选特定类型的违规
查询操作
- 查询按钮：根据设置的条件查询
- 重置按钮：清空条件并刷新列表
违规记录字段说明
基本信息
用户信息
- 格式：
用户名（昵称） - 说明：触发违规的用户
- 点击：可跳转到用户详情页
违规类型
- 说明：违规消息的来源
- 选项：用户输入 / AI回复
- 显示：标签形式
检测时间
- 说明：违规被检测到的时间
- 格式：YYYY-MM-DD HH:mm:ss
- 时区：上海时区
违规内容
违规消息
- 说明：包含敏感词的完整消息
- 显示：
- 列表中显示简短摘要
- 详情页显示完整内容
- 格式：支持 Markdown 渲染
匹配的敏感词
- 说明：命中的敏感词列表
- 格式：多个敏感词用逗号分隔
- 用途：分析哪些敏感词最容易触发
敏感词来源
- 说明：标识来自哪个敏感词库
- 选项：
- 百度云敏感词
- 自定义敏感词
- 显示：标签形式
处理信息
处理状态
- 说明：违规记录的处理状态
- 类型：
- 未处理：新产生的违规记录
- 已处理：已审核或处理的记录
- 操作：可手动更改状态
备注信息
- 说明：对违规记录的补充说明
- 用途：记录处理原因或备注
- 格式：文本输入
使用建议
违规分析
高频敏感词：
- 统计出现频率最高的敏感词
- 优化敏感词库配置
- 调整检测策略
违规趋势：
- 按时间统计违规数量
- 识别违规高发时段
- 分析违规变化趋势
用户分析：
- 识别频繁违规的用户
- 分析用户违规原因
- 必要时进行用户教育
误报处理
查看详情：
- 点击"查看详情"查看完整内容
- 判断是否为误报
- 分析误报原因
调整词库：
- 将误报词从词库移除
- 或添加白名单机制
- 测试验证调整效果
用户反馈：
- 及时处理用户申诉
- 告知处理结果
- 持续优化检测规则
常见问题
Q：如何判断是否为误报？
A：
- 查看完整的违规内容和上下文
- 分析敏感词匹配是否合理
- 考虑使用场景和语境
- 结合用户反馈综合判断
Q：违规记录可以删除吗？
A：
- 可以删除误报或过期的记录
- 删除操作不可恢复，请谨慎
- 建议保留一定时间的记录用于分析
- 定期清理过期记录
Q：如何减少误报率？
A：
- 优化敏感词库，移除过于宽泛的词
- 调整匹配算法，考虑上下文
- 增加白名单机制
- 使用百度云等第三方服务提高准确率
Q：违规记录保存多久？
A：
- 默认永久保存
- 可根据需要定期清理
- 建议保留最近3-6个月的记录
- 重要记录可导出备份
Q：如何导出违规记录？
A：
- 当前版本可能不支持直接导出
- 可以使用浏览器的打印功能
- 或联系技术人员从数据库导出
- 后续版本可能增加导出功能