博客
关于我
从人工到机器智能,盗版监测在 AI 时代如何破局?
阅读量:124 次
发布时间:2019-02-26

本文共 1740 字,大约阅读时间需要 5 分钟。

简介: 随着 5G 时代来临,新媒体行业快速发展,盗版传播平台多样化、形式多样化,版权方难 以通过有限的人力实现最大限度的维权。根据 MUSO 报告显示 2017 年盗版网站访问量达到 3000 亿次。人工智能逐渐成熟,盗版监测覆盖难、查找难的问题将迎刃而解。那么如何运行将人工智能技术运用到盗版监测中?

作者| 阿里文娱高级开发工程师 千起

一、背景

随着 5G 时代来临,新媒体行业快速发展,盗版传播平台多样化、形式多样化,版权方难 以通过有限的人力实现最大限度的维权。根据 MUSO 报告显示 2017 年盗版网站访问量达到 3000 亿次。人工智能逐渐成熟,盗版监测覆盖难、查找难的问题将迎刃而解。

那么如何运行将人工智能技术运用到盗版监测中?我们先从一个例子开始:下面是一个普 通用户查找盗版资源的过程:

image.png

上面的例子中有两个操作:搜索查找 + 结果筛选。其中“结果筛选”是用户阅读搜索结果, 并确认当前结果是否包含盗版内容。这一过程在人工智能领域叫识别,因为用户阅读的是文字, 所以我们叫它:自然语言识别。

普通用户可以很容易的判断出“哪些搜索结果包含盗版内容?”,那么机器是怎样模拟阅搜 索结果呢?下面我们分析 3 个典型的盗版搜索例子。

二、盗版搜索结果分析

1. 用户搜索盗版影片示例

image.png

2.“判断难点”分析

1)归类“判断难点” 名称近似类:系列类影片、名称包含类影片;

(1)主题不相关类:结果是资讯、新闻、彩票、广告等等信息;
(2)同名影片类:相同影片的歌曲、游戏、戏剧、通用名词等有歧义的信息;
(3)变换类:影片名称缩写、人工故意添加的干扰信息。

image.png

1)自然语言识别中怎样处理这几种情况?

(1)名称近似类:
答:回想一下人是怎样处理的?如果一个人是它知道所有影片信息,那么他就知道两个影片是不一样的。这类问题在自然语言中属于知识图谱(Knowledge Graph,简写:KG)的范畴。
(2)主题不相关类:结果是资讯、新闻、彩票、广告等等信息;
答:普通人因为有一些背景知识,是知道哪些是属于新闻类,哪些属于广告类。由于这些分类是有限的,所以自然语言中通常使用文本分类(Text classification)。常见的文本分类有二分类和多分类(输出大于 2 种分类结果)。
(3)同名影片类:相同影片的歌曲、游戏、戏剧、通用名词等有歧义的信息;
答:识别同名需要有两步。第一步提取句子中的影片实体名称,第二步辨别句子描述的是哪个领域的影片。这里需要自然语言领域中的 实体识别 (Named-entity recognition,简写:NER)+文本分类。通俗讲,实体识别是找中句子中的影片,而文本分类是区分这个句子说的是哪个领 域的影片。
(4)变换类: 影片名称缩写、人工故意添加的干扰信息。
答:这类问题和问题 1)一样,这类问题在自然语言中属于知识图谱(Knowledge Graph, 简写:KG)的范畴。模型需要背景知识,知道影片有哪些缩写。

三、自然语言识别如何识别盗版呢?

在自然语言处理领域通过有三部分。分别为:文本预处理、特征计算、模型训练/预测。

文本预处理:清洗样本,并将文本格式、符号转化为统一的形式;
特征计算: 将文本转化为数字。这一步可以使用特征工程,或者 词袋(oneHot)、文 本嵌入(word embedding)模型、深度 Transformer 模型。
模型训练/预测:选择合适的模型算法,训练模型。模型方面可以使用决策树类型(例如: XGBoost、LightGBM、Deep Forest 等等),也可以使用深度网络(例如:LSTM、BERT、 Transformer-XL 等等)。当然也可以使用多个模型(一个模型的输出,作为一个模型的输入)

image.png

那么模型是什么样子的?

image.png

下面是从样本输入到模型产出,落地一个模型需要做的步骤:

image.png

四、总结

这篇文章中提到的方法已经落地到实际工程中,准确率可以达到超越人工盗版结果判断水 平。目前自然语言仍然有非常强的业务领域特点,不同业务领域会遇到不同的行业特定问题, 而且前沿的模型提供原生的英文支持,所以在工程落地场景中,需要结合实际业务场景不断的 优化模型。

转载地址:http://ktwy.baihongyu.com/

你可能感兴趣的文章
mysql 随机数 rand使用
查看>>
MySQL 面试题汇总
查看>>
MySQL 面试,必须掌握的 8 大核心点
查看>>
MySQL 高可用性之keepalived+mysql双主
查看>>
MySQL 高性能优化规范建议
查看>>
mysql 默认事务隔离级别下锁分析
查看>>
Mysql--逻辑架构
查看>>
MySql-2019-4-21-复习
查看>>
mysql-5.6.17-win32免安装版配置
查看>>
mysql-5.7.18安装
查看>>
MySQL-Buffer的应用
查看>>
mysql-cluster 安装篇(1)---简介
查看>>
mysql-connector-java.jar乱码,最新版mysql-connector-java-8.0.15.jar,如何愉快的进行JDBC操作...
查看>>
mysql-connector-java各种版本下载地址
查看>>
mysql-EXPLAIN
查看>>
MySQL-Explain的详解
查看>>
mysql-group_concat
查看>>
MySQL-redo日志
查看>>
MySQL-【1】配置
查看>>
MySQL-【4】基本操作
查看>>