全部产品
云市场
云游戏

什么是多媒体AI

更新时间:2020-04-23 18:08:07

多媒体AI(MultiMedia AI)是一款视频AI通用技术平台产品,结合视觉及多模态技术,实现视频审核、视频结构化、视频指纹搜索、视频生产等核心视频应用领域的基础功能,为客户在视频审核、版权保护、视频编目、视频搜索推荐、视频交互、视频辅助生产等应用场景种提供了核心能力,提高人员效率和流量效率。

多媒体AI产品实例(以下简称 媒体AI实例)是对应AI服务以及一个能匹配推荐性能的环境,包含 CPU、内存等最基础的计算组件,是媒体AI支撑给每个用户提供服务的实际操作实体。媒体AI实例是以提供的能力服务为核心,以云服务器为基础的概念。其他的资源,比如磁盘、IP、镜像、快照等,只有与计算资源(ECS等服务资源)结合后才能使用。

多媒体AI由底层算法服务层,中间逻辑神经层,上层应用处理层;

  • 底层算法服务层:整合封装人脸识别,语音识别,通用标签,视频分类,logo识别(台标)、动作识别、场景识别、涉黄识别、血腥识别等多项视觉理解算法,同时进行服务化集成,形成统一分析服务层,用于对输入内容进行结构化分析;
  • 中间逻辑神经层:通过上层输入的素材(clib、shot、sequence等)进行解析,同时将解析后的素材,调度转发对应底层算法服务,获取输出结果,同时将多个分析结果进行merge整合、交叉验证,完成后将merge后的结果数据向上输出。
  • 上层应用处理层:作为外部视频素材的统一输入通道,以API方式提供视频上传服务,同时约定上传格式以及大小等输入条件,提供视频分解服务,将上传的视频进行合理分解,供后端逻辑层进行调度分析。此外,上层应用层还提供了人脸库创建等工具型接口的透传,供用户实现应用配置。

相关基本概念

  • 应用:一个进行任务分析的独立单位,可以作为区分用户业务的标识,其中需关联已购买功能服务、设定关联的参数。应用创建后可以变更和删除。
  • 人脸库:在一个用户下创建的业务数据单元,一个用户可以创建多个数据库,人脸库在实例内的命名唯一,人脸总数10w张。
  • 任务:视频分析的最小单元,对视频状态、视频分析结果进行说明。

    限制说明

  • 并发5路:指用户能够提交同时进行分析的最大视频文件数量,超过此数量则提交的视频分析任务默认进入队列等待。
  • 视频分析时长:指视频提交完成后,开始分析时计算,结束时间以任务分析完成时的回执通知消息时间为准。
  • 倍速:单个处理倍速=视频实际时长/最差任务运行时长(不算入下载时长)。

产品流程示意图

流程示意图