云上曲率是什么
云上曲率LiveData是一套面向游戏、社交、直播和出海应用的实时互动与AI云服务。
它把实时消息、音视频通信、多语言翻译、语音识别和内容审核整合到开发者平台中。
主要功能
- 提供全球实时消息服务。
- 支持一对一与多人音视频互动。
- 进行多语言实时文本翻译。
- 把多语种语音转换成文字。
- 将语音内容翻译为目标语言文本。
- 审核多语言聊天文本。
- 识别图片中的违规内容。
- 检测音频中的风险信息。
- 对视频截帧并进行审核。
- 提供REST API与客户端SDK。
- 提供控制台测试和数据统计。
- 开源ViiTorVoice语音生成项目。
适合哪些用户
| 用户 | 典型需求 | 重点 |
|---|---|---|
| 出海游戏 | 跨语言聊天与内容安全 | 术语、延迟和地区合规 |
| 社交应用 | 消息、语聊与实时翻译 | 并发、审核和用户隐私 |
| 直播平台 | 连麦、字幕和音视频审核 | 实时性与人工复核 |
| 跨境电商 | 多语言客服与评论审核 | 商品术语和业务准确性 |
| 在线教育 | 语音识别和实时字幕 | 专业词与未成年人保护 |
| AI开发者 | 本地声音克隆与语音编辑 | 授权、GPU和滥用控制 |
实时消息RTM
RTM用于传输聊天、状态和业务消息,官方文档介绍其全球平均消息延迟约100毫秒。
实际延迟会受用户地域、网络质量、消息大小和服务端处理时间影响,应以压力测试为准。
- 支持高并发实时消息。
- 可用于游戏和社交互动。
- 支持水平扩展与动态扩容。
- 控制台可模拟服务端接口。
- 提供消息与使用数据统计。
- 可结合翻译和审核能力。
实时音视频RTC
RTC适合语聊房、游戏开黑、直播连麦、视频会议和在线互动等低延迟场景。
- 确定一对一或多人通话模式。
- 选择需要支持的终端平台。
- 创建项目并取得接入凭证。
- 集成对应客户端SDK。
- 实现房间、用户和权限逻辑。
- 测试弱网、断线和设备切换。
- 增加录音、审核和投诉机制。
- 上线前进行并发与费用测试。
实时文本翻译
实时文本翻译针对聊天口语、缩略语和网络表达进行优化,官网介绍支持50多种语言互译。
| 场景 | 使用方式 | 检查重点 |
|---|---|---|
| 游戏聊天 | 消息发送时自动翻译 | 游戏术语和玩家俚语 |
| 社交对话 | 按用户语言返回译文 | 语气与冒犯性表达 |
| 直播互动 | 翻译评论和主持内容 | 实时性和上下文 |
| 跨境客服 | 辅助客服理解问题 | 订单、金额与承诺 |
| 社区运营 | 统一处理多语言内容 | 审核规则的地区差异 |
语音识别与语音翻译
语音识别把音频转换为文字,语音翻译则继续输出目标语言文本。
不同产品支持的语种数量不同,接入前应按接口文档核对源语言、目标语言和音频要求。
- 适用于直播实时字幕。
- 适用于跨语言语音社交。
- 适用于会议和教学转写。
- 支持行业术语定制服务。
- 可结合敏感词过滤。
- 结果需要抽样人工校验。
多模态内容审核
| 内容 | 处理方式 | 常见用途 |
|---|---|---|
| 文本 | 按字符和场景检测 | 聊天、昵称和评论 |
| 图片 | 识别多类风险内容 | 头像、动态和直播封面 |
| 音频 | 转写并检测违规信息 | 语聊房和直播音轨 |
| 视频 | 按实际截图量审核 | 短视频和直播回放 |
自动审核可能误判或漏判,高风险内容、申诉和封禁决定应保留人工复核通道。
云上曲率完整接入教程
- 注册账户并创建企业信息。
- 创建子公司、项目组和项目。
- 选择实时互动、翻译或审核服务。
- 确认目标平台与SDK版本。
- 取得项目凭证并安全保存。
- 先在控制台完成接口模拟。
- 在测试环境集成最小功能。
- 处理超时、重试和重复回调。
- 使用真实语料测试翻译质量。
- 为审核结果建立人工复核流程。
- 统计字符、分钟和图片调用量。
- 设置预算、告警和限流。
- 完成隐私和地区合规检查。
- 灰度上线并持续观察数据。
计费方式与价格
云上曲率按产品、调用量和检测系数计费,具体套餐价格需以控制台或商务报价为准。
| 项目 | 计费单位 | 公开规则 |
|---|---|---|
| 年度套餐 | 套餐规定检测量 | 未超出总量时按套餐结算 |
| 超出套餐 | 每千次计费量 | 1.6元/千次 |
| 文本审核 | 每1024字符 | 不足一档向上取整 |
| 图片审核 | 图片数×场景系数 | 多个检测场景系数相加 |
| 音频审核 | 按分钟和系数 | 不同检测能力系数不同 |
| 文本翻译 | 每100字符 | 通用与定制翻译系数不同 |
| 语音识别 | 按音频分钟 | 当前计费系数为50 |
| 语音翻译 | 按音频分钟 | 当前计费系数为80 |
| 多语言OCR | 按次 | 当前计费系数为3 |
系数用于折算套餐计费量,不等同于人民币单价;最终费用应结合套餐容量计算。
如何控制费用
- 按实际业务选择必要检测场景。
- 避免同一内容重复提交。
- 长文本先明确分段策略。
- 视频根据风险调整截帧频率。
- 对失败重试设置次数上限。
- 区分测试、生产和不同项目。
- 定期核对调用量与账单。
- 接近套餐上限时及时告警。
ViiTorVoice-NAR是什么
ViiTorVoice-NAR是viitor-ai公开的非自回归语音生成系统,可进行声音克隆和局部语音编辑。
- 使用参考音频克隆声音。
- 只重新生成被修改的局部片段。
- 支持情绪与副语言标签控制。
- 提供分离式gRPC服务。
- 提供端到端HTTP网关。
- 支持Docker和本地部署。
- 公开模型权重采用Apache-2.0。
ViiTorVoice本地部署教程
- 准备Linux、Python和兼容GPU环境。
- 下载官方viitor-voice-nar仓库。
- 阅读许可证和上游模型条款。
- 运行环境初始化脚本。
- 下载模型文件到指定目录。
- 确认模型文件不是失效软链接。
- 启动编码器、模型和解码服务。
- 检查HTTP健康状态。
- 使用已授权的参考音频测试。
- 比较音色、读音和局部接缝。
- 加入鉴权、限流和审计日志。
- 通过安全评审后再开放使用。
声音克隆合规要求
声音克隆只能使用本人声音或已获得明确授权的音频,不得生成欺骗性冒充内容。
- 记录声音所有者的授权范围。
- 明确用途、期限和可发布渠道。
- 禁止冒充公众人物和真实机构。
- 不得用于诈骗、骚扰或虚假背书。
- 对合成音频进行清晰标识。
- 保存生成记录和操作者日志。
- 提供撤回授权与删除机制。
- 未成年人声音采用更严格限制。
数据安全与隐私
- 凭证只保存在安全服务端。
- 聊天和音频数据按需最小化。
- 跨境业务核对数据传输规则。
- 限制员工导出审核原始内容。
- 敏感数据进入日志前先脱敏。
- 为模型和SDK更新建立审查流程。
- 到期后删除不再需要的数据。
API、SDK与开源情况
| 项目 | 开放情况 | 说明 |
|---|---|---|
| 云上曲率云平台 | 不开源 | 商业实时互动与AI服务 |
| 产品API与SDK | 提供 | 按项目申请并集成 |
| FPNN | 提供开源项目 | 与商业云平台范围不同 |
| ViiTorVoice-NAR | 开源 | 声音克隆和局部语音编辑 |
| 模型许可证 | Apache-2.0 | 仍需核对依赖与数据条款 |
产品优势
- 实时互动与AI能力一体化。
- 覆盖多语言文本和语音场景。
- 支持文本、图片、音频和视频审核。
- 适合游戏、社交和直播出海。
- 提供完整文档、API和SDK。
- 拥有可本地部署的开源语音项目。
使用限制
- 完整套餐价格需咨询或登录查看。
- 翻译和识别结果可能出现错误。
- 内容审核不能完全替代人工。
- 实时性能受网络和地域影响。
- 不同产品支持语种数量不同。
- 开源语音项目需要本地算力。
- 声音克隆必须取得明确授权。
常见问题
云上曲率主要提供什么服务?
它提供实时消息、实时音视频、多语言文本翻译、语音识别、语音翻译及多模态内容审核服务。
云上曲率支持哪些内容审核?
支持文本、图片、音频和视频审核,视频通常按截图处理,高风险结果仍应由人工复核。
云上曲率如何收费?
平台按产品、调用量和系数计费,年度套餐超出部分公开标准为1.6元每千次计费量,套餐总价以当前报价为准。
云上曲率支持实时翻译吗?
支持实时文本和语音翻译,不同接口支持的语种范围不同,接入前应按具体产品文档核对。
ViiTorVoice-NAR能做什么?
它可根据授权参考音频进行声音克隆,也能定位文本变化并只重新生成对应的局部语音片段。
ViiTorVoice-NAR可以商用吗?
主模型页面采用Apache-2.0,但商用前仍需检查代码、模型组件、训练数据和依赖许可证,并取得声音授权。
云上曲率平台是开源的吗?
商业云平台不开源,官方公开了ViiTorVoice-NAR等独立项目,不能把单个开源仓库等同于整个平台开源。
桂公网安备45132202000164号