多语言与视觉 AI 社交聆听如何运作,应该测试什么?

多语言 AI 社交聆听先识别每条帖子的语言,再用该语言进行分析,因此阿拉伯语、日语、西班牙语和法语的帖子不会被强行套用英语处理。视觉社交聆听则增加了图像分析,例如标志检测,可以找出不含文字的品牌提及。购买前,请用你自己的帖子测试这两项能力。

核心要点

• 多语言聆听是一条链路:先语言识别,再按语言分析,最后用你能读懂的一种语言出报告。
• 视觉聆听能在图片和视频帧中找到品牌,这是关键词搜索看不到的。
• 供应商常说“支持 100 种语言”,却不说明每种语言的效果如何,所以请测试你销售所在的语言。
• 为每种语言建立一个小型的标注测试集,并分别给识别、情感、主题和标志打分。
• 不要相信任何无法在你自己的数据上复现的单一准确率数字。

多语言社交聆听是如何运作的?

分四步:收集帖子、识别每条帖子的语言、用该语言分析帖子,然后把结果归并用于报告。薄弱环节通常出在中间两步。

1. 收集帖子时,使用各语言本身书写的关键词,而不是同一份英文列表的翻译版。
2. 识别每条帖子的语言。Google 的 Cloud Translation 文档展示了典型输出:一个按可信度排序的语言代码列表,每个附带介于 0 和 1 之间的置信度。
3. 分析帖子的情感、主题和实体,使用能处理该语言的模型。
4. 汇报时使用一种工作语言,最好还能一键查看原文。

同一来源没有说明识别功能如何应对短文本或混合语言文本,所以应把这当作需要测试的内容,而不要想当然。

为什么语言识别比看上去更难?

社交帖子短小、随意,而且常常混用多种语言。三个词的评论、一个话题标签或一串表情符号,给识别器提供的信息非常少。

常见的难点:

• 方言。阿拉伯语帖子可能用现代标准阿拉伯语书写,也可能用地区方言。针对正式文本调优的工具可能误读俚语。
• 转写。人们会用拉丁字母输入阿拉伯语或日语。识别器可能把这类帖子判为英语。
• 语码转换。一句话里可能包含两种语言。
• 文字系统。日语在一句话里混用多种书写系统,所以词的边界并不明显。
• 品牌名称。日语或阿拉伯语句子中以拉丁字母书写的品牌,仍然必须能被匹配到。

什么是视觉 AI 社交聆听?

视觉 AI 社交聆听分析帖子中的图片和视频,而不只是文字。最常见的用途是在没有人写出品牌名的图片里找到你或对手的标志。

Google 的 Cloud Vision 文档把标志检测描述为在图像中找出常见的产品标志。每条结果包含标志的描述、置信度分数,以及标出其位置的边界框。这正是评估任何供应商时该找的模式:找到了什么、模型有多确定、位置在哪里。

视觉聆听还涵盖图像中的场景、物体和文字。请问清供应商究竟支持其中哪几项,以及是适用于视频帧还是只适用于静态图片。

应该测试哪些语言,怎么测?

测试对你的收入重要的语言,并为每种语言准备各自的标注样本。下表给出了四种语言的起步方案,并附上各语言中“社交聆听工具”的本地搜索词。

对每种语言运行以下流程:

1. 收集 100 到 200 条关于你所在品类的真实帖子。这些是你自己的样本,而不是供应商的演示集。
2. 请母语者为每条帖子标注语言、情感和主题。
3. 让工具对同样的帖子运行,并对比结果。每项任务分别打分。
4. 再加入 50 条带图片的帖子,图片中含有标志,其中一些较小、旋转或被部分遮挡。
5. 记录漏检,而不只是命中。错误中的规律能告诉你问题是否可以修复。

以上样本量是实用建议,不是统计标准。样本越大,结果越稳定。

应该问供应商什么?

要求提供每种语言的证据,而不是笼统的总数。一份简短的问题清单就能覆盖大部分风险。

• 哪些语言经过母语者评估,哪些只是通过翻译来支持?
• 分析是用原语言进行,还是先把每条帖子翻译成英语?
• 方言、转写和混合语言的帖子是如何处理的?
• 我能看到每条洞察背后的原帖吗?
• 哪些视觉功能已上线:标志、场景、图中文字、视频?
• 我能导出结果自己核对吗?

先翻译不一定是错的,但可能会抹平语气和俚语。如果工具先翻译再分析,请格外仔细地测试情感结果。

如何把多语言数据转化为决策?

先核查每种语言的质量,再比较各个市场。否则,表现弱的语言会被误看成一个安静的市场。

数据可信之后,再按市场逐个解读。我们的指南按市场解读声量份额展示了同一个品类在每个国家的面貌如何不同,亚洲内容本地化不等于翻译解释了为什么要改变的是信息本身,而不只是措辞。想了解更广泛的工具格局,请参阅社交聆听工具指南和营销情报术语表。

FAQ

来源

• Google Cloud Translation,语言检测
• Google Cloud Vision,标志检测