改名Meta之后，Facebook的元宇宙愿景正在一点点实现。这一次，Facebook把目光投在了元宇宙社交上。
Meta发布语音处理模型XLS-R
近日，Meta正式发布XLS-R——一套用于各类语音任务的新型自监督模型。据悉，XLS-R由海量公共数据训练而成(数据量是过去的十倍)，能够将传统多语言模型的语言支持量增加两倍以上。目前，XLS-R共支持128种语言。
Meta认为，语音交流是人们最自然的一种交互形式。“随着语音技术的发展，我们已经能够通过对话同自己的设备及未来的虚拟世界直接互动，由此将虚拟体验与现实世界融为一体。”
韩国将在元宇宙项目上投入总计5100万美元:金色财经报道，韩国科技部周三宣布，将向利用元宇宙的本地服务投资277亿韩元(2100万美元)。这笔2100万美元的投资将支持医疗、教育和旅游等领域的13个新项目，这些项目将利用元宇宙创新服务，改善对公众的服务。韩国周二宣布了400亿韩元(3000万美元)的基金，将鼓励元宇宙领域的小型企业积极寻求并购，以扩大业务到全球市场。[2023/3/9 12:51:55]
这与扎克伯格此前宣称的“公司业务将以元宇宙优先”不谋而合。此前，扎克伯格曾概述了他建立“元世界”的计划：一个建立在我们自己的数字世界之上的数字世界，包括虚拟现实和增强现实。“我们相信元宇宙将会接替移动互联网”。
而XLS-R作为元宇宙社交中必不可少的一环，可以帮助母语不同的人在元宇宙无障碍对话。
NBA与Meta达成合作将在元宇宙中转播52场比赛:金色财经报道，NBA 已与 Meta 达成协议延长双方的合作关系，将其部分比赛免费带入元宇宙。据悉，总计有 52 场比赛将使用虚拟现实计划并在元宇宙应用程序 Xtadium 上转播，该应用程序需要使用 Meta 的元宇宙头显设备 Meta Quest 2 播放。此外，相关比赛也会登陆Meta 的旗舰元宇宙应用程序 Horizon Worlds，其中 5 场将使用180 度单视场技术，用户将能像坐在球场附近一样体验比赛。此外，NBA 授权的虚拟服装也将上架 Meta Avatars Store，用户可以在Whatsapp、Instagram 和 Facebook 上使用 NBA 元素头像。（bitcoin.com）[2023/1/27 11:32:18]
值得一提的是，为了通过单一模型实现对多种语言的广泛语音理解能力，Meta对XLS-R进行了微调，使其获得语音识别、语音翻译及语言识别等功能。据介绍，XLS-R在BABEL、CommonVoice以及VoxPopuli语音识别基准测试，CoVoST-2的外语到英文翻译基准测试，以及VoxLingua107语言识别基准测试中都取得了不错的成绩。
沙特Neom新城科技部门今年已在元宇宙和AI应用投资10亿美元:9月30日消息，由沙特王储小萨勒曼主导的“Neom”新城建设项目科技子公司NEOM Tech&Digital首席执行官Joseph Bradley表示，2022年已在元宇宙和人工智能应用投资10亿美元，其中包括一个元宇宙平台。此外，公司还将更名为Tonomus，因为NEOM致力于将人工智能技术整合到其零碳城市The Line的建设中。该元宇宙平台将帮助来自世界各地的人们在实际投资这座城市之前进行虚拟访问。
此前，沙特王储宣布将斥资5000亿美元用于Neom新城建设，建立一个高度自动化、使用太阳能和风能等清洁能源的城市。[2022/9/30 6:04:55]
为了尽可能降低功能访问门槛，目前，Meta与HuggingFace联手发布了模型本体，并通过fairseqGitHubrepo全面开放。
研究：25% 的美国加密投资者拥有或计划在元宇宙中获得土地:金色财经报道，一项研究结果显示，美国约有25%的加密货币投资者在元宇宙拥有或租用土地，或有此计划。研究结果还显示，婴儿潮这一代的受访者中，对在元宇宙中租赁或拥有空间感兴趣的比例最高（18%）。
根据研究结果，千禧一代是受访者中已经拥有或正计划在元空间获得土地或租赁的比例第二高的一代（12%）。而不远处的X代和Z代则并列，各占11%。虽然Z世代在研究报告中被认定为数字原生代，但 \"与其他被询问的世代相比，Z世代不太可能已经拥有或想要在元空间中拥有/租用财产。
由Cinch Home Services进行的研究发现，17%的男性计划在元宇宙中投资房产，而只有10%的女性有这样的计划。同时，研究结果表明，当前虚拟世界中的土地所有者愿意平均花费不到 1,750 美元。（news.bitcoin）[2022/4/24 14:44:38]
试用地址：https://huggingface.co/spaces/facebook/XLS-R-2B-22-16
XLS-R工作原理
据介绍，XLS-R在wav2vec2.0训练集上接受了超过43万6千小时的公开语音录音训练，从而实现了对语音表达的自监督学习方法。这样的训练量已经达到去年发布的当时最强的模型XLSR-53的10倍。利用从会议记录到有声读物的多种语音数据来源，XLS-R的语言支持范围扩展到128种，涵盖的语种量达到前代模型的近2.5倍。
作为Meta打造的有史以来最大模型，XLS-R中包含超过20亿个参数，性能远高于其他同类模型。Meta表示，事实证明，更多参数能够更充分地体现、数据集中的各类语种。此外，Meta还发现，规模更大的模型在单一语言预训练方面的性能也同样优于其他较小模型。
Meta在四种主要多语言语音识别测试中对XLS-R做出评估，发现它在37种语言上获得了超越以往模型的效能。具体测试场景为：BABEL中选取5种语言，CommonVoice中选取10种语言，MLS中选取8种语言，以及VoxPopuli上选取14种语言。
BABEL上的单词错误率基准测试结果。XLS-R较前代模型实现了显著改进。
此外，Meta还评估了语音翻译模型，即将录音资料直接翻译成另一种语言。为了打造一套能够执行多种任务的模型，Meta同时在CoVoST-2基准测试的数个不同翻译方向上对XLS-R进行了微调，使其能够在英语与多达21种语言之间实现内容互译。
在使用XLS-R对英语以外的其他语言进行编码时，获得了显著的效能提升，这也是多语言语音表达领域的一次重大突破。据Meta介绍，XLS-R在低资源语言学习中实现了显著改进，例如印尼语到英语的翻译，其中BLEU准确率平均翻了一番。BLEU指标的提升是指模型给出的自动翻译结果与处理同一内容的人工翻译结果间重合度更高，代表着模型在改进口语翻译能力方面迈出了一大步。
以BLEU指标衡量的自动语音翻译准确率，其中较高值表示XLS-R从高资源语言(例如法语、德语)、中资源语言(例如俄语、葡萄牙语)或低资源语言(例如泰米尔语、土耳其语)语音记录翻译至英语时的准确率。
Meta认为，XLS-R证明扩大跨语言预训练规模可以进一步提高低资源语言的理解性能。它不仅提高了语音识别率，同时也将由外语到英语的语音翻译准确率提高了一倍以上。
“XLS-R是我们朝着以单一模型理解多种不同语言(语音)目标迈出的重要一步，也代表着我们在利用公共数据推进多语言预训练方面做出的最大努力。我们坚信这是一条正确的探索方向，将让机器学习应用更好地理解所有人类语音、并促进后续研究，大大降低语音技术在全球范围内、特别是服务匮乏社群中的使用门槛。我们将不断开发新方法，通过低监督学习拓展模型的语言理解能力、逐步使其覆盖全球7000多种语言，实现算法的持续更新。”Meta提到。
https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。