Curve:OPML:采用Optimistic Rollup系统的机器学习

来源:github;编译:MarsBit

我们提出OPML(Optimistic机器学习),它可以使用Optimistic方法对区块链系统进行AI模型推理和训练/微调。

与ZKML相比,OPML可以提供低成本、高效率的ML服务。OPML的参与要求很低:我们现在能够在没有GPU的普通PC上运行带有大型语言模型的OPML,例如7B-LLaMA(模型大小约为26GB)。

OPML采用验证游戏(类似于Truebit和Optimistic Rollup系统)来保证ML服务的去中心化和可验证共识。

请求者首先启动一个ML服务任务。

然后,服务器完成ML服务任务并将结果提交到链上。

验证者将验证结果。假设存在一个验证者声明结果是错误的。它通过与服务器的验证游戏(二分协议)启动验证游戏,并试图通过精确指出一个具体的错误步骤来反驳该声明。

最后,在智能合约上进行单个步骤的仲裁。

单阶段精确定位协议的工作原理与计算委托 (RDoC) 类似,其中假设两个或多个参与方(至少有一个诚实的参与方)执行相同的程序。然后,双方可以用精确的方式相互质疑,以找出有争议的步骤。将步骤发送给计算能力较弱的法官(区块链上的智能合约)进行仲裁。

Fantom 基金会从 SushiSwap 上撤回了近 45 万枚 MULTI 的流动性:5月24日消息,据 Lookonchain 监测,Fantom 基金会地址从 SushiSwap 上撤回了 449,740 枚 MULTI(价值约 240 万美元)的流动性。[2023/5/24 22:15:10]

在单阶段OPML中:

我们构建了一个虚拟机(VM)用于链下执行和链上仲裁。我们保证了在智能合约上实现的链下VM和链上VM的等效性。

为了确保虚拟机中AI模型推理的效率,我们实现了一个专门为此目的设计的轻量级DNN库,而不是依赖于流行的ML框架,如Tensorflow或PyTorch。此外,还提供了一个脚本,可以将Tensorflow和PyTorch模型转换为这个轻量级库。

采用交叉编译技术将人工智能模型推理代码编译成虚拟机程序指令。

虚拟机镜像是用默克尔树管理的,只有默克尔根会被上传到链上智能合约。(默克尔根代表虚拟机状态)

美国、欧盟政府承诺从 SWIFT 系统中删除“选定的”俄罗斯银行:金色财经报道,美国和欧盟今日宣布了一项计划,从环球银行金融电信协会(SWIFT)中删除一组俄罗斯银行。SWIFT支撑着全球金融系统,每日处理数百万条安全消息,帮助银行管理世界各地的交易。该组织在声明中表示,“我们承诺确保将选定的俄罗斯银行从 SWIFT 中删除。这将确保这些银行与国际金融体系脱节,损害它们在全球运营的能力。”此外,该组织还承诺对俄罗斯央行采取行动。 “我们承诺采取限制性措施,阻止俄罗斯中央银行以破坏我们制裁影响的方式部署其国际储备。”(theblockcrypto)[2022/2/27 10:18:55]

二分协议将帮助定位争议步骤,该步骤将发送到区块链上的仲裁合约

性能:我们在PC上测试了一个基本的AI模型(用于MNIST分类的DNN模型)。我们能够在VM中2秒内完成DNN推理,在本地以太坊测试环境中,整个挑战过程可以在2分钟内完成。

动态 | KARMA 从 EOS 离开转到 WAX:近期,KARMA 宣布了它准备从 EOS 迁移到 WAX,因为他们团队认为主网中仍存在一些问题,无法实现他们的目标。Karma 是 EOS 上第一个启动的社交网络应用,自发布以来就一直在推动着创新的,例如,他们创造了一种能为所有用户支付 RAM 的方式,并且是 EOS 上第一个启用“ We Pay CPU”的应用程序。让他们想要离开 EOS 的问题如下:

1、BP 对 EIDOS 状况和升级缺少沟通和反应

2、帐户创建的成本(约在 2.8-10.5 元间)

3、CPU /带宽的成本 -缺乏 WPS 功能

对于这个计划的实施,所有当前的 KARMA 用户将使用相同的公钥和相同数量的 KARMA 代币创建一个免费的 WAX 帐户。这样,用户的过渡将非常简单快捷,无需进行重大的更改。切换到 WAX 之后,EOS 上的所有 KARMA 代币将被冻结,不再被使用。[2019/12/2]

单阶段验证游戏有一个严重的缺点:所有的计算必须在虚拟机(VM)内执行,这使我们无法充分利用 GPU/TPU 加速或并行处理的潜力。因此,这一限制严重阻碍了大模型推理的效率,这也与当前RDoC协议的限制相一致。

动态 | 2千万枚 USDT从 Tether Treasury转至 Bitfinex交易所:据 Whale Alert监测,刚刚2千万枚 USDT从 Tether Treasury转至 Bitfinex交易所。[2019/7/4]

为了解决单阶段协议所带来的限制,并确保OPML能够达到与本机环境相当的性能水平,我们提出了对多阶段协议的扩展。使用这种方法,我们只需要在最后阶段在VM中进行计算,类似于单阶段协议。对于其他阶段,我们可以灵活地执行计算,从而在本机环境中实现状态转换,利用CPU、GPU、TPU甚至并行处理的能力。通过减少对VM的依赖,我们显著地减少了开销,从而显著提高了OPML的执行性能,几乎与本机环境类似。

下图演示了一个验证游戏由两个阶段(k = 2)组成。在阶段1中,该过程类似于一个单阶段验证游戏,其中每个状态转换对应于一个改变虚拟机状态的单个VM微指令。在阶段2中,状态转换对应于包含改变计算上下文的多个微指令的“大指令”。

提交者和验证者将首先使用二分协议启动第二阶段的验证游戏, 以定位“大指令”上的争议步骤。此步骤将发送到下一阶段,即phase -1。第一阶段的工作原理类似于单阶段验证游戏。第一阶段的二分协议将有助于定位 VM 微指令上的争议步骤。该步骤将发送至区块链上的仲裁合约。

声音 | BM:从 EOS 回到 ETH 就像从光纤回到了拨号一样:据 IMEOS 报道,BM 昨夜在推特发了两条推文,分别表达了 EOS 的领先和 DPOS 的优势

1.用户回馈使用 EOS 几个月后重新使用 ETH 就像是从光纤回到了拨号一样。一旦你在 EOS 上,你永远都不想在回去。

当计算或算法发生巨大突破时,工作证明就变得完全中心化...无论技术发展如何,DPOS 都会一直保持去中心化。你可以轻松分叉 DPOS,但创建新的抗性工作证明非常困难。[2019/4/15]

为了确保过渡到下一阶段的完整性和安全性,我们依赖于默克尔树。该操作包括从更高级别的阶段提取Merkle子树,从而保证验证过程的无缝延续。

在本演示中,我们提出了 LLaMA 模型中使用的两阶段 OPML 方法:

机器学习(ML),特别是深度神经网络(DNN)的计算过程可以表示为计算图,表示为G。该图由各种计算节点组成,能够存储中间计算结果。

DNN模型推理本质上是在上述计算图上的计算过程。整个图可以看作是推理状态(Phase-2中的计算上下文)。在计算每个节点时,结果存储在该节点中,从而将计算图推进到下一个状态。

因此,我们可以先在计算图上进行验证博弈(在phase-2)。在第二阶段验证游戏中,图形节点的计算可以在本地环境中使用多线程CPU或GPU进行。二分协议将帮助定位争议节点,该节点的计算将发送到下一阶段(phase-1) 二分协议。

在第一阶段二分中,我们将单个节点的计算转换为虚拟机(VM)指令,类似于在单阶段协议中所做的操作。

值得注意的是,当计算图中单个节点的计算仍然计算复杂时,我们预计会引入多阶段OPML方法(包括两个以上阶段)。这一延长将进一步提高验证过程的整体效率和有效性。

在这里,我们对我们提出的多阶段验证框架进行了简要的讨论和分析。

假设有n DNN计算图中的节点,每个节点需要取m VM微指令,在VM中完成计算。假设使用GPU或并行计算对每个节点的计算加速比为α 。该比率表示通过GPU或并行计算实现的加速,并且可以达到显着值,通常比VM执行速度快几十倍甚至数百倍。

基于这些考虑,我们得出以下结论:

1.两阶段OPML优于单阶段OPML,实现了计算加速α次。多阶段验证的使用使我们能够利用GPU或并行处理提供的加速计算能力,从而显着提高整体性能。

2.当比较Merkle树的大小时,我们发现在两阶段OPML中,大小为O(m+n),而在单阶段OPML中,尺寸明显大于 O(mn)。Merkle树大小的减小进一步突出了多阶段设计的效率和可扩展性。

总之,多阶段验证框架提供了显着的性能改进,确保更高效和更快的计算,特别是在利用GPU或并行处理的加速能力时。此外,减小的Merkle树大小增加了系统的有效性和可扩展性,使多阶段OPML成为各种应用的选择。

在OPML中,确保ML结果的一致性是至关重要的。

在DNN计算的本机执行过程中,特别是在不同的硬件平台上,由于浮点数的特性,可能会产生执行结果的差异。例如,涉及浮点数的并行计算,例如(a+b)+c与a+(b+c), 由于舍入误差,通常会产生不相同的结果。此外,编程语言、编译器版本和操作系统等因素都可能影响浮点数的计算结果,从而导致ML结果进一步不一致。

为了应对这些挑战并保证OPML的一致性,我们采用了两种关键方法:

1.采用定点算法,又称量化技术。这种技术使我们能够使用固定精度而不是浮点数来表示和执行计算。通过这样做,我们减轻了浮点舍入误差的影响,从而获得更可靠和一致的结果。

2.我们利用基于软件的浮点库,这些库旨在跨不同平台保持一致的功能。这些库确保了ML结果的跨平台一致性和确定性,而无论底层硬件或软件配置如何。

通过结合定点算法和基于软件的浮点库,我们为在OPML框架内实现一致和可靠的ML结果奠定了坚实的基础。这种技术的协调使我们能够克服浮点变量和平台差异带来的固有挑战,最终增强OPML计算的完整性和可靠性。

*:在当前的OPML框架中,我们的主要重点在于ML模型的推理,从而实现高效且安全的模型计算。然而,必须强调的是,我们的框架也支持训练过程,使其成为各种机器学习任务的通用解决方案。

请注意,OPML仍在开发中。如果您有兴趣成为这一激动人心的计划的一部分,并为OPML项目做出贡献,请随时与我们联系。

MarsBit

媒体专栏

阅读更多

Foresight News

金色财经 Jason.

白话区块链

金色早8点

LD Capital

-R3PO

深潮TechFlow

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

链链资讯

[0:15ms0-2:535ms