0.引子
“数”中自有黄金屋，链上数据潜藏着无尽的Alpha。当我们跟随smartmoney闻风而动，当我们夜以继日地在NFTParadise中寻找trendingNFT，当我们查询StepN每日新鞋铸造数据时，你是否好奇这些数据如何而来？面对众多链上数据分析平台和纷繁复杂的功能，你是否还在寻找最适合自己的那个平台？1.背景介绍
随着链上生态的日益蓬勃，如DeFi交易、借贷，NFT的铸造、交易等，用户的行为被直接透明地记录在链上。这些链上行为的数据对应着链上价值的流动，对这些数据的分析和根据分析而得出的洞察和见解变得极为有价值。链上数据分析平台，如Nansen，TokenTerminal，DuneAnalytics，FootprintAnalytics，flipsidecrypto,glassnode，Skew等顺应这些日益增长的需求，面向个人和机构用户推出了侧重点略有不同的产品。本文先将简述链上数据分析平台背后的数据架构，意在告诉读者那些链上数据分析结果从何而来，如何而来。随后我们从数据丰富度(覆盖区块链数量)、数据粒度、数据延迟、平台易用性和查询自由度等维度为读者梳理市场上主流的面向个人用户的数据分析平台。最后分享我们对Web3未来链上数据索引、查询和分析的一点畅想。2.链上数据分析平台数据架构介绍
虽然区块链记录着所有原始的交易数据，链上数据本身都是公开透明的，但当我们提出：过去24小时Uniswap的交易量是多少？当前百分之多少的BAYC持有者也同时持有至少一个Moonbirds?......等等问题时，链上原始数据并不能给我们答案，我们需要通过索引(indexing)，处理(processing)，存储(storage)等等一系列数据摄取(ingestion)的处理过程，再根据所提问题来聚合运算对应的数据，才能得到问题的答案。直接查询区块链来求得问题答案是非常耗时耗力的，为了让链上数据能够被快速检索，当前主流的链上数据分析平台会将索引得到的原始链上数据，经过一系列处理后，存入由平台负责更新和管理的数据仓库(datawarehouse)中。当用户在Nansen追踪smartmoney的交易动态，或在DuneAnalytics上查看可视化分析时，用户对所谓“链上数据”的查询，实际上是在查询由项目方中心化控制的数据库而非区块链本身。链上数据分析平台的数据仓库架构大致如下：
相里朋：区块链技术一定是与传统产业深度融合才能发挥其技术价值:近日，工业和信息化部电子第五研究所区块链创新团队负责人、高级工程师相里朋“云连线”有关人员，为武汉支招献策。对此，金色财经采访到工业和信息化部电子第五研究所区块链创新团队负责人、高级工程师相里朋，进一步了解到此次“云连线”的细节。相里朋表示，我单位与中国通信服务股份有限公司区块链研究院（湖北邮电规划设计有限公司）已有多次合作，此次“云连线”主要是为共同打造区块链产业创新基地，做好请示汇报。拟重点围绕“区块链融合创新中心”，建设区块链测试验证平台、区块链展示和培训教育平台、区块链应用创新研究平台以及区块链技术综合研究平台。面向华中地区开展区块链技术融合应用创新，AI区块链、工业区块链等综合研究，加速关键技术突破。协助江汉区打造区块链产业创新发展示范区，不仅是身体力行的支持武汉复工复产，更是看中了江汉区在金融、商贸、医疗等传统领域的优势。区块链技术不是特立独行的，一定是与传统产业深度融合，才能最大的发挥其技术价值。[2020/6/10]
数据采集层:平台从区块链节点获取原始链上数据，部分平台会接受第三方提供的数据源，还有的平台(如FootprintAnalytics)支持用户上传链下数据来辅助最终的数据分析。数据处理层:各平台将原始数据以流式处理或批次处理的方式进行数据抽取、转换和加载。流式处理中，实时原始数据被源源不断地输入并被持续处理，通常意味着数据延迟低，分析结果时效性更高；而批次处理虽然数据延迟会稍高，分析结果时效性稍低，但更适用于大容量的数据处理。数据存储层：经过处理后的数据会根据平台方预先定义的格式存储进数据集的各数据表中以待后续使用。数据整合层：存储的数据会被聚合运算。计算可以是根据预先设定好的指标来进行的(metricscomputation)，也可以阶段性的(periodic)或是根据设定好的条件被触发的(event-drivenaggregation)等。数据分析层：运算完成的结果被实时地报告、输出。对于个人用户而言，我们主要在数据分析层与链上数据分析平台进行交互，比如Nansen提供的BusinessIntelligence报告界面，DuneAnalytics和FootprintAnalytics上众多的的可视化图表，以及部分平台提供的API接口等。各平台采取了不同的方案来建设和维护自己的数据仓库。比如Nansen借助第三方GoogleCloudPlatform完成数据仓库的建设和维护。(https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence)
CoinBene满币巴西分站与BlockDyns达成深度战略合作 ?:CoinBene满币宣布与巴西著名机构BlockDyns达成深度战略合作，双方将围绕虚拟货币合约交易、全球市场宣发、资源对接、渠道商招募以及全方面业务拓展展开全方位合作，帮助用户有更好的合约体验。
据介绍，BlockDyns是一家巴西当地专业的区块链社群，拥有20多万社群用户，致力于帮助社区人员有更好的交易体验，共建线上共识社区。
CoinBene满币数字资产交易平台在全球180多个国家和地区拥有500多万用户，日活跃用户数超10万，日均交易额30亿美元。2019年初，平台战略布局合约衍生品市场，主要为投资者提供以BTC、USDT进行结算且安全、稳定的永续合约服务，CoinBene满币将继续深化与社区、媒体合作。
?[2020/5/22]
图片来源：GoogleCloudNansenCaseStudyhttps://cloud.google.com/customers/nansen而DuneAnalytics，FootprintAnalytics，TokenTerminal等平台则独立建设和维护自己的数据仓库。以FootprintAnalytics为例，其数据仓库架构如下图所示。
3.主流链上数据分析平台比较
本节以内容视角和用户视角，从数据丰富度(覆盖区块链数量)、数据粒度、数据延迟、平台易用性和查询自由度等维度来对比几家主流的链上数据分析平台，包括Nansen，TokenTerminal，DuneAnalytics，FootprintAnalytics。部分平台给用户提供标准化的信息报告界面，比如Nansen，TokenTerminal等。Nansen
声音 | 杭州网：围绕“数字经济”与制造业深度融合 余杭区致力抓好区块链等新产业:杭州网发文称，围绕“数字经济”与制造业深度融合，余杭区抓好A（人工智能）B（区块链）C（云计算）D（大数据）为方向的新产业新业态重点产业，抓好菜鸟网络总部、字节跳动、求是半导体等重点项目，抓好中国（杭州）人工智能小镇、中国（杭州）5G创新园等重点平台。[2019/6/13]
Nansen应该是大家最为熟悉的链上数据分析平台之一。相较于其他平台，其最为出色的功能是钱包标记(walletprofiler/walletlabeling)。借助钱包标记并结合其他链上数据为用户提炼出极具价值的信息，比如SmartMoney，帮助用户追踪巨鲸、重度DeFi玩家的实时动向。其他热门产品包括HotContract,发现新兴热门的DeFi和NFT合约；NFTParadise，一览实时NFT铸造数据等等。Nansen现在支持Ethereum,Arbitrum,Avalanche,BSC,Celo,Fantom,Optimism,Polygon,Ronin,Terra,Solana共计11条区块链的链上数据分析Nansen普通版仅为用户提供精选数据流式处理和批次处理。部分数据分析已实现近乎实时的报告零门槛Nansen普通版仅提供标准信息模板界面。针对机构客户对自定义链上数据查询和分析的需求，Nansen借助GoogleCloudPlatform的BlockchainDatasets发布了NansenInstitutions产品，让专业/机构用户能够编写满足定制需求的SQLQueries。值得一提的是，Nansen在NansenResearch频道中发布了不少链上分析报告。研究报告会对重点事件进行抽丝剥茧般的链上追踪和分析，读者不妨偶尔阅读这些报告(如Nansen针对上月stETH脱锚事件发布的报告https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg)，对学习链上分析的方法大有裨益。TokenTerminal
动态 | 人民日报：推进金融体系与区块链等新兴科技深度融合:人民日报在12月9日整版刊发了《破解民营企业融资难融资贵问题》一文，其中提到，推进金融体系与大数据、机器学习、区块链等新兴科技深度融合，探索利用大数据等新兴技术手段完善征信机制，降低银企间建立信任的成本，进而降低民营企业融资成本。[2018/12/9]
TokenTerminal以提供准确的协议收入(protocolrevenue)而著名。基于协议收入，TokenTerminal计算了各协议的市销率，市盈率等数据。这些数据在一定程度上为各协议提供了估值基准。TokenTerminal追踪了超过130个协议的数据TokenTerminal仅为用户提供精选数据批次处理。据IOSG团队近期与TokenTerminal的沟通，目前TokenTerminal平台上的数据大约有两天时间的延迟零门槛仅提供标准信息界面
TokenTerminal协议收入数据图例：过去365天收入前十的区块链和协议的收入占比另外一些主流链上数据分析平台则向用户开放数据表，用户可自由编写代码进行查询，在查询内容上给予用户一定的自由度，如DuneAnalytics和FootprintAnalytics。DuneAnalytics
DuneAnalytics是最早开放用户自主查询的链上数据分析平台，拥有最大的分析师团体和用户社区。DuneAnalytics提供了高度颗粒化的原始链上数据，分析师可以自由地利用这些数据写出自定义的查询。DuneAnalytics也对项目方团队开放Abstraction，项目方可以根据自己协议的数据内容创造更适合的数据表供分析师使用。但自主查询具备一定的门槛，分析师需具备PostgreSQL的编写能力才能创造满足自己需求的数据查询。而且查询延迟与分析师SQL编写水平和对DuneAnalytics提供的数据表熟悉程度高度相关。DuneAnalytics提供了Ethereum,BSC,Optimism,Polygon,GnosisChain,Solana共计6条区块链的链上数据极细流式处理。数据延迟大约五分钟DuneAnalytics对分析师提出了一定的SQLcoding要求高
声音 | 互金协会李礼辉：区块链等数字技术的深度融合能够提高信用评价:据新浪财经消息，12月8日，以“探索金融与科技融合发展之道”为主题的2018第二届中国互联网金融论坛今日在京召开，中国互联网金融协会区块链研究工作组组长、中国银行原行长李礼辉表示，大数据、云计算、人工智能、区块链等数字技术的深度融合能够提高信用评价、风险定价和投资决策效率。为了更好地加强数字技术在驱动开放银行业务转型升级方面的作用，我们应该不断地推进大数据、人工智能、云计算、区块链等数字技术的集成，以效率为中心，重构金融服务流程，打造零距离、多维度、一体化的开放银行服务模式，全面提升金融服务的质效。[2018/12/8]
有了高度颗粒化的原始数据，分析师便可以在DuneAnalytics自由创建链上分析。如每日StepN新鞋铸造及历史积累数据https://dune.com/queries/627689/1170627DuneAnalytics于2022年5月30日发布了DuneEnginev2。DuneEnginev2在将DuneAnalytics的数据架构进行大改来为用户提供更快查询响应和更好查询表现的同时，也将对用户体验的影响降至最低。FootprintAnalytics
相较于Nansen低使用门槛但仅提供标准化信息界面，DuneAnalytics提供了自由查询但又要求分析师具备编写PostgreSQL语言的能力，FootprintAnalytics为用户提供了两全其美的解决方案，在给予极大的查询自由度的同时降低了使用门槛。它是如何做到的？“链上数据错综复杂，分析师可能需要写成百上千行代码才得以完成一个指标的计算。为了解决分析门槛高的问题，Footprint清理和集成链上数据，给数据赋予了业务意义，使得用户无需SQL查询和编码也可以分析区块链数据。任何人都可以通过丰富的图表界面在几分钟内构建自己的自定义图表，解密链上数据，发现项目背后的价值趋势。”FootprintAnalytics不仅提供原始区块链数据，更将链上数据进行分级。最原始的链上数据为铜级别(Bronzedata)，经过筛选、清洗和增强的数据为银级别(Silverdata)，进一步整理出具备业务意义的数据为金级别(Golddata)。
已经整理完成的具有商业逻辑和业务意义的金银级别数据可以直接用于分析。借助金银级别数据，FootprintAnalytics为用户提供了通过简单地拖拽数据表就能自主查询链上数据的服务。不管读者你是否会写类SQL语言代码，你都可以快速创建满足自己定制化需求的数据分析信息界面，并将所需信息通过直观且可互动的图表可视化。FootprintAnalytics目前提供了Ethereum，Arbitrum，Avalanche，Boba，BSC，Celo，Fantom，Harmony，IOTEX，Moonbeam，Moonriver，Polygon，Thundercore，Solana等共计17条区块链的链上数据FootprintAnalytics既为用户提供粒度极细的原始数据，也为用户提供精选数据目前FootprintAnalytics对采集到的原始数据进行每日一次的批次处理，数据延迟为一天在FootprintAnalytics平台，用户无需SQL查询和编码也可自由分析链上数据。对于具备SQL代码能力的分析师，Footprint也提供原始数据供分析师发挥。高读者不妨现在就前往FootprintAnalytics，几分钟即可上手制作一个自己的链上分析界面
图片来源：IOSG4.一点畅想——去中心化链上数据分析
链上数据分析如此重要，当今用户却只能依赖Nansen，DuneAnalytics等中心化管理的“链上数据”分析平台来辅助投资决策。在这些平台上，用户无法验证所用数据是否未经篡改，不得不信任平台所提供的数据集是确凿真实的。“Don’tTrust.Verify.”在链上数据分析这里成了一句空话。Web3浪潮滚滚而来，链上生态越发丰富，未来的智能合约和去中心化应用可能不仅仅需要原始链上数据和预言机所提供的数据作为输入信息，还可能需要输入基于链上原始数据计算得出的分析结果，那时候我们还能信任和使用这些中心化链上数据分析平台作这类用途吗？答案恐怕是否定的。IOSG团队近期看到已有项目团队在实现去中心化链上数据查询和分析的道路上迈出了第一步。由于篇幅受限，且听下回分解——通向去中心化链上数据分析之路。https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligencehttps://cloud.google.com/customers/nansenhttps://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeghttps://docs.dune.com/data-tables/data-tableshttps://docs.dune.com/dune-engine-v2-beta/query-enginehttps://www.footprint.network/@Footprint/Footprint-Datasets-Data-Dictionaryhttps://www.youtube.com/watch?v=Pp9_wgYZB3I本文仅做行业学习交流之用，不构成任何投资参考。原地址
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。