专栏名称: DATA中文社区
DATA是以区块链为基础,以AI技术和P2P移动存储架构为驱动的网络数据信用协议。代币名称:DTA。官方网站:http://data.eco/
目录
相关文章推荐
VogueBusiness  ·  VOGUE Runway 热度榜:盘点 ... ·  昨天  
VogueBusiness  ·  VOGUE Runway 热度榜:盘点 ... ·  昨天  
庞门正道  ·  这些图你最好看两遍,怕你眼花! ·  3 天前  
字体设计  ·  2月份不可错过的像素字体:Bitmap ·  5 天前  
大皖新闻  ·  孙颖莎、王楚钦、王曼昱等,集体发声 ·  3 天前  
大皖新闻  ·  孙颖莎、王楚钦、王曼昱等,集体发声 ·  3 天前  
51好读  ›  专栏  ›  DATA中文社区

DATA技术报告|移动元数据管理系统(M3)

DATA中文社区  · 公众号  ·  · 2018-11-07 09:50

正文

点击上方蓝字“DATA社区” 一起玩耍

欢迎来到DATA社区,我们在这里发布DATA项目最新动态和开发进展。


技术介绍

移动元数据管理系统(M3)是DATA项目最核心的底层架构。

该系统架构提供了一种链下去中心化元数据存储解决方案。该解决方案基于DATA项目区块链生态系统中的移动设备来解决数据存储可扩展性的问题。与当前基于静态PC,VM等云端存储系统所组成的分布式存储系统(例如IPFS,Storj)相比,M3充分利用更易于使用和参与的生态中移动设备的未使用闲置存储空间。

同时,不像IPFS和Storj专门存储大文件,M3专注于为区块链系统提供链下元数据存储系统服务,相比具有更高可扩展性和效率。

此外,随着欧盟GDPR(General Data Protection Regulation)通用数据保护规范政策的出台,未来全球范围内对于用户数据隐私和所有权保护会成为主要趋势。

而移动互联网行业则是用户数据隐私和所有权被侵犯的重灾区。DATA项目中的终端数据信用评级系统及用户数据激励机制亦需要符合上述政策,而M3系统架构则是针对GDPR这类政策,保护用户数据隐私和所有权的有效解决方案。在M3中,终端用户数据将仅存储于去中心化的移动存储系统架构内,且数据的控制权归属于用户本身,而不被任何第三方机构或公司所控制。

最新项目进展

1. 完成底层网络通信接口的开发测试

2. 完成日志文件系统的开发测试

3. 完成M3网络模拟器的开发

4. 完成M3超级节点(AliCloud, AWS服务器)上面向ICE协议Coturn服务端的部署。同时,在客户端完成ICE协议代码调试,实现在不同NAT、防火墙下各节点间广域互联通信

Figure 1. Network Architecture

如图1所示,M3系统由两种节点组成:移动节点和超级节点。超级节点一般多为一直处于运行状态的静态VM。当生态系统中只有很少的移动节点时,超级节点可以用作冷启动。超级节点还将用作为NAT交互式连接建立服务器的主机节点。移动节点是移动设备,例如移动电话,移动PC,IOT设备等等,通过参与生态系统贡献其闲置存储空间的节点。

   Figure 2. Layered Node Architecture

图2是M3的系统架构框图。M3中的节点通常具有6层。

第一层是通信层,通信层用作底层物理通信信道。目前,我们已经完成了基于以太网和3G / 4G通道的节点的开发和测试。我们计划稍后开发点对点蓝牙通信,扩展通信覆盖范围,哪怕在没有以太网或3G / 4G不可用的情下也能正常运作。例如,当用户在飞机上或处于热点或盲点时。未来我们还计划支持5G。

第二层是NAT层。P2P系统在移动通信场景中的最大挑战之一是节点的移动所带来的Node in/Node out的问题。移动节点的IP地址在移动时会不断发生变化。此外,当节点位于防火墙后面时,它们通常具有相同的IP地址。为此,我们开发了一个基于coturn的NAT服务来解决这个问题 (https://github.com/coturn/coturn)。目前开发已完成,正在进行调试。

第三层是DHT层。系统中的节点形成为分布式哈希表(DHT)以增加系统可扩展性。我们已经基于P2P系统广泛使用的Kademila DHT做了优化并开源代码。 

Github地址: https://github.com/BlockchainDATA/M3。

开发人员文档: http://docs.data.eco/m3/。

为了进一步提高节点和文件的可用性,我们计划在节点内运用随机工作算法,这些算法彼此封闭。目前该算法仍在开发中。

第四层是存储层。在这一层,我们完成了Erasure Coding的开发,这将增加DHT中文件的可用性。我们还完成了Merkle Tree的开发,它将用于验证存储块并确保仅附加文件操作,以保证文件将不被篡改。我们最终计划开发不可篡改的基于日志的文件系统,并与Erasure Coding无缝整合。

第五层是API接口层。这一层的组件将会作为区块链和第三方客户端的接口以在M3文件系统中存储和检索数据。目前,我们已完成REST API的开发并将其发布到开源社区。我们正在积极开发文件流API。

第六层是客户端层。在此层中,终端应用程序将使用M3的API来存储和检索M3中的数据。我们已经完成并发布了CLI和Web界面,并将它们发布到开源社区。此外,Android应用程序与M3系统交互的工作正在进行中。

未来我们会将其于DATA生态的合作伙伴例如Yomob平台上的合作开发者的App进行整合,用来存储和检索终端设备的加密后的用户行为数据,并通过AI系统计算终端数据信用。

目前的M3系统的第一阶段原型已经部署在8个国家和地区的数10个超级节点,包括中国,中国香港,日本,印度,韩国,美国,德国,巴西等。

路线图

2018年Q4 完成M3的第二阶段开发

2019年Q1 完成DATA生态合作伙伴Yomob平台的整合以及Alpha发布

2019年Q2 大范围性能测试以及Beta发布

2019年Q3-Q4 GA发布

长按关注DATA社区

关注DATA,就是关注区块链的未来

官网:data.eco

新浪微博

https://weibo.com/BlockChainDATA


Twitter





请到「今天看啥」查看全文