互联网数据中心(Internet Data Center,简称IDC)是指一种拥有完善的设备(包括高速互联网接入带宽、高性能局域网络、安全可靠的机房环境等)、专业化的管理、完善的应用的服务平台。在这个平台基础上,IDC服务商为客户提供互联网基础平台服务(服务器托管、虚拟主机、邮件缓存、虚拟邮件等)以及各种增值服务(场地的租用服务、域名系统服务、负载均衡系统、数据库系统、数据备份服务等)。
IPFS/Filecoin构建的分布式存储网络,也需要专业的场地安置设备。那么IPFS/Filecoin的IDC与传统IDC有什么不同以及更需要注意哪些事项?我们通过对影响IPFS/Filecoin挖矿的各个因素进行了权重划分,目前可归纳为五个方面,包括:矿场IDC、IDC网络、矿池硬件配置、运维能力以及挖矿软件。其中矿场IDC和IDC网络权重各占比15%,矿池硬件配置占比25%,运维能力占比15%,挖矿软件占比30%。
目前市场IDC提供的方案主要有两种:
1.运营商机房,针对大客户,具备资源上的优势,但是服务简单化,只提供布线、上架、重启等简单服务。如果需要更高质量的服务,就需要自己公司派出专业运维工程师;
2.第三方IDC机房,拥有专业的运维团队和标准化的协作流程,可提供高质量的服务。
IPFS/Filecoin除了与传统IDC机房一样,一般都具备稳定可靠的网络和电力资源,以保证数据中心的稳定运行;对选址也非常考究,要选择气候适宜并且要远离容易遭受自然灾害的地方,比如河流、台风、地震等等;Filecoin底层拥有多种角色,所有的集群也是分布式并行的方式。这就需要在网络架构层面针对Filecoin挖矿做更多的工作,达到无阻塞、无丢包以及低延迟的要求。
网络构建的思路,是要先根据矿池规模,设计不同的网络架构。比如基于DRNI的二层架构,适合300-500台服务器的规模;三层路由的扁平化结构适合1000台服务器的规模,特点是结构简单,方便后期维护;基于POD的万兆介入模型适合3万台以上服务器规模,特点是网络扩展能力非常强;最后一个是基于POD的25G接入模型,同样适用于3万台以上服务器规模,但主要是针对云计算和大数据平台。
从以上主要的4种网络结构进行选择后,接下来是详细的网络架构设计。
互联网的出口区,会有两根线路配置静态路由跟IDC的网络进行连接,并且部署防火墙进行安全保护;核心交换区,采用的是高可靠的框式交换机,支持多电源接入、大缓存及VOQ机制;在业务接入层,根据集群的角色,计算集群4*40G上联和加速集群4*40G上联,收敛比可以控制在1:3,而存储集群4*100G上联收敛比是1:1。收敛比主要原则为带宽要求越大,收敛比一定要降低。
在IPFS/Filecoin挖矿的过程中,会存在计算任务,而一个计算任务会拆分多个子任务进行并行计算。“多打1”的场景,即多个任务在同一时间访问一个端口,这就会出现拥塞,进而导致丢包。这个问题的方案就是让核心交换机支持端口缓存,通过队列调度机制解决拥塞的问题,保证100%的包转发。
来源:https://www.ipfsunicorn.com/