欢迎来到赶蛙网! | 帮助中心 专业级it项目文档文库!
赶蛙网
首页 赶蛙网 > 资源分类 > DOCX文档下载
 

XX省环保厅环境保护信息化项目云平台技术方案建议书.docx

  • 资源ID:85680       资源大小:4.96MB        全文页数:60页
  • 资源格式: DOCX        下载权限:游客/注册会员/VIP会员    下载费用:20积分 【人民币20元】
游客快捷下载 游客一键下载
会员登录下载
下载资源需要20积分 【人民币20元】

邮箱/手机:
温馨提示:
支付成功后,系统会根据您填写的邮箱或者手机号作为您下次登录的用户名和密码(如填写的是手机,那登陆用户名和密码就是手机号),方便下次登录下载和查询订单;
特别说明:
请自助下载,系统不会自动发送文件的哦;
支付方式(请点击选择右侧微信支付图标): 微信支付   
验证码:   换一换

      加入VIP,下载共享资源
 
友情提示
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,既可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰   

XX省环保厅环境保护信息化项目云平台技术方案建议书.docx

XX 省环保厅 环境保护信息化项目云平台 技术方案建议书 、 目 录 1 系统总体概述 .3 1.1 系统基本功能 .3 1.2 系统建设的主要设计思想和设计目标、设计原则 .4 1.3 系统的主要技术特点 4 1.4 系统总体构架 .5 1.5 cStor 云存储系统简介 6 1.6 cProc 云处理平台简介 .9 1.7 系统设计性能 .11 1.7.1 数据流量处理能力 11 1.7.2 数据存储读取能力 11 1.8 系统功能 13 2 系统设计实施与关键技术方法 14 2.1 cStor 云存储系统 14 2.1.1 技术架构 .14 2.1.2 工作原理 .16 2.1.3 管理机制 .17 2.1.4 关键技术 .18 2.2 cProc 云处理平台 20 2.2.1 数据立方DataCube 20 2.2.2 任务监控器(JobKeeper) 22 2.2.3 cProc 数据处理 25 2.2.4 Zookeeper 可靠性 27 2.3 八大环境监控子系统 29 2.3.1 饮用水水源地监控系统 .29 2.3.2 流域水环境监控系统 .31 2.3.3 空气环境监控系统 32 2.3.4 辐射环境监控系统 33 2.3.5 重点污染源监控系统 .34 2.3.6 机动车监控系统 35 2.3.7 危险废物监控系统 36 2.3.8 风险源监控系统 37 2.4 平台安全 41 2.4.1 云处理平台信任保护 .41 2.4.2 基于多级信任保护的访问控制 45 2.4.3 云处理平台安全审计 .48 2.4.4 云处理平台安全网关 .51 3 项目管理和实施 .54 3.1 项目开发周期 .54 3.2 项目实施 54 3.3 客户受益 55 1 系统总体概述 1.1 系统基本功能 “环境保护信息化”生态环境监控系统建设工程,是建设一个全省联网资 源共享的生态环境自动监控平台,实现对全省生态环境的现代化监管,系统于 生态省建设,为管理和决策提供参考和依据。系统集饮用水水源地监控、流域 水环境监控、空气环境监控、辐射环境监控、重点污染源监控、机动车监控、 危险废物监控、风险源监控八大子系统于一体,在省、市、县组建三级环境监 控中心,通过一套环境监控管理办法,达到自动监控、科学管理、合理决策的 生态建设目标。 系统的各子系统基本功能和组成如下 饮用水水源地监控系统 能够对省内 111 个集中式饮水水源地水质进能监测、汇报等。 流域水环境监控系统 能够对全省 252 个河流水质进行实时监测,预警和保护。 空气环境监控系统 能够实时检测分析全省环境空气质量,确定空气污染程度。 辐射环境监控系统 能够对全省 529 个放射源辐射环境进行实时监控、实时查询分析。 重点污染源监控系统 能够实时监测全省集中式污水处理厂和污水处理情况和燃煤电厂的鼓风机 电量。 机动车监控系统 能够实时监控全省分析机动车尾气的污染情况。 危险废物监控系统 能够监控危险废物的情况,以及对废物管理部门采集的数据进行实时分析。 风险源监控系统 能够监控全省环境风险源,并对风险源进行分析。 1.2 系统建设的主要设计思想和设计目标、设计原则 设计思想自动监测设备将采集到的实时监测数据上报到省环保厅云存储 系统存储。八大监控子系统操作平台向省环保厅云处理平台发出查询请求,云 处理平台通过并行计算高效快速的从云存储系统查询数据并分析汇总,向各监 控子系统提供查询的数据。 设计目标采用云计算、物联网和信息网格技术,对在用的业务系统进行 分析,确定那些信息需要从原系统中抽取出来进行集成,然后建立一个基于云 存储的、可扩展,具有统一规范数据格式的中心数据库,将各业务系统核心数 据抽取到中心数据库进行数据集成;利用云计算平台的强大处理能力进行数据 的处理和挖掘;最后,在中心数据库上开发建立包括企业信息全寿命管理(即 从企业登记开始到企业注销的全程信息管理) 、数据精确分析、处置决策、趋势 分析等在内的应用,并为其它系统预留数据调用接口,最终建成一个涵盖在用 系统数据,支持全局信息管理分析与应用的监控系统。 设计原则 (1)技术领先,性能优异 系统将采用国际先进的云存储和云计算技术,并在此基础上提供高效的查 询和分析处理。 (2)数据安全可靠 系统将采用多种容错技术保证存储的数据安全和故障的自动恢复。 1.3 系统的主要技术特点 实时性平台在高效率并行分布式软件的支撑下,可以实时完成数据入库、 分析和管理工作。海量数据入库不会出现数据堆积现象,各类分析和查询工作 基本都在秒级完成,具有前所未有的高效性。 高可靠性基于对云计算可靠性深厚的研究积累,彻底解决了当前分布式 计算平台易出现的单点故障问题。任何一个节点出现故障,系统将自动屏蔽, 而且不会出现丢失数据的现象。 可伸缩性在不停机的情况下,增加节点,平台的处理能力自动增加;减 少节点,平台的处理能力自动缩减。这样,可以做到与云计算平台的无缝对接, 根据计算和存储任务动态地申请或释放资源,最大限度地提高资源利用率。 高性价比采用 X86 架构廉价计算机构建云计算平台,用软件容错替代硬 件容错,大大节省成本。在目标性能和可靠性条件下,可比传统的小型机加商 用数据库方案节省 10 倍左右的成本。 全业务支持采用分布式数据库模式,绝大部分海量数据存放于分布式平 台并进行分布式处理,少量实时性要求很高的数据存放于关系数据库中,可支 撑各种类型的业务。不仅支撑查询、统计、分析业务,还可支撑深度数据挖掘 和商业智能分析业务。 1.4 系统总体构架 XX 省环保厅环境保护信息化项目主要包括八大环境监控子系统饮用水水 源地监控系统、流域水环境监控系统、空气环境监控系统、辐射环境监控系统、 重点污染源监控系统、机动车监控系统、危险废物监控系统、风险源监控系统。 这八大环境子系统共同组成一个完整的环境监控系统,它们都是充分利用现有 监测设备,与省环保厅联网后,数据信息汇聚存储至省环保厅云存储系统中, 然后再由省环保厅云处理平台负责对数据进行索引、分析等处理,并向八大系 统的应用层提供 API 调用,快速反馈分析的结果。 图表 1 系统示意图 以数据为中心,数据从最底层的数据采集层中采集到,将这些数据传输到 数据中心,同时进行数据索引、分类、分割、清理等操作,将遵循一定规范的 数据和索引数据同时实时存储到云存储系统中,在云处理平台上提供数据接口, 并与最上层的前台应用层交互数据。 1.5 cStor 云存储系统简介 cStor 云存储系统是南京云创存储科技有限公司自主研发的、具有自主知识 产权的高科技产品,是国内最早实现并保持领先的云存储系统,整套系统包括 软件与硬件,是一个海量的云存储平台。 图 2 C1000 系列云存储产品存储机柜 与传统的大规模存储系统相比,cStor 针对绝大多数数据密集型应用的特点 从多个方面进行了优化,从而在一定规模下达到成本、可靠性和性能的最佳平 衡。cStor 凭着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、 在线自动伸缩、易用通用等诸多压倒性优势,获得了广电、安防、刑侦、政务、 交通、动漫等各行业用户青睐,产品代理和销售商已发展到数十家。 目前,cStor 云存储系统已成熟应用于安防视频监控、刑侦、广电、交通、 电信、医疗、政务等诸多领域,性能卓越,表现出色,从未出现故障,得到用 户一致称赞。 图 3 部署在南京政务云数据中心云创机器 下图 4 为一简单的 cStor 云存储系统部署示意图。 图 4 cStor 云存储系统部署示意图 cStor 云存储系统采用了分布式的存储架构,元数据服务器采用主备双机容 错的方式管理各个存储节点,文件分散存储在各存储节点上。客户端与元数据 服务器间只有控制流,数据流直接在各存储节点间交互。 因此,系统的整体吞吐率随着存储的规模的增大是线性增加,直到达到带宽的 饱和利用。 1.6 cProc 云处理平台简介 云存储层包括公司自主研发的云储存系统 cStor 和 apache 开源云储存系统 HDFS;而在数据管理层中,包含数据立方、Hbase;数据处理层包含 JobKeeper 和 MapReduce;最后的监控协调层则包括 zookeeper 和 Chukwa 来实现对整个系 统的实时监控和数据管理。 下图为 cProc 云处理平台架构 通过数据立方,可以对元数据进行数据分析、清理、分割。 对结构化数据任意关键字索引,形成一个多维数据模型,数据立方的命名 也由此而来。数据立方是独立于 cProc 云处理平台的技术架构,用户可以选择 性采用数据立方,也可以单独采用 Hbase、Hive 等技术框架,通过数据立方或 Hbase,可以将结构化数据看成一张无限大的表,操作这张表跟操作传统关系型 数据库一样,上层应用无需修改,完全符合用户原来操作习惯。 对于非结构化数据,cProc 云处理平台采用公司自主研发的超安存算法,对 这些数据块进行分割,散乱存储到云储存系统上,然后采用分布式并行处理, 对数据进行实时处理,cProc 云处理平台的处理性能随着节点的增多而成倍数 增长。 cProc 云处理平台拥有以下特点 1.对任意多关键字实时索引 2.支持类 SQL 复杂并行组合查询 3.分布式万兆实时数据流秒级处理 4.高可靠性,系统无单点,确保意外情况下,系统的正常运行 以上特点由云创公司自主研发的下面几大功能来提供保证,分别是数据立 方,分布式数据处理,调度均衡器、数据传输接口等。 数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数 据结构,该结构成功解决了海量数据的快速索引和查询问题,使得百亿条记录 级的数据能够秒级处理。 分布式数据处理是云创公司研发的处理海量数据的处理框架,用于对大规 模数据集的并行处理。处理能力可以通过增加或减少机器达到动态调整。采用 先进的容错技术,确保处理任务的可靠性,即使在异常情况下,如机器宕机、 断网的情况下,确保处理任务的实时性和准确性。 调度均衡器是云创公司研发的解决单点故障的一项技术,用于解决系统内 的单点问题,确保某机器的应用程序状态在宕机或断网时,可将状态从异常机 器转移到其他机器上,中间无数据丢失。 数据传输接口是云创公司经过多年积累,专门针对地面数据传输研究出高 性能可靠文件传输协议,采用并行流水线方式、将传输与存储作联合优化,并 支持多点中继高效传输。经过多项实地远程传输试验,结果表明该技术的传输 效率在 1Gb/s 光纤线路上达到了带宽的 80左右,处于国际最高水平。 几大功能相辅相成,高效且可靠地处理海量数据,确保响应迅速,传输速度快, 处理结果准确。 1.7 系统设计性能 1.7.1数据流量处理能力 以下是各部分处理能力统计  数据存储查询系统器 配置 8 核 CPU2,主频 2GHz 以上,内存 32G,硬盘 82T SATA 处理能力折合数据入库流量 80Mb/s  应用分析系统器 配置 8 核 CPU2,主频 2GHz 以上,内存 32G,硬盘 82T SATA 处理能力折合处理并发访问量 1000 次/s 1.7.2数据存储读取能力 原始数据存储采用云存储平台,分布式文件系统存储系统。 性能指标  存储量指标 单系统应支持 PB 级存储容量。  吞吐量指标 Infiniband 网络上文件读、写性能 1写文件性能 1 个客户端写 250G 文件,文件平均写性能为 932MB/s,峰值为 1.9GB/秒。 2读文件性能 1352135213521352135213521352135213521352135213521352135213521352135213521352135213581358135813581358135813581358135813581358135813581358135813581358135813581358135813581358 -200 0 200 400 600 800 1000 1200 1400 Total-Write -ve Total-Read Network I/O localhost KB/s - 2012/5/31 MB 1 个客户端读 250G 文件,文件平均读性能为 852MB/s,读文件峰值为 1.2GB/s 上述性能测试数据是 1 个客户端、8 个存储节点的测试结果,由于本次测试 受测试资源影响,没能完全测出 Infiniband 最优性能。但在 8 个存储节点上, 文件写性能达到 932MB/s,写峰值为 1.9GB/s,读性能达到 852MB/s,读峰值为 1.2GB/s。 吞吐量是指在没有帧丢失的情况下,设备能够接受的最大速率。吞吐量根 据应用系统读写方式和应用系统读取存储内容大小分成四个指标。分布式文件 存储系统按照 32 个节点并发 500 个用户计算,单节点 8 块 2T 大小的硬盘情况 下,每个节点指标具体内容如下表所示 表 8 分布式文件存储系统吞吐量指标 编号 读写方式 存储内容大 小 总吞吐量指标 MBps 平均吞吐量指标 MBps 1 100读 250GB 24000 48 2 100写 250GB 20000 40 3 100读 100KB 23000 46 4 100写 100KB 19000 38 图表 分布式文件存储系统吞吐量指标  系统响应时间指标 千兆网络环境下,局域网客户端从分布式文件存储系统中读取 4096 字节存 储内容的响应时间应不高于 20ms。 1.8 系统功能 数据存储通过云存储平台存储海量数据。 实时查询通过业务层 API 支持应用层的实时查询,根据应用层的要求查询相 关数据返回给应用层。 定期汇总根据用户定制要求定期汇总相关数据到数据库中,以备历史数据的 查询和报表的统计。 状态监控可以实时监控自动监测设备和中心系统器的运行状态,提供设备运 行数据并存储到数据库,以备历史数据的查询和设备运行的分析。 历史查询对存储在云存储中心的历史数据进行查询 2 系统设计实施与关键技术方法 2.1 cStor 云存储系统 C1000 系列产品采用 cStor 分布式云存储文件系统对数据进行集中式海量存 储和统一管理,其技术架构和关键技术在下面的章节中分别详细介绍。 2.1.1 技术架构 cStor 云存储文件系统采用分布式的存储机制,将数据分散存储在多台独立 的存储服务器上。它采用包括元数据管理服务器(Master Server)和数据存储 节点服务器(Chunk Server)以及客户端节点的结构构成一个虚拟的海量存储 卷,如下图所示。 图 2-1 cStor 云存储系统架构 其中,Master Server 保存系统的元数据,负责对整个文件系统的管理, Master Server 在逻辑上只有一个,但采用主备双机镜像的方式,保证系统的 不间断服务;Chunk Server 负责具体的数据存储工作,数据以文件的形式存储 在 Chunk Server 上,Chunk Server 的个数可以有多个,它的数目直接决定了 cStor 云存储系统的规模;客户端即为服务器对外提供数据存储和访问服务的 窗口,通常情况下,客户端都部署在 Chunk Server 上,每一个块数据服务器, 及时存储服务器也是客户端服务器。对每一个节点,cStor 云存储系统提供的 管理监控中心都可以对其进行管理,包括设备运行状态、磁盘运行状态、服务 在线情况以及异常告警等功能;另外,网管监控中心还提供有如 FTP 账户添加 等客户端管理和配置工具。 这种分布式系统最大的好处是有利于存储系统的扩展和实现,在小规模的 数据扩展时,只需要添加具体的 Chunk Server 即可,而不需要添加整套设备。 下图 2-2 为 cStor 云存储系统部署示意图。 图 2-2 cStor 云存储系统部署示意图 cStor 云存储系统所有的节点均通过网络的方式连接起来,其中存储节点采 用廉价的计算机节点,运用自适应副本管理技术进行容错。所有存储节点同时 担任对外服务功能,客户端分别挂载到不同存储节点访问云存储系统。通过增 加或者减少存储节点的方式,即可以对存储系统进行在线伸缩,由于采用了自 适应副本管理技术进行容错,系统在线伸缩的过程中,不影响系统对外提供服 务。 下面简单的介绍下 cStor 系统的工作原理和管理机制。 2.1.2 工作原理 对于 cStor 云存储的用户来说,通过 cStor 客户端可以将海量云存储系统 映射成一个本地海量磁盘(Windows 客户端)或者映射到一个目录(Linux 客户 端) ,对于此磁盘或者目录的读写操作,即可实现云存储系统数据的读写。同时, 由于 cStor 文件系统支持 POSIX 接口规范,对于目前一般的应用不需要做二次 开发即可使用。 下面详细的介绍一下 cStor 云存储系统的实际读写过程。 下图 2-3 是 cStor 客户端向系统中写数据的流程图。 元数据服务器 元数据服务器 客户端 存储服务器 存储服务器 存储服务器 1 . 数据往哪里写 存储服务器 2 a . 在 X 存储服务器创 建一个新的数据块 2 b . 创建成功 4 . 数据写到 X 存储服务器 5 . 写数据请求 6 a . 本地写并备份一份副本 6 b . 成功 7 . 写数据成功 3 . 记录元数据并同步 到备份元数据服务器 数据流 控制流 图 2-3 cStor 客户端写数据流程 其详细过程是 1 cStor 客户端向元数据服务器发起数据写请求; 2 元数据服务器根据其管理的存储节点的工作和使用情况,根据负载均衡 的原理,在相关存储节点上创建一些新的数据块; 3 相关存储节点服务器创建成功,将结果返回给元数据服务器; 4 元数据服务器一方面备份和同步此元数据信息,另一方面将相关存储节 点信息返回给客户端; 5 客户端根据得到的存储节点信息,向对应存储节点发出数据写请求,并 向存储节点发送数据; 6 存储节点接收数据并存储到相应块,同时也向其他存储节点发起备份; 7 当本地写以及备份均成功后,存储节点将成功信息返回给客户端; 8 客户端收到成功信号后,即完成数据的存储。 下图为 cStor 客户端读数据流程图如下所示 元数据服务器 元数据服务器 客户端 存储服务器 存储服务器 存储服务器 存储服务器 2 . 数据在 X 存储服务器 3 . 读数据请求 4 . 返回数据内容 1 . 数据在哪里 数据流 控制流 图 2-4 cStor 客户端读数据流程 总的来说,cStor 云存储系统的控制流和数据流是分离的,一方面降低了元 数据服务的负担,使得其处理能力更强,另一方面将数据读写的负担分担到各 存储节点,使得系统的整体性能得到了提高,与节点数目成正相关。 2.1.3 管理机制 cStor 云存储系统采用的是一种基于网络的管理工具,称之为 cStor 网管监 控中心,主要用来对 cStor 云存储系统进行远程监控和管理,其具体功能包括 1 提供存储机架的虚拟化管理; 2 可以监测到每个节点服务器的运行状态(包括主备元数据服务器和存储 节点服务器的内存、CPU、系统盘的利用情况等) ; 3 磁盘的运行状态和使用情况监控; 4 cStor 服务的启动和关闭; 5 所有服务器的重启、关闭; 6 卷管理服务器的设置和账户管理; 7 FTP 账户的批量添加和删除等。 2.1.4 关键技术 2.1.4.1负载自动均衡技术 cStor 采用中心服务器模式来管理整个云存储文件系统,所有元数据均保 存在 Master Server 上,文件则划分为多个 chunk 存储在不同的 Chunk Server 上。 Master Server 维护了一个统一的命名空间,同时掌握整个系统内 Chunk Server 的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据 服务器根据 Chunk Server 的磁盘使用情况、网络负担等情况,选择负担最轻的 Chunk Server 对外提供服务,自动均衡负载负担。 另外,当某有一个 Chunk Server 因为机器故障或者其他原因造成离线时, Master Server 会将此机器自动屏蔽掉,不再将此 Chunk Server 提供给客户端 使用,同时存储在此 Chunk Server 上的数据也会自动的备份到其他可用的 Chunk Server 上,自动屏蔽 Chunk Server 故障对系统的影响。 2.1.4.2高速并发访问技术 客户端在访问 cStor 时,首先访问 Master Server 节点,获取将要与之进 行交互的 Chunk Server 信息,然后直接访问这些 Chunk Server 完成数据存取。 cStor 的这种设计方法实现了控制流和数据流的分离。 Client 与 Master Server 之间只有控制流,而无数据流,这样就极大地降 低了 Master Server 的负载,使之不成为系统性能的一个瓶颈。Client 与 Chunk Server 之间直接传输数据流,同时由于文件被分成多个 chunk 进行分布 式存储,Client 可以同时访问多个 Chunk Server,从而使得整个系统的 I/O 高 度并行,系统整体性能得到提高。 通常情况下,系统的整体吞吐率与 Chunk Server 的数量呈正比。 2.1.4.3高可靠性保证技术 对于元数据,cStor 通过操作日志来提供容错功能,当 Master Server 发 生故障时,在磁盘数据保存完好的情况下,可以迅速恢复以上元数据。为了防 止 Master Server 彻底死机的情况,cStor 还提供了 Master Server 远程的实 时备份,这样在当前的 Master Server 出现故障无法工作的时候,另外一台备 Master Server 可以迅速接替其工作。 对于 Chunk Server,cStor 采用副本的方式实现容错。每一个 chunk 有多 个存储副本(默认为两个) ,分布存储在不同的 Chunk Server 上。副本的分布 策略考虑了多种因素,如网络的拓扑、机架的分布、磁盘的利用率等。对于每 一个 Chunk Server,必须将所有的副本全部写入成功,才视为成功写入。在其 后的过程中,如果相关的副本出现丢失或不可恢复等状况,Master Server 会 自动将该副本复制到其他 Chunk Server,从而确保副本保持一定的个数。在有 多个 Chunk Server 的情况下,任意损失一个节点,数据都不会丢失,而且随着 Chunk Server 数目的增多,整个系统的可靠性越大。 2.1.4.4高可用技术 系统中的所有服务节点均是通过网络连接在一起,由于采用了高可靠的容 错机制,系统增减节点不必停止服务,可在线增减存储节点,存储节点和元数 据节点间通过注册管理机制自适应管理,实现自动伸缩。 元数据服务器采用主备双机热备技术,主机故障,备机自动接替其工作, 对外服务不停止;存储节点采用冗余备份机制,多个存储节点情况下,任意损 失一个节点,数据不丢失,服务不停止。 2.2 cProc 云处理平台 数据处理是对数据的采集、存储、检索、加工、变换和传输。数据是对事 实、概念或指令的一种表达形式,可由人工或自动化装置进行处理。数据的形 式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后, 便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解 的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数 据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生 活的各个领域。数据处理技术的发展及其应用的广度和深度,极大地影响着人 类社会发展的进程。 2.2.1 数据立方DataCube 我们以 B树的结构建立了字段的索引,每个 B树结构的字段索引相当于一 个数据平面,这样一个全局数据表与其多个重要字段的索引就组成了一个类似 于立方体的数据组织结构,我们称之为“数据立方DataCube” 。如下图所示 数据立方DataCube是一种用于数据分析与索引的技术架构。它是针对大数 据big data的处理利器,可以对元数据进行任意多关键字实时索引。通过数 据立方对元数据进行分析之后,可以大大加快数据的查询和检索效率。 数据立方的原理由一个或多个管理节点,一个或多个处理及存储节点 (数据节点)组成,系统在数据建立与查询时,分布式建立与应用数据立方索 引结构,在数据建立及存储时,对规范化的数据设定 1 个或多个关键字字段, 将不同的关键字字段分别建立索引,每张不同的索引生成一张独立的 B树结构, 多个 B树结构垛叠在一起,与全局数据表形成一个完整的数据立方结构。利用 数据立方存储索引结构,可方便快捷的在海量数据云处理系统中准确检索定位 数据。B树的插入仅在叶结点上进行。 每插入一个关键码-指针索引项后都 要判断结点中的子树棵数是否超出范围。当插入后结点中的子树棵数大于 m 时, 需要将叶结点分裂为两个结点。它们的双亲结点中应同时包含这两个结点的最 大关键码和结点地址。此后, 问题归于在非叶结点中的插入了。在非叶结点中 关键码的插入与叶结点的插入类似, 非叶结点中的子树棵数的上限为 m, 超出 这个范围也要进行结点分裂。在做根结点分裂时, 因为没有双亲结点, 就必须 创建新的双亲结点, 作为树的新根。这样树的高度就增加一层了。 1 2 0 5 0 1 8 1 6 2 0 3 0 4 0 5 0 7 0 9 0 基于 B 树的字段索引 当有新的记录到来时,我们要将新的数据记录对应的一条索引记录插入到 所有的字段索引中,这时要采取一定的写入策略。当新的记录积累到 n1 条或经 过一定时间 t1 时,对于存储在 MemCache 中的字段索引,可以将这些数据记录 对应的索引记录一次性批量写入;当新的记录积累到 n2 条或经过一定时间 t2 时,可以将这些数据记录对应的索引记录一次性批量写入 HDFS(固态磁盘)上 的索引文件。 对 B树的查找类似于二分查找,对于 m 阶,叶子节点中记录个数为 n 的 B 树来说,其查找的时间复杂度为 Olog mn1/2。因此对于值匹配和范围查 找来说,有很快的速度。此外,由于对值按照大小顺序进行了指针链接,因此 m 阶 B树还可以进行对值进行顺序查找。 我们对重要字段建立索引,存储在 HDFS(固态磁盘)上。将最近常用的字 段索引加载到 MemCache 中,同时删除最不常用的字段索引以节省空间。详细来 说,对于每次查询,系统统计每个字段索引被调用的次数,对于被调用次数最 多的那些字段索引就被加载到 MemCache 中,而在 MemCache 中被调用次数最少 的某些字段将被删除。 数据立方是凌驾于数据存储层和数据库系统之上的,通过数据立方解析后, 可以大大增加数据查询和检索等业务,可以让系统平台具备数据实时入库、实 时查询、查询结果实时传输等优势。 2.2.2 任务监控器(JobKeeper) JobKeeper 调度平台是建立于虚拟化资源层之上,统一调度,统一配置的管 理平台,用于对集群中任务实时的处理调度,实时结果集的反馈,集群的负载 均衡,失败调度,集中管理,集中配置的平台。用来保证整个集群的超低人员 干预。同时,提供完善的集群伸缩机制为整个服务提供更高的可靠性。 JobKeeper 云调度技术架构图 应用层是一组用于管理和结果反馈的显示组件。用于显示任务的处理情况 以及集群中机器的活动情况,同时其也是一个上层应用和底层服务的对接平台。 是整个系统面向用户和开发人员的基础承载。 业务层是对于应用层的相关功能的业务化,数字化处理,用于将应用层的 需求任务进行规则化划分,形成统一的处理化模式。 数据处理层是独立的数据处理程序,是对不同需求数据的统一处理方案, 他的运行与监控的工作将由 JobKeeper 调度平台进行统一的配置管理。 存储层是用来存储数据存储层的处理结果集或者其他中间结果集的单元。 虚拟化资源层是将实体的机器进行虚拟化,形成更大范围的服务集群。 JobKeeper 调度平台是由一组管理节点(Master Node)和一组处理节点 (Task Node)组成,管理节点组是一组基于 Webserver 的 RPCRPC 采用客户机 /服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首 先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应 答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调 用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一 个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用 执行继续进行。服务器,负责对处理节点的系统信息以及任务处理信息进行实 时的跟踪和保存,对应的信息镜像存储在基于 cStor 或者 NFS 服务的存储系统 上,保证每个管理节点中的镜像信息的实时同步。同时架设在管理节点上的 ZooKeeper 服务ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调 服务,包含一个简单的原语集。分布式应用可以使用它来实现诸如统一命名 服务、配置管理、分布式锁服务、集群管理等功能。用于对整个管理节点组进 行统一的配置化管理。处理节点组通过 RPC 的远程调用获取各自节点的任务处 理目标,并实时的和处理节点上的任务处理目标进行对比,控制程序的执行和 结束。(注这里的程序,可以是任何语言任何形式的独立程序,但是必须提 供执行脚本,和运行参数选项)处理节点组会在一个设定的心跳间隔内主动的 和管理节点组联系一次,报告节点存活状态。如果在若干个心跳间隔后管理节 点组仍然没有获取到处理节点心跳报告,那么该处理节点将会被踢出处理节点 组,同时该节点处理的所有处理任务也会被重新调度。随着集群处理数据量的 不断增大,处理节点组提供了简单高效的自动化部署方案,当新机器加入处理 集群后,会主动的与管理节点组同步心跳信息,从同一配置服务器 ZooKeeper 上获取相关配置信息,通过 WebServer 服务获取任务列表,开始执行数据处理 工作。 JobKeeper 调度平台提供了一套基于 Web 的管理化界面,可以实时的观察 各个处理节点的任务运行状态,以及任务列表的分配情况,机器的负载情况等。 用户在管理系统界面上可以完成所有的工作,如新任务的添加,任务的手动调 度以及集群日志的查看与分析等。 任务处理节点和管理节点之间维护一个心跳时间,实时向管理节点汇报任 务处理信息,同时,任务处理节点在每个心跳时间内向管理节点获取该处理的 任务列表,并和本机正在处理的任务列表进行比对,完成相关的任务调度工作。 若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系, 那么管理节点将会根据各机器的负载情况,将失去心跳连接的处理节点上的任 务进行任务的重新分配和执行。 2.2.3 cProc 数据处理 cProc 云处理是云创公司研发的处理海量数据的处理框架,特点是实时性高。 主从式的管理节点监控着所有处理节点(slave) ,并接受任务,分配子任务, 监控任务以及处理各类异常情况。处理节点(slave) ,接受子任务,监控子任 务,向主节点汇报任务。 结构如下图所示 cProc 云处理是 cProc 云处理平台分布式的核心。该架构内部避免了大多数 分布式系统内部存在的单点问题。里面的两个管理员节点主节点和备节点对 整个集群进行着管理,通过先进的调度监控器解决了管理节点的单点问题和数 据同步问题,确保在主节点异常情况下,主从节点的切换不丢失管理数据。 cProc 云处理内部采用高效的数据结构 cProcJob,维护每个任务以及子任务 的状态,并严格按照任务状态转移表进行任务状态切换。 在 cProc 分布式数据处理的过程中,系统采用以下三个原则 1.数据尽可能的本地性原则 在任务提交后, 管理节点根据数据所在位置分配处理,这样在每个处理节 点上要处理的存储介质上的数据块就在本地,直接操作本地文件,避免了数据 的移动,极大地减少了网络 IO 负载,缩短了处理时间。 2.数据分布的平衡性原则 cProc 并行处理架构能够周期性地对存储介质上的数据进行维护,保持存 储节点上所存储的数据量的平衡,减少因数据负载的不平衡而导致的处理负载 的不平衡。 3.调度任务公平的原则 公平调度是一种多用户的赋予作业(job)资源的策略,它的目的是让所有 的作业随着时间的推移,都能获取与权值相应的共享资源。当单独一个作业在 运行时,它将使用整个集群。当有其它作业被提交上来时,系统会将任务空闲 处理单元赋给这些新的作业,以使得每一个作业都大概获取到与权值相应的处 理时间。这个特性让短作业在合理的时间内完成的同时又保证了长作业的服务 质量。 公平调度器按资源池(pool)来组织作业,默认情况下,每一个用户拥有 一个独立的资源池。在 Slave 处理节点上设置有同时运行的任务个数上限,若 未达到上限,则就产生了空闲处理单元。当集群上出现空闲处理单元时,调度 按两步进行,首先空闲处理单元在作业池之间分配,其次在作业池内的作业间 分配。 2.2.4 Zookeeper 可靠性 ZooKeeper 可为分布式应用建立更高层次的同步synchronization、配置 管理 configuration maintenance、群组groups以及命名服务naming。 在编程上,ZooKeeper 使用的数据模型风格很像文件系统的目录树结构,简单 来说,有点类似 windows 中注册表的结构,有名称,有树节点,有 Key键 /Value值对的关系,可以看做一个树形结构的数据库,分布在不同的机器上 做命名管理。Zookeeper 的基本工作结构如下图所示。 图表 1 Zookeeper 基本工作结构图 Zookeeper 分为 2 个部分服务器端和客户端,客户端只连接到整个 ZooKeeper 服务的某个服务器上。客户端使用并维护一个 TCP 连接,通过这个 连接发送请求、接受响应、获取观察的事件以及发送心跳。如果这个 TCP 连接 中断,客户端将尝试连接到另外的 ZooKeeper 服务器。客户端第一次连接到 ZooKeeper 服务时,接受这个连接的 ZooKeeper 服务器会为这个客户端建立一 个会话。当这个客户端连接到另外的服务器时,这个会话会被新的服务器重新 建立。 启动 Zookeeper 服务器集群环境后,多个 Zookeeper 服务器在工作前会选 举出一个 Leader 作为主服务器。在后续工作中,如果这个被选举出来的主服务 器失效,而剩下的 Zookeeper 服务器会感知这个事件,并在活着的 Zookeeper 集群中重新选出一个 Leader 作为新的主服务器,选举出 leader 的目的是为了 可以在分布式的环境中保证数据的一致性。 查询索引创建、KPI 数据统计、CDR 专题数据处理、以及各种查询分析处理 任务的处理将需要调度和使用处理集群上的一组服务器节点进行并行任务的分 发和负载均衡处理。而负责并行任务调度和分发的节点可能会出现单点故障, 进而引起整个处理系统无法正常工作。因此,需要设计一个单点失效恢复机制, 以保证查询分析处理的可靠性,以及正确的并行处理任务分发和负载均衡处理。 在具体实现上,我们将使用 Zookeeper 基于处理集群完成统一的控制和实 现。基本设计和实现方法是,将处理集群中所有的处理节点都纳入 Zookeeper 的管理,选择其中 3 个处理节点注册为 Zookeeper 的服务器节点负责并行处理 任务的调度和分发节点,Zookeeper

注意事项

本文(XX省环保厅环境保护信息化项目云平台技术方案建议书.docx)为本站会员(admin)主动上传,赶蛙网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知赶蛙网(发送邮件至27307385@qq.com或直接QQ联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。




copyright@ 2018-2028 赶蛙网版权所有
 ICP备案编号:蜀ICP备19008733号-2

1
收起
展开