云 起 大 数 据 平 台
云起大数据平台支持政府各委办局多源异构数据的接入和整合,连通数据孤岛、突破数据烟囱,构建政务大数据开放共享平台。支持智慧都会各平台、协会、组织的多源异构数据的接入和整合,构建行业数据标准和效劳平台。
云起大数据平台现在包括数据整合:Kafka、Flume-ng、Sqoop关系数据库数据抽取、实时数据收罗、文件数据收罗和数据库实时复制功效;数据存储:Hadoop(HDFS)、HBase、Redis提供关系数据存储、非关系数据存储和漫衍式文件存储功效;数据盘算:Hadoop(YARN + MapReduce2)、Spark、Storm、Hive、Impala括批量盘算、流盘算、内存盘算等功效;数据剖析:Hadoop(YARN + MapReduce2)、Spark(Spark、Spark-SQL、Mlib)包括自助式剖析效劳、数据挖掘效劳、统一数据存取效劳、数据接口效劳和盘算效劳功效;清静治理:Knox、Sentry包括平台清静和数据清静功效;集群治理:Zookeeper括基础运维、资源治理、作业调理功效,在原有基础上进一步深化资源治理,新增多租户资源治理功效。
云起大数据平台已经在内蒙古呼伦贝尔市投入使用。