面向客户的业务需求,集海量数据存储、多源异构数据整合、 统一数据目录、数据分析与挖掘、数据可视化等功能为一体的软硬件平台,在 25U/38U/42U/48U 等高度的特制机柜中,集成高性能服务器、 存储设备和高速网络设备,并部署模块化的大数据软件,支持EB 级(1000PB)海量数据处理,可以应用于海量视频/图片/地图数据存储与分析处理、智慧城市数据共享交换与智能分析、电子政务数据整合等领域。
适应 EB 级底层存储: 基础设施层采用集群分布式存储系统: Lustre,对 EB级海量数据存储提供支持, 并在不中断服务情况下支持弹性扩容,同时具有读写速度的高性能,单柜聚合读写带宽可达 10GB/s。
数据虚拟化: 采用云交换技术, 根据数据整合标准规范体系, 进行多源异构数据整合,能整合多来源、多种结构的数据,包括结构化数据和非结构化数据,并支持数据的实时接入,同时, 根据用户需求, 构建数据资源中心,提供统一数据访问接口,为用户提供透明的、按需的数据服务。
适应数据结构的混合存储策略: 在数据资源中心, 根据数据的不同类别,选择合适的存储持久化方式。针对结构化数据,采用分布式数据库的存储方式,例如 MySQL Cluster 或 Oracle RAC 方式;针对非/半结构化数据,采用分布式文件3系统的集群存储方式,例如采用 Hadoop 或 Spark 系统进行存储。
提供灵活的数据访问: 对上层应用,提供数据统一访问接口,支持数据的增删查改操作,访问接口支持 SQL,可以多种方式提供,包括 JAVA API,REST方式等,为数据目录、数据检索、数据统计分析、系统二次开发提供接口支撑,方便面向业务的深度数据挖掘和商业智能分析。
提供快速数据索引: 接口部分通过引入索引模块、并行执行架构和优先读取本地磁盘的执行方式,使查询达到了实时完成、简单易用、高可靠安全的效能,使 EB 级的数据能够秒级处理,极大地提高了用户执行查询操作后的使用效率。
面向业务的数据分析与数据应用: 提供数据目录、 数据挖掘、 数据检索、 数据统计分析、 报表展示等数据分析模块, 支持数据关联分析、数据分类聚类、 数据预测等数据应用,以及仪表盘、图表等多类型的数据可视化呈现。
数据安全体系: 采用身份认证、加解密技术、 网络隔离和日志审计技术,实现用户统一认证、访问控制、安全隔离、审计控制等安全保障。