企业级数据共享交换平台 - 海天数联

新一代数据共享交换平台

     数据湖与大数据时代是网状数据汇集交换的时代。海量数据的可控、自动、高效化的数据交换与平台的高可用性,是目前数据交换业务系统的必要特征。海天数联公司,通过在数据治理与大数据分析上多年的研究实战,创新的打造了一款适合当今与未来5G时代大数据建设中、满足未来边缘化计算与中心化计算并存结构下的数据网状交换总线形态产品。产品以all-master-slave架构构建高可用的雪花型或网状数据交换总线网络,兼具数据源管理、可视化数据交换定制、数据交换微服务自动化构建、一体化状态监控统计、任务的分布式部署调度等功能,平台英文名称为HTS Transform(简称:HTST)。该平台实现了从边缘到中心的整体数据交换总线体系、智能化的高可用机制、可视化数据交换业务开发体验、丰富的数据交换处理组件与管控功能,实现了完整数据血脉中从源头、路径、到目标的整体业务流程易用性定制化构建与管理。支持异构系统、分布式系统环境下的数据交换能力,形成企业各大数据源间无形的数据交换传输与处理网络,为企业编织数据网络链条提供一套整体解决方案。HTT必将成为您大数据平台集成中的首选工具。

 

提供all-master-slave集群模式,支持雪花型和网状边缘与中心数据湖体系


Ø  提供all-master-slave平行化集群架构体系。支持主控结点的自动选举、失效自切换、自动容灾熔断;节点主机的自动发现、自动加入、失效故障结点感知,为企业提供高可用的数据交换集群化方案。

Ø 支持未来5G网络环境下高边缘化和高中心化同步协作的新型数据网络架构体系,同时支持企业级雪花型和星型数据网拓扑图的构建,实现对未来企业级边缘化与中心化融合的一体化数据湖构建力能。




Ø 提供数据交换的边缘化和中心化一体双建设方案,支持多边缘、多中心的集群化联合数据湖应用,支持数据交换任务的本地化和中心化双部署机制,提供远程任务感知与调度管理功能。

Ø 提供实时集群整体健康度监管,单结点运行状态实时监测功能,保障数据交换业务的主机正常性。

 

零代码开发的数据交换业务定制能力


Ø 相比代码开发方式, HTST提高了15倍大数据分析开发与部署速度 

Ø  系统提供动态的可重用和可扩展数据集成组件,实现完全可视化的大数据整合工具,避免了手工编程和脚本编写过程。




Ø 支持包括JDBCRESTWEBServiceHTTP、数据接入源与输出源和先今各类大数据数据对接源等。

Ø 提供数据交换的微服务可视化构建功能,可以通过可视化的拖拽方式定制化数据交换微服务,实现数据交换服务的零代码实现。

Ø 兼具数据清洗、转换的各项数据治理组件,可视化构建大数据处理业务,并直接形成数据处理流程,以获得更完整和精确的分析。

Ø 集成多样性的扩展编程脚本语言,包含JavaScriptScala

 

企业级的数据整合、共享与交换管道


Ø  支持边缘化弱处理和中心化强处理、边缘化强处理和中心化强处理的双重数据湖架构,平台提供给企业数据网络建设中对任意网络拓扑的覆盖性。

Ø 提供中心化hub管理平台对数据接入管理、接入源与数据处理流程的绑定与配置管理。

Ø 支持单一数据业务的本地化和分布式化双部署与执行方式,可实现多个分布式任务协同完成一个整体数据交换业务。

Ø 通过数据源与数据处理流程的绑定,形成企业数据的完整血脉图,通过数据处理流程的可视化定制,增强企业在数据采集和整合钟的定制化数据治理能力。

Ø 在线的完整数据血缘图生成与展示能力。提供给企业对数据血缘的管理与在线监控功能。




Ø 数据类型更新检测功能、增量数据处理、数据类型变更自动更新下游处理类型变更功能。

Ø 数据安全保护和脱敏功能,对指定数据进行安全访问控制和脱敏保护。

Ø 集群化的数据整合和交换引擎架构提供了海量TBPT数据量的实时处理存储与交换能力。

Ø 微服务的数据交换服务定制构建体系,提供平台与微服务系统的无缝融合,在企业的微服务建设钟,形成数据微服务管道。


灵活可扩展的数据存储系统与元数据管理系统适配性


Ø 在使用系统提供的存储系统基础上,用户可以任意扩展和使用第三方存储系统作为基础数据存储平台,从而实现存储能力扩展和适配现有存储平台的能力。

Ø 支持的第三方存储平台包括但不限于:HadoopHive、第三方数据库系统、HbaseRedisElasticsearchsnappydata等。

Ø 除支持海天的元数据管理平台外,提供对第三方元数据管理系统的接入方式,通过第三方元数据管理系统,可增强元数据的管理能力。

 

可视化统一化的数据交换业务管理和调度


Ø 对数据交换中各种资源进行监控和管理的统一平台。提供包括数据源管理、资源监控与节点管理、任务部署管理、任务调度管理、实时监控、日志管理、统计报表和系统管理的功能。 

Ø 数据源管理:对数据源进行管理,可以配置接入数据源。

Ø 资源监控节点管理:自动感知服务的接入和熔断,实现在线无需停机的服务能力扩增和缩减。。

Ø 数据交换业务的部署管理:以用户作为绑定、实现数据交换业务的本地、中心化管理、本地和分布式化部署运行,运行状态监控功能。




Ø 任务调度:对调度的管理,可以进行添加、卸载、立即执行、暂停、恢复和删除等调度操作。负责对已部署的数据交换业务进行本地化、或远程化调度管理。实现整体业务的

Ø 实时监控:对接入节点、数据交换业务以及数据交换处理量进行实时监控,帮助企业发现定位数据管道拥塞和数据交换瓶颈。

Ø 日志管理:对数据交换业务日志进行管理操作,可以进行查看和管理等操作。负责对系统运行日志、数据交换运行日志和错误异常日志进行查看和管理。

Ø 统计报表:对系统状态进行统计分析。负责对结点数、任务数、数据流程运行情况、进行分项目报表统计,对总数据处理、日数据处理、月度数据处理和年度数据处理进行图表分析。

Ø 系统管理:对系统用户和权限的监控和管理,可以添加、修改和删除等操作。


产品优势

HTST 完全采用面向未来微服务架构和边缘计算与中心计算并存体系为目标进行设计,具备以下特点和优势:

方便的数据交换业务 开发设计和测试。提供可视化的开发和测试环境,所有功能可通过图形界面来使用,流程化的数据集成过程设计,易于用户理解。用户可以在数小时内完成开发设计。

丰富的数据源支撑。支持多种主流异构数据源的输入与输出,实现端到端元数据管理,支撑对任意数据源以及各种应用软件包的完 全连接。提供对 Web 和WebService 的支持。

无限可升级性和扩展的处理能力。采用先进的插件技术,以插件为处理单元,通过无限的挂载新插件来增添新的处理功能和新增数据源,实现了对新数据源和新处理步骤无限的扩展能力。

集群化all-master-slaver架构。提供完全的all-master-slave集群架构。实现无需停机的服务扩充和缩减,自动的主从形成,自动失效切换。保障系统的高可用性,和无限的计算节点扩展能力。

兼容第三方存储系统与元数据管理系统。支持对接第三方的数据存储系统和元数据管理系统,做到方便的集成特性、利旧特性、扩展特性。


海天数据—中国大数据建模分析产品引领者