建模分析平台 - 海天数联

大数据建模分析平台

      价值数据的发现挖掘、数据湖的流通管道(数据交换)、大数据向人工智能进化的通道数据建模与服务之脑。海天数联创新性的提出3+3 新型大数据分析理念。形成:大数据分析语言和分析工具、业务分析与实施过程和业务开发与管理维护的3 大统一。产生了支撑业务分析流程为导向的新型”大数据整体分析模式,实现数据预览->可视化建模->模型解释验证->部署调度->运行结果展示的分析过程可视化和流程自动化,屏蔽了底层系统配置等对分析人员的可见性,实现了平台无关化。印证这一理念的新型产品正是海天数联大数据模型生成与服务产品(HTSC)。该产品为大数据平台集成和创新应用业务开发部门提供一个快速、可靠、准确、可复用的业务开发生成环境,实现大数据与行业领域知识高效融合,形成快速市场应用的业务生成能力。产品集聚可视化大数据业务建模、业务模型自动化部署、模型测试、业务模型调度维护、业务模型的统一管理为一身,支撑了多组织、多用户多角色的联合大数据业务模型开发、共享授权与管理。同时平台提供了丰富的业务基础模型库,为新型业务生成提供了有力的支撑。

     HTSC是市场上一的一款能直接构建于大数据平台上与各个大数据组件无缝衔接的数据分析产品。产品成为衔接大数据基础平台与大数据应用服务的中间桥梁,起到大数据PASS层的作用。该平台配合大数据基础平台中的数据管理与元数据管理系统一起可实现数据交换、数据治理、数据建模分析与管理、数据审计、数据服务的综合性功能。该产品作为大数据的核心组件可集成于HTSP大数据中心平台中,实现分布式部署,从而实现与大数据组件的真正无缝融合。其依托Spark和Hadoop为双计算引擎,HDFS、HBASE、Hive等分布式数据库为数据存储、机器学习数据挖掘为组件库,真正同时提供对流式数据分析、批处理数据分析、结构化数据分析、非结构化数据分析的支持。

 

                                  大数据分析处理流程

HTSC是大数据分析的一大利器,极大程度的解决了即便有大数据平台、但大数据业务实施困难、周期长,复用性差等现存的大数据分析的关键问题,形成了高效性、可视化、自动化、可管理化,零代码开发量的专为大数据业务分析而生的,面向业务的分析平台。

产品功能

    HTSC是数据发现、数据准备、数据挖掘、数据服务、模型元数据管理、数据访问审计、数据血缘管理、日志分析、用户管理权限管理、数据嵌入式展模型管理、调度管理的综合体,可以提供数据湖的快速构建与运行。

    平台除与HTS ETL、HTS BI兼容外,提供与任意第三方ETL、BI、报表工具、APP应用的友好交互接口,构建大数据整体体系。


                             HTSC功能架构图

l 提供可视化和便捷的数据挖掘,交换与服务能力

Ø 提供可视化便捷的数据建模流程设计开发体验。完整的图形接口允许开发人员使用GUI拖放功能来描绘出企业内部的数据建模流程。快速构建数据交换、数据分析、数据服务处理业务。

Ø 提供业界中最广泛与丰富的数据访问、转换、分析、存储、人工智能、机器学习组件。提供对快速发展的大数据生态系统最大的灵活性支撑,打造智慧的端到端解决方案。这可以通过让用户更快地使用我们的可视化界面从Hadoop设计到部署,从而降低成本和延迟,从而降低风险。

Ø 强大的数据接入管理、目标数据查询浏览与编排、数据处理流程预览调试、中间结果展示功能。形成大数据可视化快捷建模

Ø 强大的调试排错功能。

Ø 零代码开发大数据分析、交换业务。可以实现零代码的大数据批处理与实时数据分析业务开发,元数据管理、或数据迁移,相比代码开发方式,提高了15倍大数据分析开发与部署速度。

l 提供高性能,多模式,异构数据的分析挖掘能力

Ø 平台的计算存储能力完全依赖于底层的大数据基础平台,实现零大数据计算消耗

Ø 提供大数据组件的无缝对接,以Spark和MR作为双计算引擎、Yarn为高效资源管理中心、HDFSHbase、Kafka为存储介质。真正的大数据分布式数据分析引擎。

Ø 支持在HTSP,和Apache大数据平台、Cloudera、Hortornworks上的自动化分布式部署。

Ø 集成多样性的描述语言,实现无限的二次开发能力,支持包含Python语言脚本和Scala语言脚本直接建模能力

 

时间到价值的转化

Ø 提供数据接入管理、对预处理数据的预览、编排,图     形化展示,实现数据感知的完全体验。

Ø 处理单元由数据变为模型,实现对数据的屏蔽。实现大数据的PASS层。

Ø 通过可视化用户界面,使开发人员能够快速实现数据探索,转化与分析。

Ø 提供模型级别的数据访问审计、元数据管理,数据血缘分析。这是其他产品不具备的

Ø 第三方开发资源的接入和管理。

Ø 各类资源的访问控制。

 

 

l 企业级的数据交换管道与数据服务总线

Ø 动态的和可重用的数据分析模板,通过动态地创建模型,从而节省大量的时间。

Ø 分布式数据处理引擎提供了无限的横向扩展性能。

Ø 强大的管理功能,包括性能监视、作业回滚和重新启动,以及操作审计。

Ø 提供企业级任务调度管理能力。

Ø 将数据集成与您企业业务服务合并以简化配置、部署和管理的灵活性。

 

产品优势

l 100+ 的基本模型库

提供丰富的预置基础模型库,包含统计模型、数据转换模型、数据输入模型、数据输出模型、表分析模型、分类模型、表查询模型、聚类模型、关联分析模型、时序分析模型、机器学习模型等…….,同时通过平台的模型共享功能,结合授权的第三方模型与自我开发模型,形成了丰富的模型库。

 

l 可视化快速业务开发客服端

支持多种大数据分析模型开发环境,具备可视化的业务模型设计能力、可视化的运行结果数据展示能力,在数分钟内开发大数据分析业务(AI)。

 

l 自动化的模型调度运行服务器

提供完全自动化模型解释、模型运行环境准备和自动化模型调度策略,实现模型自动化的运行环境。

 

l 开放式高扩充延伸平台:包含自定义Java程序,Hive脚本,sqoop脚本等基础模型,提供了无限制

的模型扩充功能。用户可以任意扩充功能复杂的自定义模型集。

 

l 专业化自动化的业务生产与服务创造了业务分析流程为导向的新型大数据整体分析模式,形成了底

层繁琐复杂语言与工具的屏蔽层,让分析者只关注于具体的业务分析过程。

海天数据—中国大数据建模分析产品引领者