热门搜索: 无人机 3D打印 机器人

客服电话: 400-999-3607

首页>大数据云>数据预处理>数据集成 > 灵蜂数据集成软件

灵蜂数据集成软件

描述:集数据抽取、清洗、转换及装载于一体

市场价格:
¥0.00
促销价格:
询价

服务:由 北京灵蜂纵横软件有限公司 从 北京市市辖区海淀区 发货,并提供售后服务

更新时间:2018-06-29 15:01:13

支付方式:

温馨提示:7天内无理由退货(需不影响二次销售)

联系人:宣向阳

电话:010-82176643

在线客服:

所在地区:北京市市辖区海淀区

认证:

热卖商品
  • 商品详情
  • 商品咨询

灵蜂数据集成软件BeeDI


  由北京灵蜂纵横软件有限公司研发的数据集成软件BeeDI, 集数据抽取、清洗、转换及装载于一体,通过标准化企业各个业务系统产生的数据,向数据仓库或Hadoop分析平台提供高质量的数据,从而为企业高层基于数据仓库的正确决策分析提供了有力的保证。软件提供跨库数据联邦 、基于数据库日志的数据同步、ETL任务灾备及负载均衡等功能,支持同一数据流向多个接口的分发,同时也支持多个数据流的合并,是一款完全面向数据仓库或Hadoop分析平台的数据集成产品。

  BeeDI包含2个发行版本,分别为BeeDI SE V8.0和BeeDI EE V8.0。
  BeeDI SE即BeeDI标准版,单机程序架构,任务的设计、运行及监控集成在一个模块内部。
  BeeDI EE即BeeDI企业版,基于C/S架构,客户端软件(BeeDI EE Client)负责任务配置及远程监控,服务器软件包含BeeDI EE RJS和BeeDI EE Monitor(仅Windows平台),分别负责任务运行和及本地监控,用户可以通过Client远程登录到RJS进行任务的发布,删除、调度或终止。

  BeeDI CE即BeeDI集群版,基于分布式架构,客户端(BeeDI CE Client)负责任务配置及运行监控,任务服务器(BeeDI CE RJS)负责任务运行,资源管理器(RM)负责任务在多个任务服务器的自动部署执行,用户可以通过客户端登录到RM进行任务的发布,删除、调度或终止。



  



  BeeDI主要功能如下:


  数据转换(数据集成) 


  1.支持数据接口如下表:


Oracle 8i / 9i / 10g / 11g / 12c

DB2 7.2 / 8.1 / 9.5 / 9.7 / 10.5 / AS 400

Sybase ASE 12.5 / 15.7

SqlServer 2000 / 2005 / 2008 / 2012 / 2014

Mysql 4.0 / 5.0 / 5.6

Access 97 / 2000 / 2003 / 2007 / 2016

Teradata 14.10

Hadoop 2.6.0(Hive1.1/HBase1.0)

MongoDB 3.3

PostgreSQL 8.0 / 10.1

Gbase 8.3

Oscar 7.0

Excel 97 / 2000 / 2003 / 2016

Dbase 3 / 4 / 5 Foxbase2.1

Foxpro 6.0

Informix IDS 10.0

InterBase 7.1/Ingres 9.3

Lotus Notes 7

DM 6.0

KingbaseES 7.1

Lucene 5.2

Avro

文本/XML

Web Service

 

    2.支持ETL元数据管理功能,采用图形操作界面辅助用户完成数据抽取、转换、装载等规则的设计。
  3.提供异步ETL过程处理模式,数据抽取、转换及装载过程并行执行,实现数据的高速处理,满足G、T级的数据转换。
  4.支持各种字段级的映射转换,如类型转换、字段运算、参照转换、字符串处理、字符集转换、空值处理、日期转换、聚集运算、既定取值、字段切分、字段合并等。
  5.支持自定义SQL的数据抽取。
  6.支持MD5、SHA消息摘要计算。
  7.支持DES、AES、RSA数据加密解密。
  8.支持各类数据库大对象(LOB)的读写。
  9.支持多字段的混合运算。
  10.支持记录间的合并及计算。
  11.支持抽取数据的分流、过滤。
  12.支持横表、纵表转换。
  13.支持映射自动匹配,可自动完成异构数据库间数据类型的映射。
  14.支持批量表的迁移映射,迁移信息包括表名、字段属性、主键属性、索引属性等。
  15.支持表的动态创建,支持表名的动态生成。
  16.支持根据主外键的目标表装载顺序自动调整。
  17.支持缓慢渐变维的更新,支持代理键的生成、慢速变化维度三种更新类型的设置等。
  18.支持抽取表及装载表的重定向。
  19.支持数据接口的重定向,ETL作业从设计环境到运行环境的无缝移植。
  20.支持数据库存储过程及函数的调用。
  21.支持源表和目标表的差异比较及回补。
  22.支持ETL任务各个环节的数据预览。 

 

  数据联邦


  数据联邦支持对两路以上数据流(异构数据库或文件)进行关系运算产生一路输出流,包括:
  对多路数据流横向连接产生一路扁平输出流,连接方式支持内连接、左外连接、右外连接及全外连接,可以对输出流进行过滤、分组、排序和去重操作。
  对多路数据流纵向合并产生一路输出流,支持数据去重操作。

 

  数据同步


  数据同步实现源系统的数据变化(增、删、改)实时映射到目标库中,BeeDI提供以下数据同步处理机制:
  时间戳
  要求源表中存在一个或多个字段(时间戳),其值随着新记录的增加而不断增加,执行数据抽取时,程序通过时间戳对数据进行过滤,抽取结束后,程序记录时间戳信息。
  触发器
  要求用户在源数据库中有创建触发器和临时表的权限,触发器捕获新增的数据到临时表中,执行抽取时,程序自动从临时表读取数据。
  日志解析
  要求源数据库为Oracle(8i、9i、10g、11g、12c)、SQL Server(2005、2008、2012、2014)、DB2(9.5、9.7、10.5)、MySQL(5.6)。
  对于Oracle需要开启日志归档功能,抽取输出列中存在逻辑主键(逻辑主键为在源表和目标表中可以唯一标识一条记录的一列或多列)。
  SQL Server需要数据库开启完全事务日志。
  MySQL需开启二进制日志且设置日志格式为ROW。
  DB2需要开启日志且启用表的完整日志。
  全表比对
  通过逻辑主键逐行比较输入流和目标表记录,输入记录在目标表不存在则插入,记录存在但部分信息不同则更新目标数据,如果目标记录在输入流中不存在则删除目标数据。

 

  大数据集成


  大数据集成既支持任意关系数据库或文本文件数据到Hadoop系统的传输,也支持将Hadoop文本文件及HBase的数据传输到任意关系数据库或文本文件。软件通过Hive接口将数据存为HDFS文本文件,或从HDFS文件中读取数据。
  Hive
  BeeDI通过Hive接口批量写入数据到HDFS,并将存入的数据文件映射为数据表。
  读取数据时,BeeDI支持对HDFS文件数据进行选择、过滤、分组等操作。
  HBase
  BeeDI提供SQL抽象接口访问HBase,支持将任意关系数据库的数据实时同步写入HBase数据库,支持对HBase的增、删、改操作。读取数据时,BeeDI支持对HBase数据进行选择过滤。

 

    文件同步


  BeeDI内置FTP文件传输功能,可以通过FTP传输功能同步远程机器文件夹到本地,也支持本地文件夹同步到远程机器。FTP传输文件采用多线程并发传输,支持文件的断点续传。

 

  工作流调度 


  软件内置工作流建模工具和调度引擎,用户可自由定义任务的触发条件及执行路径,控制多任务的协同运行 
  1.支持多任务的并发运行,支持并发任务的同步完成; 
  2.支持成功、失败、条件等三种路径,支持基于全局变量的条件路径转移; 
  3.支持任务的定时(可基于日、周、月、工作日、时、分、秒等)触发; 
  4.支持系统命令、外部程序调用; 
  5.提供HTTP、FTP等文件传输功能;
  6.提供邮件通知功能; 
  7.流程运行时的动态轨迹指示,向用户反馈子任务的执行状况;

 

  WebService 


  BeeDI可作为数据源向外发布数据,通过与Apache HTTP Server的结合,Beeload可作为WebService供用户调用,交互的数据采用SOAP封装,用户在IE中可直接访问软件发布的数据,用户也可以按照标准的WebService接口创建自己的客户端程序 获取数据。
  用户可通过HTTP协议远程控制BeeDI中的任何作业,如远程启动或停止作业,远程查询作业状态。

 

 

  脚本调试 


  在BeeDI中,支持创建三类任务:ETL、工作流及Bee脚本,用户可以对每种任务进行调试。 
  1.支持ETL、工作流模板视图到脚本视图的快速切换,用户可直接了解任务执行细节; 
  2.在脚本视图中支持任务的断点运行,任务执行到断点所在脚本时暂停; 
  3.在脚本视图中支持逐行单步调试任务,任务每当执行完一行脚本后即进入暂停状态; 
  4.在任务处于断点暂停或结束状态时,可以对脚本中变量值的进行查看;

 

  作业监控 


  BeeDI采用作业调度策略控制任务的运行: 
  1.支持多个作业的并发运行,可以限制最大运行作业数; 
  2.支持作业排队机制,当已运行作业达到最大数时,后续启动作业进入排对等待状态; 
  3.支持作业的优先级设置,多个作业处于排队状态时,优先级高的作业首先进入运行状态; 
  4.支持作业的启动、暂停、恢复运行和停止等控制; 
  5.作业支持定时启动,提供多种定时策略,包括日、周、月、工作日、时、分、秒等,通过对作业定时启动可实现作业的循环自动运行; 
  6.直观的作业执行进度及状态显示;

 

  集群调度 


  BeeDI支持ETL任务灾备及负载均衡,根据任务服务器负载情况自动迁移任务到负载较小的服务器,当某一服务器出现故障,其上运行的任务将被加载到其它任务服务器上重新运行。 
  1.支持迁移任务的断点续传功能; 
  2.支持集群环境中的任务脚本调试; 
  3.同一工作流的多个子任务将分配到多个任务服务器运行;  

BeeDI完全采用数据流的思想定义ETL转换规则,数据转换不再局限于一对一的接口方式,而是支持多对多的数据接口方式,界面设计更加直观流畅、ETL规则定义更具扩展性。

企业名片

×

联系人:宣向阳

联系电话:010-82176643

联系地址:北京市市辖区海淀区 北京市海淀区东北旺北京中关村软件园孵化器1号楼B座1322-5室

在线询价

×

店经理 2019-03-27

您好,欢迎光临北京灵蜂纵横软件有限公司 销售中心,请发送您要咨询的内容

* 手机: * 姓名:

* 内容:

  公司:

(版权所有 科工网&北京天云聚合科技有限公司 © Copyright 2015 - 2018 . All Rights Reserved.) 豫ICP备15016143号
关闭