TDH中的Transporter

本文主要介绍Transwarp的etl工具——Transporter，本文依托于星环的官方文档，通过一个简单的实例来让大家熟悉Transporter的使用。关注专栏《Transwarp系列》了解更多TSEO靠我ranswarp的技术知识~

目录

一、Transporter简介

1.1 简介

1.2 Transporter的特点

二、Transporter实例

2.1 案例一

2.1.1 业务需求

2.1.2 业务实现

2.2SEO靠我 案例二

2.2.1 业务需求

2.2.2 业务实现

一、Transporter简介

1.1 简介

Transporter是一个数据etl工具，支持从不同数据源获取数据，对数据的复杂转换操作，并最终将数据落地成SEO靠我不同格式。Transporter左侧连接数据源，如关系型数据库，右侧连接目标系统，如Inceptor。支持用户将数据从RDBMS迁移到Hadoop，再进行数据分析和挖掘工作。

1.2 TransportSEO靠我er的特点

1、支持丰富的数据源

Transporter支持跨集群的数据导入，并且可直接从Oracle/DB2等传统关系数据库将数据导入至TDH,同Sqoop相比，可以在不失效率的情况下简化繁琐的数据流定SEO靠我义步骤以及复杂的类型转换等问题。支持导入CSV、定长文件、JSON、XML等文件。同时支持导入OGG、Shareplex、DataStage产生的增量文件，实现准实时的数据同步。此外，还支持通过KafSEO靠我ka等方式读入流数据。

2、支持丰富的导出格式

用户可以通过Transporter直接导出数据至传统关系数据库、ElasticSearch，以及实现跨集群导出。Transporter支持多种数据导出格式，SEO靠我如CSV、JSON、XML，并且支持Inceptor中所有类型的表：普通ORC、ORC交易表、Holodesk、Hbase、Hyperdrive。

3、支持多种数据转换操作

提供多种常见的数据转换操作，帮SEO靠我助实现数据的清洗，加工。其中的关键操作有：字段映射功能、数据关联、集合操作、聚合操作、过滤、去重。

4、轻量的应用

采用Web交互的方式，实现数据流的设计。Transporter只是用于数据流设计和调度工SEO靠我作流的服务平台，本身不包含执行引擎，不负责任务实现，而是将工作任务提交到Inceptor或者其他计算引擎来完成，因此是极为轻量的应用。

5、高度并发

利用分布式集群进行数据流的并行计算，自动分析数据流依赖SEO靠我，实现数据流作业中最大可能的并行化。

6、高吞吐

擅长大数据量的同步，峰值数据吞吐率可达到40M/秒/节点。

7、数据质量和安全保障

提供事务级别的数据同步，确保目标表与原表拥有相同的数据一致性。另外还提供了SEO靠我完整的权限控制机制，用于保证数据的安全。

二、Transporter实例

2.1 案例一

2.1.1 业务需求

现在有两份人员名单，需要将其合并后写入Inceptor。 

2.1.2 业务实现

1、为了方便测试，首SEO靠我先将两份数据上传到hdfs的目录下，如下所示 ：

2、新建数据流，进入设计模式。

3、选择并拖出CSVReader模块并修改Reader参数。

同样的方法将two.csv文件读进来，如下：

4、选中转换模块中SEO靠我的union模块，并连接数据源模块与union模块。

5、拖出TextWriter，并连接转换模块与目标模块

6、修改TextWriter的参数

7、完成后，点击右上角的保存按钮进行保存，并进入调试模式。

如SEO靠我果调试没有问题，此处所有组件图表均为绿色。

查询数据库中的数据可以发现数据已经入库到对应的表中：

8、调试无误后点击下面的图表进行发布。

2.2 案例二

2.2.1 业务需求

查询得到年龄大于24岁的人员名单并SEO靠我将数据导出到csv文件。

2.2.2 业务实现

1、同样的，新建数据源

2、选择CSVWriter模块并修改参数，如下：

3、选择过滤模块并编辑参数

4、选择CSVWriter目标模块并编辑参数

5、保存并调试，SEO靠我发现数据已经导出到对应的目录中

以上就是本文的所有内容了，通过两个简单的实例，大家一定对Transporter有了一个初步的认识，本文到此已经接近尾声了，你们在此过程中遇到了什么问题，欢迎留言，让我看看SEO靠我你们都遇到了哪些问题~