kettle （ 第六章 表输出）

上一节，讲解了常用的输入组件（excel输入组件，文本输入组件，表输入组件，json输入组件）。对一个系统来说，有输入就必定有输出，输出组件反应的就是系统最终的处理结果，也就是业务产出。熟练的掌握输入输出组件，是学习kettle的关键环节，也是分析业务需求的重要法宝。 本节将针对上一节中的输入组件，讲解其相对应的输出组件。这样便可以使同学们掌握kettle的基础运用能力。 excel输出组件 工作中经常会遇到需要将从接口中查询出的数据导出为excel文件...

2. 表输入 连接 表输出。得到我们需要的目标表。3. 输出Sql语句。

数据清洗

   1.字段刷新        修改了表结构，输入控件【表输出】的字段值却修改不掉。经过验证是在连接管理中。编辑【表输出】的属性，选择【数据库连接】【编辑】，选择【浏览】，点击这张表，在弹出界面中选择【action】【DDL】【use current connection】,在弹出界面中选择【清除缓存】    2. 批量插入        当目标数据库为PostgreSQL时，把【使用批...

各创建相同结构表，一张表中有数据。

把表A里的数据传送到表B中，在此之前，清空表B内的数据。

1.Excel输入 1.1建立转换工程 创建【Excel输入】转换工程，单击【核心对象】选项卡，展开【输入】对象，选中【Excel输入】组件，并拖曳拖曳到右边工作区中 1.2设置参数 双击【Excel输入】组件，弹出【Excel输入】对话框，其中显示默认的【文件】对话框单击【浏览(B)…】按钮，在计算机上浏览并导入“物理成绩.xls”文件，添加并编辑Excel文件。单击【增加】按钮，将浏览导入至【文件或目录】输入框中的“文件，添加至【选中的文件】表中 单击【显示文件名称…】按钮，弹出【..

数据的预处理过程，除了包括数据抽取、数据本身的清洗与检验以及数据转换操作，还包括数据加载操作，数据加载是数据预处理过程的最后一个步骤，主要是负责将清洗检验、转换后的高质量数据加载到目标数据库中。 数据的加载机制与数据的抽取机制相类似，数据的加载机制可以分为全量加载和增量加载。其中，全量加载是指将目标数据表中的数据全部删除后，进行数据加载的操作；而增量加载是指目标表只加载源数据表中变化的数据，其中变化的数据包含新增、修改和删除的数据。

如果您希望流式传输XLSX文件，请选择此选项。8）在接收数据前不创建文件：如果选择了此选项，则在检测到一行后，步骤才会创建文件。1）开始输出自单元格：在MS Excel电子表格中指定要开始写入的单元格（字母列，数字行），例如，A2，表示从从第一列第二行位置开始写数据，第一行为模板文件内容。6）文件名包含步骤数目，文件名包含日期，文件名包含时间，指定日期时间格式，都是为了指定文件生成的名字，如下图所示。14）使用模版创建新文件、模版文件：可以设置模版文件，然后基于模板文件复制目标文件，最后将数据写入。

ETL：【extract：提取，提炼】Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程，对于企业或行业应用来说，我们经常会用到各种数据的处理，转换，迁移，市面上常用的ETL工具有很多，比如Sqoop、DataX、Kettle，Talend等，此处介绍一下kettle的基本操作以及使用。启动后点击文件新建转换，在输入中拖拽"excel输入"，在转换中拖拽"字段选择"，在输出中拖拽"表输出"，在应用中拖拽"写日志"，使用shift+左键连接各个组件，组成下面的流程。

Window下安装kettle并配置MySQL驱动，实现表输入输出

9）表分区数据：选择此选项可根据“分区”字段中指定的日期字段的值将数据拆分到多个表中。在运行转换之前，必须手动创建这些表，以便在这些表中插入数据。14）返回一个自动产生的关键字：和自动产生关键字段的字段名称联合使用，用于记录自增id主键字段。8）指定数据库字段：此选项和数据库字段设置联合使用，可以自定义哪些字段插入到表中。16）插入的字段：可以设置哪些字段插入到数据表中，需要和指定数据库字段联合使用。13）表名定义在一个字段里面：和包含表名字段联合使用，动态指定插入数据的表名。4）目标表：填写表名称。

kettle的表输出 在使用表输出的时候肯定是要有输入的，输入这部分就不详细讲解了，下面的例子输入是使用csv文件的输入，主要介绍一下表输出，步骤：核心对象 --> 输出 --> 表输出，将表输出模块拉入到转换模块当中。 配置表输出相关参数，双击表输出，可以看到参数配置的窗口，大体上和表输入的配置参数差不多，首先将”数据库连接”配置好，我这里使用的还是mysql作为连接数据库，点击新建(如果有已经建立好的连接是可以直接使用的)，连接界面如下 在配置好连接后，就可以选择所要输出的表，在目标表

KETTLE——表输出KETTLE表输出添加DB链接驱动未安装配置参数添加输入源 KETTLE表输出 添加DB链接 要输出到MySQL或Oracle等数据库时，必须添加DB连接。其实就是简单的数据库配置一下参数。 驱动未安装 本人使用的连接方式需要添加JDBC驱动，也就是相应的jar包；需要将驱动包放在lib目录下本人的目录是在Kettle的lib下 D:\Software\kettle\ket...