分类：异构数据 - 数说编程|十多年互联网经验，分享我的生活、学习、工作中遇到的各种知识和经验；希望和大家共同成长！

分类
异构数据

【DataX系列 5.1】DataX插件开发

异构数据

DataX插件开发宝典本文面向DataX插件开发人员，尝试尽可能全面地阐述开发一个DataX插件所经过的历程，力求消除开发者的困惑，让插件开发变得简单。一、开发之前路走对了，就不怕远。✓ 路走远了，就不管对不对。✕ 当你打开这篇文档，想必已经不用在此解释什么是DataX了。那下一个问题便是：

【DataX系列 4】数据转换（transformer）

异构数据

DataX 数据转换（Transformer）详解概述 DataX Transformer 是 DataX 框架中实现 ETL（Extract, Transform, Load）流程中 T（Transform）环节的核心组件。在数据同步和传输过程中，用户常常需要对数据进行特殊定制化处理，如裁剪列、

【DataX系列 3.3.1】DataX插件之文本文件写

异构数据

DataX TxtFileWriter 说明 1 快速介绍 TxtFileWriter提供了向本地文件写入类CSV格式的一个或者多个表文件。TxtFileWriter服务的用户主要在于DataX开发、测试同学。写入本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。 2 功能与限

【DataX系列 3.3.1】DataX插件之文本文件读

异构数据

DataX TxtFileReader 说明 1 快速介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。

【DataX系列 3.2.1】 DataX插件之MongoDB读

异构数据

DataX MongoDBReader 1 快速介绍 MongoDBReader 插件利用 MongoDB 的java客户端MongoClient进行MongoDB的读操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以达到高

【DataX系列 3.1.2】DataX插件之MySql写

异构数据

DataX MysqlWriter插件实战指南概述 MysqlWriter 是 DataX 框架中用于将数据写入 MySQL 数据库的核心插件。它通过 JDBC 连接远程 MySQL 数据库，使用 INSERT INTO 或 REPLACE INTO 语句将数据批量写入目标表，支持高性能的数据导入

【DataX系列 3.2.2】DataX插件之 MongoDB写

异构数据

DataX MongoDBWriter 1 快速介绍 MongoDBWriter 插件利用 MongoDB 的java客户端MongoClient进行MongoDB的写操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以满足数

【DataX系列 3.1.1】DataX插件之Mysql读

异构数据

DataX MysqlReader插件深度解析一、概述 MysqlReader 是 DataX 框架中专门用于从 MySQL 数据库读取数据的核心插件。它通过 JDBC 连接器与远程 MySQL 数据库建立连接，执行 SQL 查询语句，并将结果数据转换为 DataX 统一的数据格式传递给下游 Wr

【DataX系列 3.0】DataX数据读写

异构数据

DataX数据读写 DataX 作为一款强大的异构数据同步工具，其核心功能是实现不同数据源之间的数据读取和写入。通过插件化的架构设计，DataX 支持多种数据源的读写操作，包括关系型数据库、NoSQL数据库、文件系统等。数据读取机制 Reader插件架构 DataX 的数据读

【DataX系列 2.2】DataX命令行参数传递

异构数据

DataX命令行参数传递详解在使用 DataX 进行数据同步时，经常需要动态调整 SQL 查询条件，比如按日期范围同步数据。DataX 提供了命令行参数传递功能，允许我们在不修改 JSON 配置文件的情况下，动态替换 SQL 中的参数，极大地提升了使用的灵活性。核心原理 DataX 命令行参数传