大萌小路

  • 首页

  • 分类

  • 标签

  • 归档

  • 关于

  • 留言

  • 搜索

debezium关于cdc的使用(下)

发表于 2019-08-07 08:37:32 | 更新于 2019-08-07 11:12:27 | 分类于 数据同步 | 评论数:
本文字数: 6.5k | 阅读时长 ≈ 6 分钟

简介

debezium在debezium关于cdc的使用(上)中有做介绍。具体可以跳到上文查看。本篇主要讲述使用kafka connector方式来同步数据。而kafka connector实际上也有提供其他的sink(Kafka Connect JDBC)来同步数据,但是没有delete事件。所以在这里选择了Debezium MySQL CDC Connector方式来同步。本文需要使用Avro方式序列化kafka数据。

阅读全文 »

debezium关于cdc的使用(上)

发表于 2019-06-24 13:37:32 | 更新于 2019-08-07 10:04:53 | 分类于 数据同步 | 评论数:
本文字数: 35k | 阅读时长 ≈ 32 分钟

简介

debezium是一个为了捕获数据变更(cdc)的开源的分布式平台。启动并指向数据库,当其他应用对此数据库执行inserts、updates、delete操作时,此应用快速得到响应。debezium是持久化和快速响应的,因此你的应用可以快速响应且不会丢失任意一条事件。debezium记录是数据库表的行级别的变更事件。同时debezium是构建在kafka之上的,同时与kafka深度耦合,所以提供kafka connector来使用,debezium sink。支持的数据库有mysql、MongoDB、PostgreSQL、Oracle、SQL server。本篇以mysql作为数据源来实现功能,监听msyql的binlog,还需要修改。当前版本是0.9.5.Final,0.10版本正在开发中。

阅读全文 »

对xxl-job进行simpleTrigger并动态创建任务扩展

发表于 2019-05-08 15:37:48 | 更新于 2019-06-25 09:46:11 | 分类于 Spring Boot | 评论数:
本文字数: 5.8k | 阅读时长 ≈ 5 分钟

业务场景

需求上要求能实现quartz的simpleTrigger任务,同时还需要动态的创建任务而非在控制面板上创建,查阅xxl-job官方文档发现simpelTrigger其暂时还躺在to do list,而动态创建可以调用JobInfoController其add和start接口(但是有个弊端,start/stop/remove等方法都只要求传送id,这点上可以自己扩展接口实现),还需要放开登录权限,接下来就老夫上去就上一梭子,开干。

阅读全文 »

折腾Java设计模式之单例模式

发表于 2019-04-02 17:22:03 | 更新于 2019-04-03 15:48:31 | 分类于 设计模式 | 评论数:
本文字数: 4.5k | 阅读时长 ≈ 4 分钟

单例模式

Ensure a class has only one instance, and provide a global point of access to it.

一个类仅仅只有一个实例,并且提供全局的接入点。简洁点理解就是涉及到一个单一的类,该类负责创建自己的对象,同时确保只有单个对象被创建。这个类提供了一种访问它自己唯一的对象的方式,可以直接访问,不需要实例化该类的对象。

阅读全文 »

折腾Java设计模式之建造者模式

发表于 2019-03-29 14:18:39 | 更新于 2019-06-25 09:54:40 | 分类于 设计模式 | 评论数:
本文字数: 7.2k | 阅读时长 ≈ 7 分钟

建造者模式

Separate the construction of a complex object from its representation, allowing the same construction process to create various representations.

将复杂对象的构造与其表现分离,允许相同的构造过程用来创建不同的表现。通俗点就是,一个对象创建过程很复杂,我们将其每项元素创建过程抽离出来,通过相同的构造过程可以构造出不用的对象。还不懂可以看到如下的UML图。

阅读全文 »

折腾Java设计模式之模板方法模式

发表于 2019-03-11 18:05:47 | 更新于 2019-03-26 11:59:27 | 分类于 设计模式 | 评论数:
本文字数: 6.6k | 阅读时长 ≈ 6 分钟

模板方法模式

Define the skeleton of an algorithm in an operation, deferring some steps to subclasses. Template method lets subclasses redefine certain steps of an algorithm without changing the algorithm’s structure.

翻译过来就是,把算法的框架定义好,可以将某些步抽象出来放到子类去实现。模板方法允许子类在不改变算法框架的情况下重新实现算法的某些步骤。

阅读全文 »

spring-boot的spring-cache中的扩展redis缓存的ttl和key名

发表于 2019-01-31 08:39:10 | 更新于 2019-02-18 16:05:34 | 分类于 Spring Boot | 评论数:
本文字数: 9.3k | 阅读时长 ≈ 8 分钟

前提

spring-cache大家都用过,其中使用redis-cache大家也用过,至于如何使用怎么配置,本篇就不重点描述了。本篇主要解决2个问题,第一个问题使用redis做缓存时对每个key进行自定义的过期时间配置,第二个使用redis做缓存时@Cacheable(value = "value", key = "#p0") ,最后生成的key会在value和p0中间的有(::)2个冒号,与redis的key名一个冒号间隔的风格不符。

阅读全文 »

折腾Java设计模式之备忘录模式

发表于 2019-01-26 11:59:17 | 更新于 2019-01-26 16:32:49 | 评论数:
本文字数: 2.9k | 阅读时长 ≈ 3 分钟

备忘录模式

Without violating encapsulation, capture and externalize an object’s internal state allowing the object to be restored to this state later.

在不破坏封装性的前提下,捕获一个对象的内部状态,并在该对象之外保存这个状态。

阅读全文 »

折腾Java设计模式之观察者模式

发表于 2019-01-24 10:14:09 | 更新于 2019-01-24 17:47:39 | 分类于 设计模式 | 评论数:
本文字数: 6.7k | 阅读时长 ≈ 6 分钟

观察者模式

Define a one-to-many dependency between objects where a state change in one object results in all its dependents being notified and updated automatically.

直译过来就是,定义对象间的一对多依赖关系,当一个对象的状态变更会自动通知和更新所有依赖项。像发布/订阅模式,事件通知模式,数据源/监听模式等都是性质一样。

阅读全文 »

Mysql我是怎么随机截取字符数组里的字符串并且一一对应

发表于 2019-01-17 14:16:30 | 更新于 2019-04-15 09:58:07 | 分类于 Mysql | 评论数:
本文字数: 3.4k | 阅读时长 ≈ 3 分钟

场景:临近年底,各个App都会有个人年度账单,项目里为了图快,以及节省各个系统模块之间的接口联调。直接人工统计数据(😳😳😳😳😳😳😳😳😳😳😳😳😳😳),构造账单数据JSON。

阅读全文 »
123
Damon

Damon

折腾折腾, 多看看, 多写写

22 日志
6 分类
22 标签

标签云

  • Cache1
  • Redis1
  • XA1
  • cdc2
  • connector2
  • debezium2
  • kafka2
  • spring-boot2
  • 中介者1
  • 事务1
  • 分布式2
  • 命令1
  • 定时任务1
  • 建造者1
  • 模板方法1
  • 状态1
  • 策略1
  • 观察者1
  • 设计模式14
  • 访问者1
  • 责任链1
  • 迭代器1
RSS
GitHub E-Mail
Creative Commons
0%
© 2019 Damon | 站点总字数: 153k | 站点阅读时长 ≈ 2:19
由 Hexo 强力驱动 v3.8.0
|
主题 – NexT.Gemini v6.7.0
访问人数 人 | 总访问量 次