weixin_40455124的博客

restart ksqldb-server2前。restart ksqldb-server2后。在ksql执行select 也能看见不同。基本按官方文档来进行。

Push a continuous stream of updates to the ksqlDB stream or table. The result of this statement isn’t persisted in a Kafka topic and is printed out only in the console, or returned to the client. To stop a push query started in the CLI press Ctrl+C. 参考。

可以将Kafka Connect(比如连接到PG、ElasticSearch）与ksql DB直接结合起来，通过sql模式读取、写入数据到外部。Primary key constraints(table 必须有PK,不能有KEY)Stream ，Table，Window这些核心概念在KSQL也一样存在。PS :UI 好像没有开源，也找不到对应docker image。KsqlDB Server 提供rest接口提供对外访问。官网：ksqldb.io。

Wall clock time：无论有无新record都会执行，This means periodic functions will continue to execute regardless of whether or not new messages arrive.aggregate类函数不带默认state store，需要指定materialized，即state store，stream/topology指定state store。DSL 无法实现，只能在process api实现。

默认存放方式：both in-memory and persistent state stores，persistent 使用rockdb模式存放到disk，disk存放路径：setting the StreamsConfig.STATE_DIR_CONFIG property。还可以使用LogAndSkipOnInvalidTimestamp，在init的时候通过prop DEFAULT_TIMESTAMP_EXTRACTOR_CLASS_CONFIG指定extractor类。

默认 Embedded：The default state store implementations that are included in Kafka Streams are embedded within your Kafka Streams application at the task level。Stream (window模式下）在内存中保留数据大小和数据满后的处理策略，可以通过Buffer来设置。serdes 其实就是序列/反序列类的集合体，可以通过。转换为kStream。

在 confluentinc/cp-schema-registry:6.0.0 的image中有如下命令。和下面useSchemaRegistry 分支 进行注册使用。Avro 协议可以提升转换效率，本质是kafka就支持。以上代码的else 是非registry模式，使用来自。

默认Stream 会创建很多topic 来支持repartition、group、map、job、changlog（state store）等操作。kafka stream是一个客户端，因此扩容和HA都需要自行管理，优点是只依赖kafka，但也只能支持kafka，不支持其他消息系统。DSL 相对高级、Process API更底层，一般使用DSL就可以，但定时操作只有Process API支持。Dzone 与flink的 比较。State Store 可以自定义。

多租户实现kafka没有体系化的租户管理，但可以通过一些手段进行用户和topic管理实现部分租户能力Creating user spaces for tenants (sometimes called namespaces)通过ACL控制用户只能访问指定前缀的topic通过自定义CreateTopicPolicy/AlterConfigPolicy (cf. KIP-108 and the setting create.topic.policy.class.name)强制用户只能创建符合前缀

总体图时间轮但task不在第一轮范围距离该任务的到期时间还有45ms，不能执行任务。我们将其重新提交到层级时间轮中，此时第一层时间轮跨度依然不够，但是第二层时间轮的跨度足够，该任务会被放到第二层时间轮第三个时间格中等待执行。如此往复几次，高层时间轮的任务会慢慢移动到低层时间轮上，最终任务到期执行。SystemTimer是Kafka中的定时器实现，它在TimeWheel的基础上添加了执行到期任务、阻塞等待最近到期任务的功能。Kafka使用DelayedOperation抽象类表示延迟操作，它对

文件数据目录message文件以*.log 保存每个log文件对应.index,.timeindex文件每个partition对应一个目录可以配置多个root dir，每次新建选择partition最少的root dir其它文件checkpoint相关文件meta.propertiesindex稀疏索引，不保障每个消息都有对应索引项l- og.index.interval.bytes 大小决定稀疏密度索引文件为预先分配空间，log文件不是文件分段参数log.ind

Producer总体结构发送过程直接与具体broker连接进行消息发送分区器，默认使用DefaultPartitioner：有key默认使用hash，除修改分区数量是，可以保证相同key在一个分区；没有key，通过计数%分区数进行循环发送。业务线程通过KafkaProducer.send()方法不断向RecordAccumulator追加消息，当达到一定的条件，会唤醒Sender线程发送RecordAccumulator中的消息。KafkaProduce为线程安全，consumer才是非线程