使用StreamSets提供接口 实现零代码微服务

最新推荐文章于 2024-09-02 07:30:00 发布
置顶 最新推荐文章于 2024-09-02 07:30:00 发布
阅读量1.1k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据前沿技术 文章标签： 微服务 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dr_Guo/article/details/126954610
本文介绍如何使用StreamSets快速创建微服务接口，无需编写代码。通过配置微服务管道，包括删除默认组件，添加HBase Lookup作为数据源，设置HTTP Router，配置HBase Lookup和Groovy Evaluator，最后设定返回状态，实现五分钟内完成接口创建。只需调用接口，传入参数即可获取HBase中的数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前一篇我们介绍了如何使用 StreamSets解析MySQL Binlog写入HBase，现在实时数据已经进入HBase，我们应该怎么用呢？
通常情况下，我们需要开发一个数据接口，提供给业务部门使用，而开发一个接口，就算使用Spring Boot，也较费时费力。今天我给大家介绍一种不需要敲一行代码，五分钟就能实现的方法~

1.创建微服务管道

在这里插入图片描述

2.创建后就会看到如下模板

在这里插入图片描述

3.删掉不需要的，加上Lookup HBase，也就是我们的数据源

在这里插入图片描述
点开第一个REST Service，填入端口和Application ID，注意不要重复即可

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Streamsets定时拉取接口数据同步到HBase集群
网尘的技术专栏
03-04 998
最近有个项目，需要同步数据到ES，在这个项目之前，有一位订阅者求助，其需要完成一项定时拉取api接口数据，并同步到HBase的应用需求，在配置的环节发生了一些问题，需要我协助解决，在解决了问题后，征得他的同意，我截取了相关图片分享给大家。 1、同步主流程 根据应用需求可知，其必须用到定时器，HBase；因此把定时器作为数据源，把HBase作为数据目的地，其他的再增加Http请求处理，中间的一些列处理，即可完成该需求。 完成后的流程如下图所示。 2、定时器Cron组件配置 这里我们设定为1分钟采集一次。.
数据对接-ETL之StreamSet学习之旅七微服务
网尘的技术专栏
01-16 2709
StreamSet作为大数据ETL工具的选择，当然需要处理数据的合并与转存，其大部分功能集中于此。有些场景可能需要其对外提供个接口，可以被调用，StreamSets能做到吗？答案是能！并且能做当今流行的微服务，啊！好高大上~，今天就来看看吧。 目录学习系列1、Restful风格的Api2、建立Api3、测试一下3.1 大名鼎鼎的Postman，后端程序员必备3.2 测试专业级Jmeter3.3...
StreamSets实战之路（十七）-实战篇-数据服务快速微服务化
Macalzheng的专栏
02-24 2057
主要通过一个数据服务快速微服务化的案例来介绍Streamsets（3.20.0 汉化版）的使用。在当前下，微服务化异常盛行，肯能大家之前都用过spring boot实现微服务应用（当然不知道的可以搜下 RESTful API，这里涉及的比较多不重点讲），很多原来不是微服务的服务就需要快速地改成RESTful 接口对外提供服务，要是要用spring boot改写的话，想必一定要Coding了，哈哈，现在不需要了，本章通过一个案例介绍怎么通过streamsets快速实现服务的微服务化。 学习目的：学习使用构.
streamsets2.6.0.1执行监控接口
知识的力量
02-28 1866
一、获取采集任务列表接口url路径和请求方式请求参数请求头返回结果二、采集任务执行监控接口/rest/v1/acl/ 接口路径和请求方式请求参数请求头返回结果/rest/v1/acl/{pipelineId}/permissions接口路径和请求方式请求参数请求头返回结果/v1/pipeline/{pipelineId}/committedOffsets接口路径和请求方式请求参数请求头返回结果/v...
streamsets rest service源数据组件浅谈
qq_39178803的博客
11-29 657
streamsets rest service源数据浅谈
从业务需求到技术实现：动态工作流引擎的构建与应用
热门推荐
张彦峰的博客
12-21 172万+
本文介绍了如何实现一个动态配置执行工作流引擎，重点讲解了工作流的设计与实现过程。通过分析工作流执行上下文、任务节点定义、执行器、调度平台等核心组件，展示了如何在不同的业务场景下灵活配置和动态执行工作流。文章还通过实际案例，阐述了智能化处理和数据流转的工作流任务，如新闻内容处理、AI赋能、数据同步等。最后，文章总结了动态配置执行工作流引擎的优势，并展望了未来优化和扩展的方向。
数据对接-ETL之StreamSet学习之旅一
网尘的技术专栏
11-20 1万+
目录StreamSet介绍StreamSet安装1. RPM安装2. Docker镜像安装存储应用引用链接 StreamSet介绍 StreamSets是一个侧重数据集成、数据加工流程构建的平台，也是一个开源的产品。通过StreamSets，用户可以方便的接入不同的数据源，并且完成数据加工流程的构建。 SteamSets有可视化的数据流构建工具，并且能够对运行态的数据应用进行监控。该应用更侧重...
Streamsets管道自我优化：揭秘机器学习在数据管道中的应用
![Streamsets管道自我优化：揭秘机器学习在数据...本文详细介绍了Streamsets管道自我优化的技术架构及其实践案例，深入探讨了机器学习基础知识及其在数据管道中的作用。本文阐述了Streamsets管道的核心组件、自我优化
AI工程最佳实践原理与代码实战案例讲解
AI天才研究院
07-08 994
AI工程最佳实践原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：AI工程化、模型部署、持续集成、自动化测试、微服务架构、高效运维、故障恢复机制 1. 背景介绍
streamsets-帮助手册
10-12
《streamsets-帮助手册》英文带目录版，这个工具估计用的人估计不多，但是做大数据平台的etl工具用还是很强大的，想学的话慢慢看很有用。 平台竟然把分调到这个高，分#不$^够的可以私*信wo解决，看到会回复，希望不被和#谐
spring cloud微服务实战 pdf_SpringCloud微服务实战：城市数据API微服务的实现
weixin_39875832的博客
11-26 192
城市数据API微服务的实现城市数据API微服务包含了城市数据查询组件。城市数据查询组件提供了城市数据查询的接口。城市数据由于不会经常被更新，属于静态数据，所以我们已经将ciylst.xml文件放置到resoures目录下，由我们的城市数据服务来读取里面的内容即可。在micro-weather-report应用的基础上，我们将对其进行逐步的拆分，形成-一个新的微服务msa-weather-city-...
【ETL工具】StreamSets 定时调度
康师傅没有眼泪
07-25 3612
Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度，Kettle缺点是通过定时运行，实时性相对较差。 需求：定时的开启一个管道流，此处希望也可以定时的关闭。目前找到的方式就是下面的这个组件，以下的案例也是基于此组件展开。
Streamsets data collector 安装
qq_31515997的博客
02-25 1625
Streamstsets data collector
【SDC】StreamSets实战之路-10-基础篇- StreamSets-数据流开发-微服务数据流设计
菜鸟叔叔的博客
02-19 886
主要介绍StreamSets中微服务数据流设计，以mysql的CRUD操作为例，来设计微服务数据流。
streamsets-datacollector 安装与启动
yuxj的博客
03-26 3455
streamsets-datacollector-all-3.21.0 安装步骤 1.安装jdk8 jdk安装网上教程很多，在这就不详细记录了 2.下载streamsets 官网https://archives.streamsets.com/index.html 注册账户后 下载 Full TarballTarball for Linux(Tarball sha1) 在下载的过程中 我们可以创建几个能用到的文件夹 mkdir/data/streamsets/data mkdi...
数据集成平台（Streamsets）
最新发布
weixin_43156294的博客
09-02 1492
Streamsets 是一款企业级的开源数据集成平台。通过拖拽式的可视化界面实现数据管道的设计和定时任务调度，数据源支持 MySQL、Oracle 等结构化和半/非结构化，目标源支持 HDFS、Hive、HBase、Kudu、Solr、Elasticsearch 等。
【SDC】StreamSets实战之路-4-环境篇- StreamSet工作平台介绍
菜鸟叔叔的博客
02-18 849
主要介绍StreamSets DC 工作平台各个模块
下一代大数据教程（三）
龙哥盟
08-24 1162
有几种方法可以将数据摄取到 Kudu 中。可以使用 StreamSets、Talend 等第三方商业工具。您可以使用 Apache Spark 和 Kudu 的客户端 API 等本地工具创建自己的应用程序。Kudu 使用户能够批量或实时摄取数据，同时运行分析查询，使其成为物联网和高级分析的理想平台。既然您已经将数据吸收到 Kudu 中，您需要从中提取价值。在第 8 和 9 章中，我将讨论分析存储在 Kudu 表中的数据的常用方法。
使用StreamSets将Oracle中的数据实时传输到Hbase
JJBOOM425的博客
08-19 1468
这次的测试是失败了的，有这个需求的小伙伴可以参考一下。主要原因可能是因为要测试的是Oracle 10g的数据库，所以一些StreamSets支持的参数变化的比较大。但是过程可以参考一下，一直到最后的验证其实都没有问题了。 1、打开StreamSets管理界面 在CDH中进入StreamSets的管理界面，点击WebUI： 获取到打开StreamSets界面的格式与端口号： http://192.168.129.***:18630 2、创建一个新的管道 填写新建管道的一些信息 ..
Streamsets Data Collector安装与使用详解
"Streamsets Data Collector是一款用于数据汇聚的流批一体工具，提供了一套强大的企业级流处理平台。本文档详细介绍了SDC的安装、部署及运维过程，特别是其核心概念如控制台、管道、阶段（源、处理器、目的地）等，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光于前裕于后

您的打赏将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值