- 博客(777)
- 资源 (43)
- 收藏
- 关注
RSS订阅
原创 金融业大数据应用场景
如果能够引入外部数据，还可以进一步加快数据价值的变现。外部数据中比较好的有社交数据、电商交易数据、移动大数据、运营商数据、工商司法数据、公安数据、教育数据和银联交易数据等。大数据在金融行业的应用范围较广，典型的案例有花旗银行利用 IBM 沃森电脑为财富管理客户推荐产品，并预测未来计算机推荐理财的市场将超过银行专业理财师；摩根大通银行利用决策树技术，降低了不良贷款率，转化了提前还款客户，一年为摩根...
2020-04-07 17:05:48
9305
3
原创 量化交易主流框架介绍
量化交易主流框架介绍talibtalib的简称是Technical Analysis Library,主要功能是计算行情数据的技术分析指标numpy介绍：一个用python实现的科学计算包。包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包s...
2018-10-15 19:16:46
6616
4
原创 【FineDataLink系列】实时管道
企业在构建数仓和中间库时，由于业务数据量级较大，如果使用 数据同步 批量定时同步数据很难做到高性能的增量同步，若使用清空目标表再写入数据的方式时，还会面临目标表一段时间不可用、抽取耗时长等问题。因此希望能在数据库数据量大或表结构规范的情况下，实现高性能的实时数据同步。
2025-07-08 14:21:05
330
原创 【FineDataLink系列】定时管道
1、定时管道任务每次运行成功后，定时管道任务中的增量表会更新断点位置，下次运行直接从最新的断点位置开始同步。如下图所示：2、前提条件1）需要先配置定时管道来源端、目标端的数据连接；定时管道适配的数据源请参见：定时管道支持的数据源2）用户需注册「定时管道」功能点才能使用定时管道功能。3）用户若想新建定时管道任务，需要有定时管道的管理权限，详情请参见：定时管道任务管理权限4）定时管道模块受 负载分配 功能限制，用户需要调整定时管道模块的内存分配、并发控制才能正常使用定时管道功能。
2025-07-08 11:50:50
156
原创 程序人生，开启2025下半年
时光匆匆，2025年已然过去一半。转眼来到了7月份。回望过去上半年，可能你也经历了职场的浮沉、生活的跌宕、家庭的变故。而下半年，生活依旧充满了各种变数。大环境的起起伏伏、生活节奏的加快，都让未来的不确定性愈发凸显。在这个时候，我们最应该做的，不是折腾，而是求稳。围棋中有句俗语：“临杀勿急，稳中取胜；一着不慎，满盘皆输。2025下半年，稳得住，你才能赢。
2025-07-03 14:23:42
903
原创 实时数仓工具-ClickHouse
ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于实时数据分析（OLAP），能够使用SQL查询实时生成分析数据报告，其处理数据的速度比传统方法快100-1000 倍。ClickHouse作为新兴事物，特点有很多，很多大厂也在使用；关于其特点也不多说了，确切的说是为OLAP量身打造的数据库。OLAP（On-Line Analytical Processing）翻译为联机分析处理，专注于分析处理，从对数据库操作来看，OLAP是对数据的查询。
2025-07-03 14:00:59
589
原创 【FineDataLink系列】数据连接 Kerberos 认证
Kerberos 认证是 Hadoop 生态的一种通用的认证方式。配置 Kerberos 认证的方式有两种：1、直接使用数据连接配置界面中的 Kerberos 认证主要用于 Hive、HBase 等驱动的认证连接。2、配置 JVM 参数后再进入数据连接配置界面进行认证主要用于按要求填写数据连接配置界面认证成功，创建连接依然抛错的情况，比如 CDH 的 Impala 等数据库。
2025-07-03 11:54:56
505
原创 【FineDataLink系列】配置数据源
FineDataLink 的数据开发、数据管道、数据服务、库表管理模块支持连接多种数据源进行数据的处理操作。在使用 FineDataLink 处理、同步数据前，您需要先定义数据连接，以便在执行数据处理操作时，通过，来确定数据的读取和写入位置。
2025-07-03 11:48:49
308
原创 Hadoop集群启动 （ZooKeeper、HDFS、YARN、Hbase）
验证页面：验证 http://192.168.0.171:50070 http://192.168.0.172:50070。启动ResourceManager进程。启动 NodeManager 3个节点。在centos01节点启动hbase。
2025-07-02 10:31:52
217
原创 HDFS中fsimage和edits究竟是什么
fsimage和edits是Hadoop HDFS(Hadoop分布式文件系统)中的两个关键组件，用于存储文件系统的元数据，以确保文件系统的持久性和一致性。在理解它们的作用之前，我们先了解一下HDFS的基本工作原理。HDFS采用了一种分布式文件系统的架构，其中数据被划分成块并分布在不同的数据节点上，而元数据(文件和目录的信息)则由单独的组件进行管理。元数据的持久性和一致性非常重要，因为文件系统的正确操作依赖于它们。
2025-07-02 10:06:29
137
原创 【FineDataLink快速入门】界面介绍-运维中心
登录 FineDataLink 工程后，界面如下图所示，本文将对每个功能模块的界面、功能进行说明。
2025-06-30 22:04:03
280
原创 FineDataLink—数据集成与治理平台
FineDataLink 是帆软旗下一款低代码/高时效的企业级一站式数据集成平台，旨在解决大数据场景下的实时和离线数据采集、集成、管理的需求。它提供快速连接、高时效融合各种数据的能力，支持灵活的ETL和ELT数据处理方式，帮助企业打破数据孤岛，激活业务潜能，使数据成为生产力。
2025-06-24 16:58:17
1607
原创 【FineDataLink系列】平台架构及应用场景
FineDataLink 是帆软旗下一款低代码/高时效的企业级一站式数据集成平台，旨在解决大数据场景下的实时和离线数据采集、集成、管理的需求。它提供快速连接、高时效融合各种数据的能力，支持灵活的ETL和ELT数据处理方式，帮助企业打破数据孤岛，激活业务潜能，使数据成为生产力。
2025-06-24 14:31:40
558
原创 实时数仓工具-FineDataLink
FineDataLink 是帆软旗下一款低代码/高时效的企业级一站式数据集成平台，旨在解决大数据场景下的实时和离线数据采集、集成、管理的需求。它提供快速连接、高时效融合各种数据的能力，支持灵活的ETL和ELT数据处理方式，帮助企业打破数据孤岛，激活业务潜能，使数据成为生产力。
2025-06-24 14:29:38
779
原创 华为云服务-MRS
MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。提供Hudi、Doris、Spark、HBase、Flink、Clickhouse、Hadoop等开源大数据组件，支持湖仓一体、灵活的弹性控制能力。目前全球累计共交付30万+节点、60+国家、3000+客户，最大单集群商用案例1万+节点，数据量超500PB。单集群可支持2.1万个节点，集群联邦可无限扩展。
2025-06-24 10:26:17
406
原创 华为云存储-OBS服务
OBS就是对象存储服务（Object Storage Service，OBS），它是一个高可靠、高性能、高安全的基于对象的海量存储云服务，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。
2025-06-24 10:12:03
1519
原创 实时数仓工具-SelectDB
Apache Doris 是一款采用 MPP 架构的实时分布式 OLAP 数据仓库，专注于高效的实时数据分析。Doris 项目于 2013 年内部开发，2017 年正式开源，目前在 GitHub 上获得了接近 13,000 星，全球已有超过 5,000 家企业采用，社区活跃度极高，累计贡献者超过 650 人，且曾连续数月在大数据开源项目中排名第一。Doris 广泛应用于金融、互联网、电信、交通、物流、零售、制造和游戏等多个领域。
2025-06-19 14:05:01
1233
原创 实时数仓工具-Doris
Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。
2025-06-19 11:30:25
848
原创 解决Navicat连接MySQL报错‘caching_sha2_password‘问题
当您尝试使用Navicat Premium 12连接MySQL数据库时，可能会遇到以下错误消息：这个错误意味着Navicat无法加载MySQL 8.0引入的认证插件。这可能是由于Navicat版本与MySQL版本之间的兼容性问题。
2025-06-17 16:05:44
525
原创 Hive实现值列表横向展示（非列转行）
当前有各个流程的节点名称和节点时间。数仓中的表存在的格式为纵向存储，分别为节点名称、接收时间。现数据分析过程中需要将每个流程的节点时间横向展示，如果没有该节点则置空。这种区别于行转列和列转行的操作。（具体可参考博主**
2025-06-10 11:34:53
163
原创 Hive解析Json数据、Json数组数据（建议收藏）
我们进行ETL(Extract-Transfer-Load) 过程中,某些字段是json格式，里面拼接了很多字段key和指标值value，今天讲一下用Hive SQL如何解析出来json的键值对数据。
2025-06-06 16:16:30
171
原创 Notepad++常用操作（纯干货）
自定义快捷键：可以通过 Settings > Shortcut Mapper 来修改和设置快捷键。注意避免与系统或其他常用软件的快捷键冲突。
2025-05-15 11:40:03
1380
原创 简道云学习—零代码开发平台
2015年就入局的零代码开发厂商，在数据管理与数据可视化分析上有出色表现。流程性应用配置需求，现也在挖掘核心应用需求的应用开发。作为无代码赛道的明星产品，在功能满足及使用体验上都较好。帆软软件出品，国内第一家在线零代码应用搭建平台，主打表单、流程表单、数据管理与数据分析，为企业流程性业务管理与配置赋能，无需代码、全程拖拽，即可完成应用搭建。
2025-03-14 17:00:40
364
原创 信息安全角度解析家用监控破解原理及防范
今天热搜看到一条新闻【民警建议家里不要安装摄像头】，今天借此来聊聊信息安全。当今这个时代，摄像头到处都是，这在维护治安等方面起到了相当重要的作用，不信你可以想一件事，这些年还见过打劫银行的吗？以前的港片，抢了金店，抢了银行，还能火拼一把再跑到东南亚。除了公共道路、公共场所摄像头到处都是，目前家用监控用的也越来越多。有的买官方正品的，有的去某多、某鱼买廉价商品，存在诸多风险。
2025-02-21 16:25:59
717
原创 硅基流动平台对接DeepSeek
硅基流动作为通用人工智能（AGI）基础设施领域的佼佼者，其一站式大模型 API 云服务平台 SiliconCloud，集成了通义大模型 Qwen2、智谱 AI旗下的 GLM-4、幻方量化旗下的 DeepSeek 系列开源模型等众多主流大模型，为开发者提供高效能、低成本的多品类 AI 模型服务，在 AI 领域早已声名远扬。硅基流动与DeepSeek的合作主要体现在技术支持和模型部署上。硅基流动在华为云的支撑下，成功上线了基于华为云昇腾云服务的DeepSeek-V3和DeepSeek-R1推理服务。
2025-02-20 11:31:25
2105
原创 从DeepSeek看当下AI应用场景
多邻国以AI为支撑，帮助学习链路个性化，同时结合贴近年轻人的趣味内容，以其独特的品牌风格占领用户心智，实现AI与口语训练的高效结合，驱动用户规模及业绩高增长。AI技术的赋能有望从编程、策划、美术、模型等多方面帮助游戏研发降本增效，例如在3D模型生成方面，腾讯混元3D AI创作引擎为普通UGC和游戏等专业场景提供了一站式3D内容生产的AI创作平台，支持搭建3D模型+3D功能矩阵+3D生成工作流+创作素材库一体的完整3D AI创作平台，借助3D AI创作平台可以高效的生成游戏所需的3D模型。
2025-02-18 15:47:40
929
原创 浅谈DeepSeek模型
2025 年 1 月 DeepSeek 发布的 R1 模型，性能比肩 OpenAI - o1 正式版，推理成本却大幅降低，瞬间成为全球焦点；用户增长呈井喷之势，短短 7 天便突破 1 亿用户大关。开源优势更是为 AI 应用研发成本 减负，加速 AI 应用在各领域全面开花。在影视、社交陪伴、电商、营销、教育、游戏等领域，AI 已经深度渗透，影视制作被重塑、社交陪伴添新趣、电商效率大提升…… 但前行之路并非坦途，AI 大模型发展与应用落地的不确定性，仍是亟待跨越的挑战。
2025-02-18 11:38:37
317
1
原创 一问读懂AI工具—DeepSeek、Kimi、豆包、文心一言、通义千问
随着AI时代的到来，AI早就百家争鸣，日新月异。我们常见AI有文心一言，通义千问，豆包，kimi这几款是相对好用的，而横空出世的deepseek AI却成为了海外最为热门人工智能体；deepseek以其开源、更快的算力成为了首选。
2025-02-18 11:25:35
2629
原创 jieba分词
除了cut方法外，jieba还提供了其他一些方法，如lcut、lcut_for_search等，可以根据具体需求选择使用。接下来，你可以使用jieba库的cut方法来进行分词。你可以通过调用jieba.load_userdict方法加载自定义词典，将其中的词语加入到分词词典中。jieba是一个简单易用的中文分词工具，通过使用它，你可以轻松地对中文文本进行分词处理，为后续的自然语言处理任务提供基础支持。其中，"userdict.txt"是自定义词典文件的路径，你可以在其中添加自己需要的词语。
2025-02-06 08:43:21
87
原创 SQL实现百分数转小数格式
在上面的示例中，CAST(‘50%’ AS DECIMAL(4,2))将字符串’50%'转换为DECIMAL类型，并指定小数点位数为2。然后通过除以100将百分数转换为小数点格式。在MySQL中，可以使用CAST()函数将百分数转换为小数点格式。结果将是0.50，即表示50%的小数点格式。
2024-12-13 16:57:28
410
原创 数据库的码表
码表，也称作字典表或参考表，是一种数据库表，用于存储一组预定义的、标准化的数据。这些数据可以在其他表中被引用，以确保数据的一致性和完整性。码表通常包含两个主要字段：一个是主键（通常是代码），另一个是描述性字段（通常是名称或描述）。例如，在一个国家码表中，主键可能是国家代码，而描述性字段则是国家名称。通过使用预定义的值来确保数据的一致性。例如，在一个国家码表中，所有的国家名称和代码都是标准化的，避免了拼写错误和重复数据。通过引用码表中的值，可以确保数据的完整性。
2024-11-20 13:49:59
835
1
原创 SVN修改登录账号用户名
通过TortoiseSVN的clear Authentication Data和手动删除效果是一模一样的！都是对userName\Application Data\Subversion\auth\svn.simple\目录下的已保存登录用户信息文件进行删除。当再次用到svn时，会提示输入用户名密码，输入新的用户名密码即可。SVN安装后进行账号密码登录，如果要进行账号切换。
2024-10-18 14:08:28
1346
原创 Dbeaver设置显示字段备注注释
Dbeaver是免费和开源（GPL）为开发人员和数据库管理员通用数据库工具。注：版本不同可能目录结构有差异。（以下截图是另个版本的）Dbeaver如何设置显示字段注释？
2024-10-09 17:00:21
5994
1
原创 2024全球科技品牌价值榜50强：苹果第一
英伟达在人工智能芯片领域扮演着重要角色，其品牌价值大幅增长 163%，攀升至 445 亿美元，成为今年科技品牌中增长速度最快的一个，在全球最具价值的科技品牌排名中，英伟达的名次上升了 19 位，位列第 10 名。根据《Brand Finance 2024年全球最具价值科技品牌榜单报告》，中国品牌在社交媒体、电子和电器行业表现卓越。全球排名前三的是：苹果、微软以及 Google。国内前几的是：抖音、微信和华为，分为位于第五、十一、十五位。
2024-09-24 13:09:39
1427
机器学习02--K近邻算法
2018-11-08
机器学习09--决策树02
2018-11-08
笨办法学python
2018-10-18
数据分析--matplotlib绘图和可视化
2018-11-08
MySQL性能优化之参数配置
2018-11-08
python面试笔试题（现场应聘收集）
2018-10-18
机器学习01--机器学习入门知识（数据科学 5 机器学习介绍）
2018-11-08
机器学习03--决策树01
2018-11-08
集群搭建手册_CDH5.13.1版.docx
2020-03-11
Airflow安装配置和web端插件安装
2020-07-01
navicat 连接oracle 11g驱动包
2020-05-28
陀螺仪调度部署和使用（美云智数）.rar
2020-05-14
Day2-pandas-Ⅰ.xmind
2020-01-13
Day3-pandas-Ⅱ.xmind
2020-01-13
Day4-pandas-Ⅲ.xmind
2020-01-13
Day7-pandas-Ⅳ：数据加载与透视表.xmind
2020-01-13
Day1-IPython与Numpy.xmind
2020-01-13
Day5-Scipy.xmind
2020-01-13
azkaban安装包（web+excutor）
2020-03-27
Day10-决策树与贝叶斯.xmind
2020-01-13
Day9-LinearRegression线性回归与逻辑斯蒂回归.xmind
2020-01-13
TensorFlow.xmind
2020-01-13
Day8-KNN.xmind
2020-01-13
Day6-matplotlib.xmind
2020-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人