- 博客(5)
- 收藏
- 关注
RSS订阅转载 基于flink的协同过滤
最近flink较火，尝试使用flink做推荐功能试试，说干就干，话说flink-ml确实比较水，包含的算法较少，且只支持scala版本，以至flink1.9已经将flink-ml移除，看来是准备有大动作，但后期的实时推荐，flink能派上大用场。所幸基于物品的协同过滤算法相对简单，实现起来难度不大。先看目前推荐整体的架构。先说一下用到的相似算法：X=（x1, x2, x3, … xn），Y=（...
2019-08-30 11:46:27
1127
转载 flink 扩容
因需要，再扩3台flink， 遇到各种报错，折腾了3个小时，最终找到了一种简单可行的方式，该方式，需要清空checkpoint， 暂时没有找到更好的方案。rm -rf /tmprm -rf /data/hadoop/* （checkpoint存储的位置）hadoop namenode -format(所有结点)start-dfs.sh start-yarn.shstart-zookeeper-...
2019-08-06 10:07:32
432
转载 flink 优秀文章集合
说明：为了避免博客被封，*代表c,s,d和n,请自行替换. 水印https://blog.****.net/lmalds/article/details/527041702 python 操作https://blog.****.net/qq_41577045/article/details/86694395...
2019-07-09 19:51:15
191
转载 利用flink统计消息回复情况
其中用到了滑动窗口函数大小30秒，间隔15秒，且大于窗口10秒的数据，被丢弃。（实际业务这三个值 应为是 10 分钟，1分钟，5分钟）。代码先记录一下public static void main(String[] arg) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvi...
2019-07-09 14:23:44
264
转载 flink sql-clent MATCH_RECOGNIZE kafka 例子
环境 flink1.7.2增加flink1.7.2 的lib 中的jar， 否则会报类找不到avro-1.8.2.jar flink-connector-kafka-0.10_2.12-1.7.2.jar flink-connector-kafka-base_2.12-1.7.2.jar flink-json-1.7.2.jar kafk...
2019-07-05 14:05:29
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人