whoami_zy的博客

前言：会一些linux的基础，以及java基础。以及是先搭建好java环境，搭建环境是单机版。假定ip:192.168.248.133 步入正轨，我们直接来说说怎么搭建一个基于hadoop的spark环境。目的能够让spark将job提交到hadoop上处理。利用hadoop的分布式框架。 第一步：搭建hadoop的单机环境 1.在/etc/hostname 下修改对应的名字。 比如

使用win提交Spark Streaming程序的时候，出现了一下小小的问题，出现如下错误： INFO JobScheduler: Added jobs for time 1482304253000 ms 一直循环打印这句话，始终没有出现Streaming时间片 batch的信息。 然后又偶尔出现一句警告：如下 WARN TaskSchedulerImpl: Initial job has