jason的笔记

1.首先检查是否安装了java和scala 可以通过java -version检查java是否成功安装 可见通过检测scala 检查scala是否成功安装 下载spark  wget http://mirror.bit.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 解压tar -zxvf s

driver端调用launchTasks来向worker节点中的executor发送启动任务命令 spark-master\core\src\main\scala\org\apache\spark\scheduler\cluster\CoarseGrainedSchedulerBackend.scala private def launchTasks(tasks: Seq[Seq[Tas...

taskscheduler的submitTasks是通过TaskSchedulerImpl的submitTasks实现，stage由tasks组成，task被封装成taskset ， override def submitTasks(taskSet: TaskSet) { val tasks = taskSet.tasks logInfo("Adding task set " ...

当用户生成sparkcontext是，在读入文件， 可以看出这里直接调用rdd的saveAsTextFile spark-master\spark-master\core\src\main\scala\org\apache\spark\api\java\JavaRDDLike.scala def saveAsTextFile(path: String): Unit = { #触发rdd的a...

spark 应用提交流程 \spark-master\spark-master\core\src\main\scala\org\apache\spark\deploy\SparkSubmit.scala override def main(args: Array[String]): Unit = { #新建一个SparkSubmit 最后调用其doSubmit val submit = ...

最终调用makeOffers来让所有的task执行在work中的executors spark-master\spark-master\core\src\main\scala\org\apache\spark\scheduler\cluster\CoarseGrainedSchedulerBackend.scala private def makeOffers() { // ...

sparkcontext的构造函数如下：可见sparkcontext使用sparkconf来读取设置的参数 class SparkContext(config: SparkConf) extends Logging { // The call site where this SparkContext was constructed. private val creationSite: ...

在上一篇博文中有说到最后调用handlejobsubmitted中的submitStage来提交finalstage spark-master\spark-master\core\src\main\scala\org\apache\spark\scheduler\DAGScheduler.scala private def submitStage(stage: Stage) { va...

private[scheduler] def handleJobSubmitted(jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], callSite: CallSite, listener: J...

在bin/spark-shell 中会调用spark-submit function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/40/). # If you're usin...

spark的RDD 分为两种操作，分别是actions和transformations 首先生成一个RDD 执行action 执行transformations

HIbench 是一个大数据的benchmark测试的套件，用来测试框架的速度，吞吐率，资源利用率等。 其网站是https://github.com/intel-hadoop/HiBench 其支持的框架如下： 我这边以spark测试为例 下载Hibench  https://github.com/intel-hadoop/HiBench Hibench 遇到下面问题

下载hadoopwget -c http://apache.fayea.com/hadoop/common/stable/hadoop-2.9.0.tar.gz解压tar -zxvf hadoop-2.9.0.tar.gz运行hadoop version配置hdfs启动hsfs只要下面一个命令就可以了启动hdfs的命令如下： ./sbin/start-dfs.sh启动成后就可以通过hdfs dfs...

当task在executor上运行时最终会在taskrunner中调用execBackend.statusUpdate来向driver端发送状态更新 \spark-master\core\src\main\scala\org\apache\spark\executor\CoarseGrainedExecutorBackend.scala 直接调用driverRef.Send函数来发送消息 o...