数据工程师的 IDEA 自定义快捷模版

最新推荐文章于 2025-06-18 20:39:48 发布

原创最新推荐文章于 2025-06-18 20:39:48 发布 · 250 阅读

9 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许不得转载。

文章标签：

#intellij-idea #java #eureka

Java - 核心掌握专栏收录该内容

43 篇文章

订阅专栏

本文介绍了如何配置Maven项目，包括设置Maven的sourceDirectory，使用maven-assembly-plugin打包依赖，并配置maven-compiler-plugin指定JDK版本。同时展示了如何创建多线程，创建main方法，以及使用Spark Streaming创建JavaStreamingContext。还涵盖了异常捕获和处理，以及编写单元测试的方法。此外，文章提到了SparkContext和SparkSession的创建，以及算法的时间和空间复杂度分析。最后，给出了几个技术博客链接供读者深入学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置maven：jdk

<build>
    <sourceDirectory>src/main/java</sourceDirectory>

    <plugins>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <archive>
                    <manifest>
                        <mainClass></mainClass>
                    </manifest>
                </archive>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>

        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <encoding>UTF-8</encoding>
            </configuration>
        </plugin>

    </plugins>
</build>

创建多线程：fornewthread

for (int i = 0; i < 10$start$; i++) {
    new Thread(() -> {
        $end$
    }, String.valueOf(i)).start();
}

创建main方法：main

public static void main(String[] args){
    $end$
}

创建Spark 上下文：newjavasparkstreaming

//使用SparkStreaming
SparkConf config = new SparkConf().setMaster("local[*]").setAppName($start$);
JavaStreamingContext streamingContext = new JavaStreamingContext(config, Seconds.apply(3)); //3 秒钟，伴生对象，不需要new

$end$

//启动采集器
streamingContext.start();

//Drvier等待采集器停止，
try {
    streamingContext.awaitTermination();
} catch (Exception ex){
    ex.printStackTrace();
}

创建sparkcontext：newsparkcontext

SparkConf conf = new SparkConf();
conf.setAppName($start$).setMaster("local[*]");
JavaSparkContext jsc = new JavaSparkContext(conf);

$end$

jsc.close();

创建sparksession：newsparksession

// 1.初始化spark配置信息并建立与spark的连接
SparkConf config = new SparkConf().setMaster("local[*]").setAppName($start$);
// JavaSparkContext sc = new JavaSparkContext(config);

//SparkSession session = new SparkSession(sc.sc()); // 方法私有，不能正常创建
SparkSession session = SparkSession.builder().config(config).getOrCreate();


$end$

session.stop();

算法时间复杂度说明：tc

// 时间复杂度：O($start$)
// 空间复杂度：O($end$)

创建单元测试方法：testunit

@Test
public void test$start$(){
    $end$
}

异常捕获：trycatch

try {
    $start$
} catch (Exception e) {
    e.printStackTrace();
}

异常最终处理：tryfinally

try {
    $start$  
} finally { 
    $end$  
}

文章最后，给大家推荐一些受欢迎的技术博客链接：

欢迎扫描下方的二维码或搜索公众号“大数据高级架构师”，我们会有更多、且及时的资料推送给您，欢迎多多交流！