ForkJoinPool的了解与使用_forkce
liuian 2025-10-02 03:19 3 浏览
ForkJoinPool是一个强大的Java类,用于处理计算密集型任务。使用ForkJoinPool分解计算密集型任务并并行执行它们以获得更好的Java应用程序性能。
它的工作原理是将任务分解为更小的子任务,然后并行执行它们。该线程池使用分而治之的策略运行,使其能够并发执行任务,从而提高吞吐量并减少处理时间。
它的独特功能之一ForkJoinPool是它用于优化性能的工作窃取算法。当工作线程完成分配给它的任务时,它会从其他线程窃取任务,确保所有线程高效工作,不浪费计算机资源。
ForkJoinPool在Java的并行流和CompletableFutures中广泛使用,允许开发人员轻松并发执行任务。此外,Kotlin和Akka等其他JVM语言使用此框架来构建需要高并发性和弹性的消息驱动应用程序。
ForkJoinPool解析
ForkJoinPool类存储workers,它们是机器上每个CPU核心上运行的进程。这些进程中的每一个都存储在Deque的双端队列中。一旦工作线程用完任务,它就会开始从其它工作线程窃取任务。
首先,会有fork任务的过程,这意味着一个大任务将被分解成可以并行执行的小任务。所有子任务完成后,它们将重新加入。然后ForkJoinPool类提供一个结果。
当一个任务被提交ForkJoinPool时,进程会被分成更小的进程并推送到一个共享队列中。一旦调用fork()方法,就会并行调用任务,直到基本条件为真。一旦处理被分叉,join()方法确保线程相互等待,直到进程完成。
所有任务最初都会被提交到一个主队列,这个主队列将任务推送到工作线程。请注意:任务是使用与堆栈数据结构相同的LIFO(后进先出)策略插入的。
还有一点很重要的是ForkJoinPool使用Deques来存储任务。这提供了会用LIFO(后进先出)或FIFO(先进先出)的能力,这是工作窃取算法所必须的。
工作窃取算法
工作窃取是一种有效的算法,它通过在池中所有可用线程之间平衡工作负载来实现计算机资源的高效使用。
当一个线程变的空闲时,它不会保持不活动状态,而是会尝试从其它扔在忙于分配给它们的工作的线程中窃取任务。此过程最大限度地利用计算资源,并确保没有线程负担过重而其它线程保持空闲状态。
工作窃取算法背后的关键概念是每个线程都有自己的双端队列任务,它以LIFO顺序执行。
当一个线程完成自己的任务并变的空闲时,它会尝试从另一个线程的双端队列任务的末尾“窃取”任务,遵循FIFO策略,与队列数据结构相同。这使得空闲线程可以接手等待时间最长的任务,从而减少等待时间,提高吞吐量。
总体而言,ForkJoinPool的工作窃取算法是一个强大的功能,可以通过确保有效利用所有可用的计算资源来显著提高并行程序的性能。
ForkJoinPool的主要类
- ForkJoinPool,创建线程池使用ForkJoin框架,它的工作方式与其它线程池类似。此类中最重要的方法是commonPool()方法来创建ForkJoin线程池。
- RecursiveAction,该类的主要功能是计算递归。在compute()方法是没有返回值的。
- RecursiveTask,此类的工作方式和RecursiveAction类似,不同之处在于compute()方法是有返回值的。
使用
RecursiveAction
使用RecursiveAction类,需要继承它并覆盖compute()方法,然后,用我们想要实现的逻辑来创建子任务。
package com.joyce.forkjoin;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveAction;
public class RecursiveActionDemo {
public static void main(String[] args) {
ForkJoinPool forkJoinPool = new ForkJoinPool();
int[] array = {2, 4, 6, 8, 10};
DoubleNumber doubleNumberTask = new DoubleNumber(array, 0, array.length);
forkJoinPool.invoke(doubleNumberTask);
System.err.println(DoubleNumber.result);
}
}
class DoubleNumber extends RecursiveAction {
final int PROCESS_THRESHOLD = 2;
int[] array;
int beginIndex, endIndex;
static int result;
DoubleNumber(int[] array, int beginIndex, int endIndex) {
this.array = array;
this.beginIndex = beginIndex;
this.endIndex = endIndex;
}
@Override
protected void compute() {
if (endIndex - beginIndex <= PROCESS_THRESHOLD) {
for (int i = beginIndex; i < endIndex; i++) {
result += array[i] * 2;
}
} else {
int mid = (beginIndex + endIndex) / 2;
DoubleNumber leftArray = new DoubleNumber(array, beginIndex, mid);
DoubleNumber rightArray = new DoubleNumber(array, mid, endIndex);
// 递归调用计算方法
leftArray.fork();
rightArray.fork();
// 加入递归结果
leftArray.join();
rightArray.join();
}
}
}
如代码所示,并行递归计算数组中每个数字的两倍,并计算结果。
记住重要的一点,RecursiveAction没有返回值,通过使用分而治之的策略来分解流程提高性能。正如代码所示,并非计算数组内每个元素的两倍,而是通过将数组分成多个部分来并行执行操作。
同样,需要注意的是,RecursiveAction用于可以有效分解为更小的子问题的任务时,非常有效。所以,RecursiveAction和ForkJoinPool用于计算密集型任务时,可以显著提高性能。否则,由于线程的创建和管理,性能反而会变差。
RecursiveTask
RecursiveTask和RecursiveAction之间的区别在于,方法中是存在返回值的。
package com.joyce.forkjoin;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveTask;
public class RecursiveTaskDemo extends RecursiveTask<Integer> {
private final List<Integer> numbers;
public RecursiveTaskDemo(List<Integer> numbers) {
this.numbers = numbers;
}
@Override
protected Integer compute() {
if (numbers.size() <= 2) {
return numbers.stream().mapToInt(e -> e).sum();
} else {
int mid = numbers.size() / 2;
List<Integer> list1 = numbers.subList(0, mid);
List<Integer> list2 = numbers.subList(mid, numbers.size());
RecursiveTaskDemo task1 = new RecursiveTaskDemo(list1);
RecursiveTaskDemo task2 = new RecursiveTaskDemo(list2);
task1.fork();
return task1.join() + task2.compute();
}
}
public static void main(String[] args) {
ForkJoinPool forkJoinPool = new ForkJoinPool();
List<Integer> numbers = Arrays.asList(1,3,5,7,9);
int output = forkJoinPool.invoke(new RecursiveTaskDemo(numbers));
System.err.println(output);
}
}
此示例代码,递归分解数组,直到达到基本条件。将list1和list2加入到RecursiveTask,然后分叉task1,利用compute()并行执行方法和数组的其它部分。当递归达到条件,join()方法加入结果。
何时使用ForkJoinPool
ForkJoinPool虽然很便利,但是不应在所有的情况下使用。正如前面所讲,最好将它用于高密度计算的并发进程。
- 递归任务:ForkJoinPool非常适合执行递归算法,例如快速排序、归并排序或者二分查找。这些算法可以分解为更小的子问题并行执行,从而显著提高性能。
- 高并发场景:在高并发场景中,比如数据处理、Web服务器等,可以使用跨线程并行执行ForkJoinPool任务,有助于提高性能和吞吐量。
- 并行问题:如果你有一个可以很容易地分成独立子任务的问题,比如说图像处理或者数值模拟等,可以使用ForkJoinPool并行执行子任务。
总结
本文主要介绍了如何使用ForkJoinPool功能在CPU内核中执行繁重的操作。我们来总结一下:
- ForkJoinPool是一个线程池,使用分而治之的策略来递归执行任务。
- ForkJoinPool并行执行任务,从而有效利用计算机资源,提升性能。
- 工作窃取算法通过允许空闲线程从繁忙线程窃取任务来优化资源利用率。
- 任务存储在双端队列中,存储采用LIFO策略,窃取采用FIFO策略。
- 框架中的主要类,ForkJoinPool、RecursiveAction、RecursiveTask:ForkJoinPool通常与并行流和CompletableFuture。RecursiveAction用于计算递归操作且没有返回值。RecursiveTask与RecursiveAction类似,但有返回值。compute()方法在两个类中都被重写以实现自定义逻辑。fork()方法调用compute()方法并将任务分解为更小的子任务。join()方法等待子任务完成并合并结果。
相关推荐
- 教你把多个视频合并成一个视频的方法
-
一.情况介绍当你有一个m3u8文件和一个目录,目录中有连续的视频片段,这些片段可以连成一段完整的视频。m3u8文件打开后像这样:m3u8文件,可以理解为播放列表,里面是播放视频片段的顺序。视频片段像这...
- 零代码编程:用kimichat合并一个文件夹下的多个文件
-
一个文件夹里面有很多个srt字幕文件,如何借助kimichat来自动批量合并呢?在kimichat对话框中输入提示词:你是一个Python编程专家,完成如下的编程任务:这个文件夹:D:\downloa...
- Java APT_java APT 生成代码
-
JavaAPT(AnnotationProcessingTool)是一种在Java编译阶段处理注解的工具。APT会在编译阶段扫描源代码中的注解,并根据这些注解生成代码、资源文件或其他输出,...
- Unit Runtime:一键运行 AI 生成的代码,或许将成为你的复制 + 粘贴神器
-
在我们构建了UnitMesh架构之后,以及对应的demo之后,便着手于实现UnitMesh架构。于是,我们就继续开始UnitRuntime,以用于直接运行AI生成的代码。PS:...
- 挣脱臃肿的枷锁:为什么说Vert.x是Java开发者手中的一柄利剑?
-
如果你是一名Java开发者,那么你的职业生涯几乎无法避开Spring。它如同一位德高望重的老国王,统治着企业级应用开发的大片疆土。SpringBoot的约定大于配置、SpringCloud的微服务...
- 五年后,谷歌还在全力以赴发展 Kotlin
-
作者|FredericLardinois译者|Sambodhi策划|Tina自2017年谷歌I/O全球开发者大会上,谷歌首次宣布将Kotlin(JetBrains开发的Ja...
- kotlin和java开发哪个好,优缺点对比
-
Kotlin和Java都是常见的编程语言,它们有各自的优缺点。Kotlin的优点:简洁:Kotlin程序相对于Java程序更简洁,可以减少代码量。安全:Kotlin在类型系统和空值安全...
- 移动端架构模式全景解析:从MVC到MVVM,如何选择最佳设计方案?
-
掌握不同架构模式的精髓,是构建可维护、可测试且高效移动应用的关键。在移动应用开发中,选择合适的软件架构模式对项目的可维护性、可测试性和团队协作效率至关重要。随着应用复杂度的增加,一个良好的架构能够帮助...
- 颜值非常高的XShell替代工具Termora,不一样的使用体验!
-
Termora是一款面向开发者和运维人员的跨平台SSH终端与文件管理工具,支持Windows、macOS及Linux系统,通过一体化界面简化远程服务器管理流程。其核心定位是解决多平台环境下远程连接、文...
- 预处理的底层原理和预处理编译运行异常的解决方案
-
若文章对您有帮助,欢迎关注程序员小迷。助您在编程路上越走越好![Mac-10.7.1LionIntel-based]Q:预处理到底干了什么事情?A:预处理,顾名思义,预先做的处理。源代码中...
- 为“架构”再建个模:如何用代码描述软件架构?
-
在架构治理平台ArchGuard中,为了实现对架构的治理,我们需要代码+模型描述所要处理的内容和数据。所以,在ArchGuard中,我们有了代码的模型、依赖的模型、变更的模型等,剩下的两个...
- 深度解析:Google Gemma 3n —— 移动优先的轻量多模态大模型
-
2025年6月,Google正式发布了Gemma3n,这是一款能够在2GB内存环境下运行的轻量级多模态大模型。它延续了Gemma家族的开源基因,同时在架构设计上大幅优化,目标是让...
- 比分网开发技术栈与功能详解_比分网有哪些
-
一、核心功能模块一个基本的比分网通常包含以下模块:首页/总览实时比分看板:滚动展示所有正在进行的比赛,包含比分、比赛时间、红黄牌等关键信息。热门赛事/焦点战:突出显示重要的、关注度高的比赛。赛事导航...
- 设计模式之-生成器_一键生成设计
-
一、【概念定义】——“分步构建复杂对象,隐藏创建细节”生成器模式(BuilderPattern):一种“分步构建型”创建型设计模式,它将一个复杂对象的构建与其表示分离,使得同样的构建过程可以创建...
- 构建第一个 Kotlin Android 应用_kotlin简介
-
第一步:安装AndroidStudio(推荐IDE)AndroidStudio是官方推荐的Android开发集成开发环境(IDE),内置对Kotlin的完整支持。1.下载And...
- 一周热门
-
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
飞牛OS入门安装遇到问题,如何解决?
-
系统C盘清理:微信PC端文件清理,扩大C盘可用空间步骤
-
10款高性能NAS丨双十一必看,轻松搞定虚拟机、Docker、软路由
-
python使用fitz模块提取pdf中的图片
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)