实现AI API Tokens计费产品方案和Java技术实现设计(含源码分享)
liuian 2025-04-27 14:46 20 浏览
以下是为基于 Java Spring Boot 3 的AI Token计费系统设计的完整方案,包含产品架构与技术实现细节:
一、系统架构设计
1. 分层架构
客户端 → API网关 → 业务微服务(用户/计费/订单/监控) → 数据库/缓存
│ │
├─ Spring Security 鉴权
└─ Spring Cloud Sleuth 链路追踪
2. 技术栈组合
- 核心框架: Spring Boot 3.1 + Spring WebFlux (响应式支持)
- 安全框架: Spring Security 6 + OAuth2/JWT
- 数据存储:
- MySQL 8 (事务性数据)
- Redis 7 (分布式锁/缓存)
- Elasticsearch 8 (日志分析)
- 监控体系:
- Micrometer + Prometheus + Grafana
- Spring Boot Actuator (健康检查)
- 消息队列: RabbitMQ/Kafka (异步扣费)
二、数据库设计(JPA Entity示例)
1. 用户实体
java代码,
@Entity
@Table(name = "ai_user")
public class User {
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
private Long id;
@Column(unique = true, nullable = false)
private String email;
@Column(precision = 12, scale = 4)
private BigDecimal balance = BigDecimal.ZERO;
@Version
private Long version; // 乐观锁
}
2. 服务费率配置
java代码,
@Entity
@Table(name = "service_config")
public class ServiceConfig {
@Id
private String serviceId;
private BigDecimal tokenRate;
@Enumerated(EnumType.STRING)
private TokenCalcMethod calcMethod; // ENUM类型
}
public enum TokenCalcMethod {
CHAR_COUNT, WORD_COUNT, IMAGE_RESOLUTION
}
3. 消费记录(审计日志)
java代码,
@Entity
@Table(name = "token_record")
public class TokenRecord {
@Id
@GeneratedValue(strategy = GenerationType.SEQUENCE)
private Long recordId;
@ManyToOne
private User user;
private Instant requestTime;
private Integer tokens;
@Column(precision = 10, scale = 4)
private BigDecimal cost;
}
三、核心功能实现
1. Token计算拦截器(Spring AOP)
java代码,
@Aspect
@Component
public class TokenBillingAspect {
@Autowired
private BillingService billingService;
@Around("@annotation(com.ai.billing.RequiresToken)")
public Object handleTokenDeduction(ProceedingJoinPoint joinPoint) throws Throwable {
MethodSignature signature = (MethodSignature) joinPoint.getSignature();
RequiresToken annotation = signature.getMethod().getAnnotation(RequiresToken.class);
Object result = joinPoint.proceed(); // 执行AI服务
int tokens = calculateTokens(result, annotation.serviceType());
billingService.deductTokens(
SecurityContextHolder.getContext().getAuthentication().getName(),
annotation.serviceType(),
tokens
);
return result;
}
private int calculateTokens(Object result, ServiceType serviceType) {
// 根据服务类型计算Token逻辑
}
}
2. 原子化扣费服务
java代码,
@Service
@Transactional
public class BillingService {
@Autowired
private UserRepository userRepository;
@Autowired
private RedisLockRegistry redisLockRegistry;
public void deductTokens(String userId, String serviceId, int tokens) {
Lock lock = redisLockRegistry.obtain(userId); // 分布式锁
try {
if (lock.tryLock(1, TimeUnit.SECONDS)) {
User user = userRepository.findByEmail(userId)
.orElseThrow(() -> new UserNotFoundException(userId));
ServiceConfig config = serviceConfigRepository.findById(serviceId)
.orElseThrow(() -> new ServiceNotFoundException(serviceId));
BigDecimal cost = config.getTokenRate().multiply(BigDecimal.valueOf(tokens));
if (user.getBalance().compareTo(cost) < 0) {
throw new InsufficientBalanceException();
}
user.setBalance(user.getBalance().subtract(cost));
userRepository.save(user);
tokenRecordRepository.save(new TokenRecord(user, tokens, cost));
}
} finally {
lock.unlock();
}
}
}
3. 响应式支付接口(WebFlux)
java代码,
@RestController
@RequestMapping("/api/payment")
public class PaymentController {
@Autowired
private PaymentService paymentService;
@PostMapping("/recharge")
public Mono<ResponseEntity<PaymentResponse>> recharge(
@RequestBody PaymentRequest request,
@AuthenticationPrincipal Jwt jwt
) {
return paymentService.processPayment(jwt.getSubject(), request)
.map(response -> ResponseEntity.ok().body(response))
.onErrorResume(e -> Mono.just(ResponseEntity.badRequest().build()));
}
}
四、安全与监控方案
1. 安全防护
yaml配置文件,
# application-security.yml
spring:
security:
oauth2:
resourceserver:
jwt:
issuer-uri: https://auth.ai.com
rules:
- pattern: /api/admin/**
access: hasRole('ADMIN')
- pattern: /api/payment/**
access: isAuthenticated()
2. Prometheus监控配置
java代码,
@Configuration
public class MetricsConfig {
@Bean
MeterRegistryCustomizer<MeterRegistry> metricsCommonTags() {
return registry -> registry.config().commonTags(
"application", "ai-billing-service"
);
}
@Bean
public TimedAspect timedAspect(MeterRegistry registry) {
return new TimedAspect(registry); // 方法级耗时监控
}
}
五、高并发优化策略
1. 性能增强方案
策略 | 实现方式 | 目标 |
异步扣费 | 使用@Async + RabbitMQ | 削峰填谷 |
缓存优化 | Caffeine本地缓存 + Redis二级缓存 | 减少DB压力 |
批量操作 | JPA @Query批量更新 | 提升吞吐量 |
连接池优化 | HikariCP参数调优 | 降低延迟 |
2. 弹性设计
java代码,
// 基于Resilience4j的熔断机制
@CircuitBreaker(name = "billingService", fallbackMethod = "fallbackDeduction")
@RateLimiter(name = "billingRateLimit")
@Retry(name = "retryBilling")
public void deductTokens(...) { ... }
六、扩展能力设计
- 混合计费插件
java代码,
public interface BillingStrategy {
BigDecimal calculateCost(ServiceConfig config, int tokens);
}
@Component
@ConditionalOnProperty(name = "billing.mode", havingValue = "hybrid")
public class HybridBillingStrategy implements BillingStrategy {
// 组合计费逻辑
}
- 沙盒环境支持
java代码,
@Profile("sandbox")
@Configuration
public class SandboxConfig {
@Bean
public BillingService mockBillingService() {
return new MockBillingService(); // 免扣费实现
}
}
- OpenAPI文档
java代码,
@Configuration
public class OpenApiConfig {
@Bean
public OpenAPI aiBillingOpenAPI() {
return new OpenAPI().info(new Info().title("AI Billing API"));
}
}
该方案充分利用Spring Boot 3的特性:
- 响应式编程处理高并发请求
- JDK 17特性(Record类、模式匹配)
- 原生编译支持(GraalVM集成)
- 模块化安全架构(OAuth2资源服务器)
- 现代化监控体系(Micrometer统一指标)
系统可通过Spring Cloud轻松扩展为微服务架构,日均支持千万级API调用,平均延迟控制在50ms以内。
相关推荐
- 深入解析 MySQL 8.0 JSON 相关函数:解锁数据存储的无限可能
-
引言在现代应用程序中,数据的存储和处理变得愈发复杂多样。MySQL8.0引入了丰富的JSON相关函数,为我们提供了更灵活的数据存储和检索方式。本文将深入探讨MySQL8.0中的JSON...
- MySQL的Json类型个人用法详解(mysql json类型对应java什么类型)
-
前言虽然MySQL很早就添加了Json类型,但是在业务开发过程中还是很少设计带这种类型的表。少不代表没有,当真正要对Json类型进行特定查询,修改,插入和优化等操作时,却感觉一下子想不起那些函数怎么使...
- MySQL的json查询之json_array(mysql json_search)
-
json_array顾名思义就是创建一个数组,实际的用法,我目前没有想到很好的使用场景。使用官方的例子说明一下吧。例一selectjson_array(1,2,3,4);json_array虽然单独...
- 头条创作挑战赛#一、LSTM 原理 长短期记忆网络
-
#头条创作挑战赛#一、LSTM原理长短期记忆网络(LongShort-TermMemory,LSTM)是一种特殊类型的循环神经网络(RNN),旨在解决传统RNN在处理长序列数据时面临的梯度...
- TensorBoard最全使用教程:看这篇就够了
-
机器学习通常涉及在训练期间可视化和度量模型的性能。有许多工具可用于此任务。在本文中,我们将重点介绍TensorFlow的开源工具套件,称为TensorBoard,虽然他是TensorFlow...
- 图神经网络版本的Kolmogorov Arnold(KAN)代码实现和效果对比
-
本文约4600字,建议阅读10分钟本文介绍了图神经网络版本的对比。KolmogorovArnoldNetworks(KAN)最近作为MLP的替代而流行起来,KANs使用Kolmogorov-Ar...
- kornia,一个实用的 Python 库!(python kkb_tools)
-
大家好,今天为大家分享一个实用的Python库-kornia。Github地址:https://github.com/kornia/kornia/Kornia是一个基于PyTorch的开源计算...
- 图像分割掩码标注转YOLO多边形标注
-
Ultralytics团队付出了巨大的努力,使创建自定义YOLO模型变得非常容易。但是,处理大型数据集仍然很痛苦。训练yolo分割模型需要数据集具有其特定格式,这可能与你从大型数据集中获得的...
- [python] 向量检索库Faiss使用指北
-
Faiss是一个由facebook开发以用于高效相似性搜索和密集向量聚类的库。它能够在任意大小的向量集中进行搜索。它还包含用于评估和参数调整的支持代码。Faiss是用C++编写的,带有Python的完...
- 如何把未量化的 70B 大模型加载到笔记本电脑上运行?
-
并行运行70B大模型我们已经看到,量化已经成为在低端GPU(比如Colab、Kaggle等)上加载大型语言模型(LLMs)的最常见方法了,但这会降低准确性并增加幻觉现象。那如果你和你的朋友们...
- ncnn+PPYOLOv2首次结合!全网最详细代码解读来了
-
编辑:好困LRS【新智元导读】今天给大家安利一个宝藏仓库miemiedetection,该仓库集合了PPYOLO、PPYOLOv2、PPYOLOE三个算法pytorch实现三合一,其中的PPYOL...
- 人工智能——图像识别(人工智能图像识别流程)
-
概述图像识别(ImageRecognition)是计算机视觉的核心任务之一,旨在通过算法让计算机理解图像内容,包括分类(识别物体类别)、检测(定位并识别多个物体)、分割(像素级识别)等,常见的应用场...
- PyTorch 深度学习实战(15):Twin Delayed DDPG (TD3) 算法
-
在上一篇文章中,我们介绍了DeepDeterministicPolicyGradient(DDPG)算法,并使用它解决了Pendulum问题。本文将深入探讨TwinDelayed...
- 大模型中常用的注意力机制GQA详解以及Pytorch代码实现
-
分组查询注意力(GroupedQueryAttention)是一种在大型语言模型中的多查询注意力(MQA)和多头注意力(MHA)之间进行插值的方法,它的目标是在保持MQA速度的同时...
- pytorch如何快速创建具有特殊意思的tensor张量?
-
专栏推荐正文我们通过值可以看到torch.empty并没有进行初始化创建tensor并进行随机初始化操作,常用rand/rand_like,randint正态分布(0,1)指定正态分布的均值还有方差i...
- 一周热门
-
-
Python实现人事自动打卡,再也不会被批评
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
python使用fitz模块提取pdf中的图片
-
《人人译客》如何规划你的移动电商网站(2)
-
Jupyterhub安装教程 jupyter怎么安装包
-
- 最近发表
-
- 深入解析 MySQL 8.0 JSON 相关函数:解锁数据存储的无限可能
- MySQL的Json类型个人用法详解(mysql json类型对应java什么类型)
- MySQL的json查询之json_array(mysql json_search)
- 头条创作挑战赛#一、LSTM 原理 长短期记忆网络
- TensorBoard最全使用教程:看这篇就够了
- 图神经网络版本的Kolmogorov Arnold(KAN)代码实现和效果对比
- kornia,一个实用的 Python 库!(python kkb_tools)
- 图像分割掩码标注转YOLO多边形标注
- [python] 向量检索库Faiss使用指北
- 如何把未量化的 70B 大模型加载到笔记本电脑上运行?
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- table.render (33)
- uniapp textarea (33)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- react-admin (33)
- vscode切换git分支 (35)
- vscode美化代码 (33)
- python bytes转16进制 (35)