百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

实现AI API Tokens计费产品方案和Java技术实现设计(含源码分享)

liuian 2025-04-27 14:46 99 浏览

以下是为基于 Java Spring Boot 3 的AI Token计费系统设计的完整方案,包含产品架构与技术实现细节:


一、系统架构设计

1. 分层架构

客户端 → API网关 → 业务微服务(用户/计费/订单/监控) → 数据库/缓存
           │          │
           ├─ Spring Security 鉴权
           └─ Spring Cloud Sleuth 链路追踪

2. 技术栈组合

  • 核心框架: Spring Boot 3.1 + Spring WebFlux (响应式支持)
  • 安全框架: Spring Security 6 + OAuth2/JWT
  • 数据存储:
    • MySQL 8 (事务性数据)
    • Redis 7 (分布式锁/缓存)
    • Elasticsearch 8 (日志分析)
  • 监控体系:
    • Micrometer + Prometheus + Grafana
    • Spring Boot Actuator (健康检查)
  • 消息队列: RabbitMQ/Kafka (异步扣费)

二、数据库设计(JPA Entity示例)

1. 用户实体

java代码,

@Entity
@Table(name = "ai_user")
public class User {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    
    @Column(unique = true, nullable = false)
    private String email;
    
    @Column(precision = 12, scale = 4)
    private BigDecimal balance = BigDecimal.ZERO;
    
    @Version
    private Long version; // 乐观锁
}

2. 服务费率配置

java代码,

@Entity
@Table(name = "service_config")
public class ServiceConfig {
    @Id
    private String serviceId;
    
    private BigDecimal tokenRate;
    
    @Enumerated(EnumType.STRING)
    private TokenCalcMethod calcMethod; // ENUM类型
}

public enum TokenCalcMethod {
    CHAR_COUNT, WORD_COUNT, IMAGE_RESOLUTION
}

3. 消费记录(审计日志)

java代码,

@Entity
@Table(name = "token_record")
public class TokenRecord {
    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE)
    private Long recordId;
    
    @ManyToOne
    private User user;
    
    private Instant requestTime;
    
    private Integer tokens;
    
    @Column(precision = 10, scale = 4)
    private BigDecimal cost;
}

三、核心功能实现

1. Token计算拦截器(Spring AOP)

java代码,

@Aspect
@Component
public class TokenBillingAspect {

    @Autowired
    private BillingService billingService;

    @Around("@annotation(com.ai.billing.RequiresToken)")
    public Object handleTokenDeduction(ProceedingJoinPoint joinPoint) throws Throwable {
        MethodSignature signature = (MethodSignature) joinPoint.getSignature();
        RequiresToken annotation = signature.getMethod().getAnnotation(RequiresToken.class);
        
        Object result = joinPoint.proceed(); // 执行AI服务
        
        int tokens = calculateTokens(result, annotation.serviceType());
        billingService.deductTokens(
            SecurityContextHolder.getContext().getAuthentication().getName(),
            annotation.serviceType(),
            tokens
        );
        
        return result;
    }

    private int calculateTokens(Object result, ServiceType serviceType) {
        // 根据服务类型计算Token逻辑
    }
}

2. 原子化扣费服务

java代码,

@Service
@Transactional
public class BillingService {

    @Autowired
    private UserRepository userRepository;
    
    @Autowired
    private RedisLockRegistry redisLockRegistry;

    public void deductTokens(String userId, String serviceId, int tokens) {
        Lock lock = redisLockRegistry.obtain(userId); // 分布式锁
        try {
            if (lock.tryLock(1, TimeUnit.SECONDS)) {
                User user = userRepository.findByEmail(userId)
                    .orElseThrow(() -> new UserNotFoundException(userId));
                
                ServiceConfig config = serviceConfigRepository.findById(serviceId)
                    .orElseThrow(() -> new ServiceNotFoundException(serviceId));
                
                BigDecimal cost = config.getTokenRate().multiply(BigDecimal.valueOf(tokens));
                
                if (user.getBalance().compareTo(cost) < 0) {
                    throw new InsufficientBalanceException();
                }
                
                user.setBalance(user.getBalance().subtract(cost));
                userRepository.save(user);
                
                tokenRecordRepository.save(new TokenRecord(user, tokens, cost));
            }
        } finally {
            lock.unlock();
        }
    }
}

3. 响应式支付接口(WebFlux)

java代码,

@RestController
@RequestMapping("/api/payment")
public class PaymentController {

    @Autowired
    private PaymentService paymentService;

    @PostMapping("/recharge")
    public Mono<ResponseEntity<PaymentResponse>> recharge(
        @RequestBody PaymentRequest request,
        @AuthenticationPrincipal Jwt jwt
    ) {
        return paymentService.processPayment(jwt.getSubject(), request)
            .map(response -> ResponseEntity.ok().body(response))
            .onErrorResume(e -> Mono.just(ResponseEntity.badRequest().build()));
    }
}

四、安全与监控方案

1. 安全防护

yaml配置文件,

# application-security.yml
spring:
  security:
    oauth2:
      resourceserver:
        jwt:
          issuer-uri: https://auth.ai.com
    rules:
      - pattern: /api/admin/**
        access: hasRole('ADMIN')
      - pattern: /api/payment/**
        access: isAuthenticated()

2. Prometheus监控配置

java代码,

@Configuration
public class MetricsConfig {

    @Bean
    MeterRegistryCustomizer<MeterRegistry> metricsCommonTags() {
        return registry -> registry.config().commonTags(
            "application", "ai-billing-service"
        );
    }
    
    @Bean
    public TimedAspect timedAspect(MeterRegistry registry) {
        return new TimedAspect(registry); // 方法级耗时监控
    }
}

五、高并发优化策略

1. 性能增强方案

策略

实现方式

目标

异步扣费

使用@Async + RabbitMQ

削峰填谷

缓存优化

Caffeine本地缓存 + Redis二级缓存

减少DB压力

批量操作

JPA @Query批量更新

提升吞吐量

连接池优化

HikariCP参数调优

降低延迟

2. 弹性设计

java代码,

// 基于Resilience4j的熔断机制
@CircuitBreaker(name = "billingService", fallbackMethod = "fallbackDeduction")
@RateLimiter(name = "billingRateLimit")
@Retry(name = "retryBilling")
public void deductTokens(...) { ... }

六、扩展能力设计

  1. 混合计费插件

java代码,

public interface BillingStrategy {
    BigDecimal calculateCost(ServiceConfig config, int tokens);
}

@Component
@ConditionalOnProperty(name = "billing.mode", havingValue = "hybrid")
public class HybridBillingStrategy implements BillingStrategy {
    // 组合计费逻辑
}
  1. 沙盒环境支持

java代码,

@Profile("sandbox")
@Configuration
public class SandboxConfig {
    @Bean
    public BillingService mockBillingService() {
        return new MockBillingService(); // 免扣费实现
    }
}
  1. OpenAPI文档

java代码,

@Configuration
public class OpenApiConfig {
    @Bean
    public OpenAPI aiBillingOpenAPI() {
        return new OpenAPI().info(new Info().title("AI Billing API"));
    }
}

该方案充分利用Spring Boot 3的特性:

  1. 响应式编程处理高并发请求
  2. JDK 17特性(Record类、模式匹配)
  3. 原生编译支持(GraalVM集成)
  4. 模块化安全架构(OAuth2资源服务器)
  5. 现代化监控体系(Micrometer统一指标)

系统可通过Spring Cloud轻松扩展为微服务架构,日均支持千万级API调用,平均延迟控制在50ms以内。

相关推荐

eino v0.4.5版本深度解析:接口类型处理优化与错误机制全面升级

近日,eino框架发布了v0.4.5版本,该版本在错误处理、类型安全、流处理机制以及代理配置注释等方面进行了多项优化与修复。本次更新共包含6个提交,涉及10个文件的修改,由2位贡献者共同完成。本文将详...

SpringBoot异常处理_springboot异常注解

在SpringBoot中,异常处理是构建健壮、可维护Web应用的关键部分。良好的异常处理机制可以统一返回格式、提升用户体验、便于调试和监控。以下是SpringBoot中处理异常的完整指...

Jenkins运维之路(Jenkins流水线改造Day02-1-容器项目)

这回对线上容器服务器的流水线进行了一定的改造来满足目前线上的需求,还是会将所有的自动化脚本都放置到代码库中统一管理,我感觉一章不一定写的完,所以先给标题加了个-1,话不多说开干1.本次流水线的流程设计...

告别宕机!零基础搭建服务器监控告警系统!小白也能学会!

前言本文将带你从零开始,一步步搭建一个完整的服务器指标监控与邮件告警系统,使用的技术栈均为业界主流、稳定可靠的开源工具:Prometheus:云原生时代的监控王者,擅长指标采集与告警规则定义Node_...

httprunner实战接口测试笔记,拿走不谢

每天进步一点点,关注我们哦,每天分享测试技术文章本文章出自【码同学软件测试】码同学公众号:自动化软件测试码同学抖音号:小码哥聊软件测试01开始安装跟创建项目pipinstallhttprunne...

基于JMeter的性能压测平台实现_jmeter压测方案

这篇文章已经是两年前写的,短短两年时间,JMeter开源应用技术的发展已经是翻天覆地,最初由github开源项目zyanycall/stressTestPlatform形成的这款测试工具也开始慢...

12K+ Star!新一代的开源持续测试工具!

大家好,我是Java陈序员。在企业软件研发的持续交付流程中,测试环节往往是影响效率的关键瓶颈,用例管理混乱、接口调试复杂、团队协作不畅、与DevOps流程脱节等问题都能影响软件交付。今天,给大家...

Spring Boot3 中分库分表之后如何合并查询

在当今互联网应用飞速发展的时代,数据量呈爆发式增长。对于互联网软件开发人员而言,如何高效管理和查询海量数据成为了一项关键挑战。分库分表技术应运而生,它能有效缓解单库单表数据量过大带来的性能瓶颈。而在...

离线在docker镜像方式部署ragflow0.17.2

经常项目上会出现不能连外网的情况,要怎么使用ragflow镜像部署呢,这里提供详细的步骤。1、下载基础镜像根据docker-compose-base.yml及docker-compose.yml中的i...

看,教你手写一个最简单的SpringBoot Starter

何为Starter?想必大家都使用过SpringBoot,在SpringBoot项目中,使用最多的无非就是各种各样的Starter了。那何为Starter呢?你可以理解为一个可拔插式...

《群星stellaris》军事基地跳出怎么办?解决方法一览

《群星stellaris》军事基地跳出情况有些小伙伴出现过这种情况,究竟该怎么解决呢?玩家“gmjdadk”分享的自己的解决方法,看看能不能解决。我用英文原版、德语、法语和俄语四个版本对比了一下,结果...

数据开发工具dbt手拉手教程-03.定义数据源模型

本章节介绍在dbt项目中,如何定义数据源模型。定义并引入数据源通过Extract和Load方式加载到仓库中的数据,可以使用dbt中的sources组件进行定义和描述。通过在dbt中将这些数据集(表)声...

docker compose 常用命令手册_docker-compose init

以下是DockerCompose常用命令手册,按生命周期管理、服务运维、构建配置、扩缩容、调试工具分类,附带参数解析、示例和关键说明,覆盖多容器编排核心场景:一、生命周期管理(核心命令...

RagFlow与DeepSeek R1本地知识库搭建详细步骤及代码实现

一、环境准备硬件要求独立显卡(建议NVIDIAGPU,8GB显存以上)内存16GB以上,推荐32GB(处理大规模文档时更高效)SSD硬盘(加速文档解析与检索)软件安装bash#必装组件Docker...

Docker Compose 配置更新指南_docker-compose配置

高效管理容器配置变更的最佳实践方法重启范围保留数据卷适用场景docker-composeup-d变更的服务常规配置更新--force-recreate指定/所有服务强制重建down→up流程...