百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

windows下安装大模型加速包flash-attn

liuian 2025-01-06 14:01 38 浏览

Flash-attn（Flash Attention），作为一种用于神经网络模型的注意力机制，在处理序列数据时有显著的优势，可以提高计算效率并减少内存使用，特别是Transformer模型。它通过优化数据布局和计算流程，降低了注意力计算的内存访问开销，在本地部署大模型可以减轻GPU的开销，加快推理速度。项目地址 ：https://github.com/Dao-AILab/flash-attention

然而，官方发布的版本只支持linux，没有windows包，如果要在windows下安装，要么使用docker,要么自己编译，而自己编译耗时很长，而且也会遇到各种问题。这里我使用的是Brian Dashore编译好的whl. 下载地址：https://github.com/bdashore3/flash-attention/releases

要注意选择对应的版本，首先查看自己的cuda版本，在CMD 里输入：nvcc --version

我的本地环境如下：

系统 windows10 ,python版本11,cuda版本12.1

下载对应的版本为：flash_attn-2.5.9.post1+cu122torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl

下载到本地后执行，pip安装：

pip install d:\downloads\flash_attn-2.5.9.post1+cu122torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl

注意：安装完成后，如果你以前已经安装过PyTorch，需要重新安装一遍，否则运行会报错。

打开网址https://pytorch.org/get-started/locally/ 选择对应的版本

根据pytorch.org给出的提示命令，在本地执行安装：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

安装完成，写一个简单的脚本检验一下。

test.py

import flash_attn
print(flash_attn.__version__)

运行结果如果正确输出版本号，则表示安装成功。

相关推荐

vue怎么和后端php配合

Vue和后端PHP可以通过HTTP请求进行配合。首先，前端Vue可以使用axios库或者Vue自带的$http对象来发送HTTP请求到后端PHP接口。通过axios库发送POST、GET、PUT等请求...

Ansible最佳实践之 AWX 使用 Ansible 与 API 通信

#头条创作挑战赛#API简单介绍红帽AWX提供了一个类似Swagger的RESTful风格的Web服务框架，可以和awx直接交互。使管理员和开发人员能够在webUI之外控制其...

PHP8.3 错误处理革命:Exception 与 Error 全面升级

亲爱的小伙伴，好久没有发布信息了，最近学习了一下PHP8.3的升级，都有哪些优化和提升，把学到的分享出来给需要的小伙伴充下电。技术段位：高可用性必修目标收益：精准错误定位+异常链路追踪适配场景...

使用 mix/vega + mix/db 进行现代化的原生 PHP 开发

最近几年在javascript、golang生态中游走，发现很多npm、gomod的优点。最近回过头开发MixPHPV3，发现composer其实一直都是一个非常优秀的工具，但是...

15 个非常好用的 JSON 工具

JSON（JavaScriptObjectNotation）是一种流行的数据交换格式，已经成为许多应用程序中常用的标准。无论您是开发Web应用程序，构建API，还是处理数据，使用JSON工具可以大...

php8环境原生实现rpc

大数据分布式架构盛行时代的程序员面试，常常遇到分布式架构，RPC,本文的主角是RPC,英文名为RemoteProcedureCall，翻译过来为“远程过程调用”。主流的平台中都支持各种远程调用技术...

「PHP编程」如何搭建私有Composer包仓库?

在前一篇文章「PHP编程」如何制作自己的Composer包？中，我们已经介绍了如何制作自己的composer包，以及如何使用composer安装自己制作的composer包。不过，这其中有...

WAF-Bypass之SQL注入绕过思路总结

过WAF（针对云WAF）寻找真实IP（源站）绕过如果流量都没有经过WAF，WAF当然无法拦截攻击请求。当前多数云WAF架构，例如百度云加速、阿里云盾等，通过更改DNS解析，把流量引入WAF集群，流量经...

【推荐】一款 IDEA 必备的 JSON 处理工具插件 — Json Assistant

JsonAssistant是基于IntelliJIDEs的JSON工具插件，让JSON处理变得更轻松！主要功能完全支持JSON5JSON窗口（多选项卡）选项卡更名移动至主编辑器用...

技术分享 | 利用PHAR协议进行PHP反序列化攻击

PHAR(“PhpARchive”)是PHP中的打包文件，相当于Java中的JAR文件，在php5.3或者更高的版本中默认开启。PHAR文件缺省状态是只读的，当我们要创建一个Phar文件需要修改...

php进阶到架构之swoole系列教程(一)windows安装swoole

目录概述安装Cygwin安装swoolephp7进阶到架构师相关阅读概述这是关于php进阶到架构之swoole系列学习课程：第一节：windows安装swoole学习目标：在Windows环境将搭建s...

go 和 php 性能如何进行对比?

PHP性能很差吗？每次讲到PHP和其他语言间的性能对比，似乎都会发现这样一个声音：单纯的性能对比没有意义，主要瓶颈首先是数据库，其次是业务代码等等。好像PHP的性能真的不能单独拿出来讨论似的。但其实一...

Linux(CentOS )手动搭建LNMP(Linux+Nginx+Mysql+PHP)坏境

CentOS搭建LNMP（Linux+Nginx+Mysql+PHP）坏境由于网上各种版本新旧不一，而且Linux版本也不尽相同，所以自己写一遍根据官网的提示自己手动搭建过程。看官方文档很重要，永远...

json和jsonp区别

JSON和JSONP虽然只有一个字母的差别,但其实他们根本不是一回事儿：JSON是一种数据交换格式,而JSONP是一种非官方跨域数据交互协议。一个是描述信息的格式,一个是信息传递的约定方法。一、...

web后端正确的返回JSON

在web开发中，前端和后端发生数据交换传输现在最常见的形式就是异步ajax交互，一般返回给js都是json，如何才是正确的返回呢？前端代码想要获取JSON数据代码如下：$.get('/user-inf...

一周热门
最近发表
标签列表