登录社区云，与社区用户共同成长
邀请您加入社区
在人工智能与移动计算深度融合的今天，将大语言模型(LLM)部署到移动端和边缘设备已成为行业发展的重要趋势。TensorFlow Lite作为专为移动和嵌入式设备优化的轻量级推理框架，为开发者提供了将复杂AI模型转换为高效、低功耗边缘计算解决方案的强大工具。随着移动设备硬件性能的不断提升和模型压缩技术的快速发展，2025年的移动端LLM部署已不再是遥远的愿景，而是正在成为现实的技术实践。
ubuntu18.04服务器装gpu版tensorflow1.5.0。步骤：1. 更新电脑显卡驱动；2. 更改gcc和g++版本；3. 安装CUDA；4. 安装cuDNN；5. 最后安装Tensorflow-gpu
在终端输入pip install tensorflow-gpu==2.6.0 -i 镜像网址，即可快速下载。例如下载tensorflow-gpu==2.6.0版本，未解决下载速度慢的问题，我们使用镜像。
目前，网上存在诸多版本的tensoeflow-gpu安装教程。但是总体的步骤繁多，稍有不注意便安装错误，耗时耗力。总结以下简易版安装教程，易上手，经过实验（），安装成功不是问题（本文提供的方法只需要tensorflow-gpu版本与python版本是有对应支持的，可通过以下连接查找对用的版本关系hl=en#gpu本文使用的是miniconda这两个随便安装一个即可。miniconda是anacon
第二个点就是要在environment variable中添加自己的cuda安装路径：在Name一项中填LD_LIBRARY_PATH， Value一项中填写安装的cuda的lib64路径（找不到的话可以定位到Cuda安装路径中，然后直接利用搜索框搜索lib64）其中2.xx.xx是tensorflow的版本，也可以不指定，不过由于安装tensorflow和其他工具版本对应要求非常严格，建议按照对
今天训练网络时出现OOM的error，现总结几点调整方式OOM 是由GPU内存不够导致的溢出error，解决方法有以下几点：1. 降低batch，但是有些网络对batch有一定的要求，当batch=1时，BN失效。一般情况下，batch尽可能大一些，加速训练的同时可以获得较好的性能。2.降低filter数量3.降低buffer缓存，如下图所示，dataset.shuffle中的...
本文为为内部文章原作者：K同学啊。
GTX 960M+CUDA9.0+CUDNN 7.6.4+Python 3.6.5+TensorFlow-gpu 1.12.0+numpy 1.14.0以上配置是我参考官方文档之后多次搭配之后所得到的组合，在配置过程中有几个注意点。有一样的小伙伴可以参考。首先确定自己的显卡型号安装CUDA一直下一步即可将下载好的CUDNN里面的三个文件夹copy并替换到CUDA文件夹下配置坏境变量配置完之后一定也
tensorflow
——tensorflow
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
北京朝阳AI社区
九章云极普惠算力
