
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
文介绍了SCNet超算互联网平台的国产异构加速卡使用体验。作者转向使用SCNet提供的16GB显存国产DPU加速卡,详细记录了平台操作流程:通过登录节点传输文件和解压数据,在业务节点创建容器实例运行PyTorch深度学习任务。重点讲解了使用Jupyter和SSH双终端配合screen工具实现后台训练的方法,包括环境配置、镜像保存、虚拟终端管理及进程监控等实用技巧。文章为想要使用国产算力资源的用户提
pywebio作为一个简单易用的前端框架,可以有效与Python生态结合,用于快速开发信息系统,随着大型语言模型兴起,考虑使用pywebio流式输出显示,并最终渲染为markdown,做一个简单的交互界面。首先总结了作者的实现思路与精简代码,然后结合交互界面经验进行改进,此外编写了与LLM服务器交互部分以及测试代码。最后参考中有一篇研究人类阅读速度的文章,可以作为LLM推理速度、交互界面显示速度(

Ollama下载、安装与简单使用(windows10虚拟机)围绕Ollama这一“大模型部署推理”利器,简单介绍了Ollama生态,然后说明了Ollama下载与安装,以及模型的安装方式(直接安装、GGUF导入、其他)与命令行简单使用,最后说明了Ollama的API简单使用、常用命令与应用集成问题。

Ollama下载、安装与简单使用(windows10虚拟机)围绕Ollama这一“大模型部署推理”利器,简单介绍了Ollama生态,然后说明了Ollama下载与安装,以及模型的安装方式(直接安装、GGUF导入、其他)与命令行简单使用,最后说明了Ollama的API简单使用、常用命令与应用集成问题。








