logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

llama-cpp-python用法,模型加载gpu踩坑全记录

llama-cpp-python的主分支貌似很久不更新了,直接pip install用有问题,因为安装时候他会自动编译最新版的llama-cpp,但是这个llama-cpp接口变了的话而llama-cpp-python没及时更新就会报错。一般使用cuda,我也想过加载到核显,因为我用lamasudio就能加载到核显,感觉很强,自己也想做然后发现其实挺麻烦的就放弃了,也没必要,用cuda独显才是主流

#python#开发语言
c++创建线程:CreateThread 和pthread_create和 _beginthreadex

CreateThread在 Windows 中,您可以使用 CreateThread() 来创建线程,创建的线程在调用进程的虚拟地址空间中运行。HANDLE CreateThread(LPSECURITY_ATTRIBUTES lpThreadAttributes, // SDSIZE_T dwStackSize,// initial stack sizeLPTHREAD_START_ROUTIN

服务器装两个cpu

上述输出说明有 **2 个物理 CPU**,每个 CPU 有 **24 个物理核心**,启用了超线程后,总共 **96 个逻辑核心**。- 在双路系统中,通常 CPU 会被标记为 **Socket 0** 和 **Socket 1**,分别对应两个物理 CPU。- **双路服务器** 是指在主板上安装两个物理 CPU,通常用于企业级服务器或高性能计算(HPC)场景。- **NUMA node(s)

#服务器#运维
TCP端口复用

 TCP端口复用 用于TCP穿透之中。为了验证真实性,写了一个小例子。试验了一个端口是否可以同时进行监听接收和发送 ,创建了四个进程。原理:1.设置::setsockopt(accept_fd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof (opt));2.  ::setsockopt(accept_fd, SOL_SOCKET, ...

mac静态路由设置

https://blog.csdn.net/vevenlcf/article/details/48026965(1)查看当前路由表netstat -rn获取默认路由route get 0.0.0.0删除默认路由sudo route -n delete default 10.2.0.1添加公网网关sudo route add -net 0.0.0.0 10.2.0.1添加内网网关sudo route

#macos#网络#运维
c++ 的map、iterator用法

 https://blog.csdn.net/bangdingshouji/article/details/73028424参考:资料一:http://www.cplusplus.com/reference/iterator/(第一参考,简单精要)资料二:http://jjhou.boolan.com/programmer-3-traits.pdf(侯捷随笔,非常全面,有时间深刻可...

启动Mysql提示Can’t connect to local MySQL server through socket..(111)的解决方法

“Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'”解决方法:直接删除这里的mysql.sock,然后重启mysql服务。我的linux位于本机的虚拟机上,所以经常需要开关机。但是正常的linux是很少关机的。这就造成mysql可能会不正常关闭。这是我目前的问题,解决方法就是这样,所以关闭l

mac静态路由设置

https://blog.csdn.net/vevenlcf/article/details/48026965(1)查看当前路由表netstat -rn获取默认路由route get 0.0.0.0删除默认路由sudo route -n delete default 10.2.0.1添加公网网关sudo route add -net 0.0.0.0 10.2.0.1添加内网网关sudo route

#macos#网络#运维
到底了