logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLM时代中的分布式AI

深度学习相较传统机器学习模型,对算力有更高的要求。尤其是随着深度学习的飞速发展,模型体量也不断增长。于是,前几年,我们看到了芯片行业的百家争鸣和性能指标的快速提升。正当大家觉得算力问题已经得到较大程度的缓解时,大语言模型(LLM, Large language model)的兴起又带来了前所未有的挑战。

#分布式#人工智能#深度学习
强化学习的并行加速

前言机器学习方法的复现性一直都是比较另人头痛的问题,因为很多因素都可能会影响最后的效果。而强化学习还涉及与环境交互带来的随机性,情况更加严重。可能类似的环境配置,跑上几遍结果还不太一样。2017年McGill University和Microsoft的论文《Deep Reinforcement Learning that Matters》中研究了强化学习的可复现性,指出像随机种子、环境因素、超参以

#分布式
TVM中的auto-scheduling机制(Ansor)学习笔记

背景TVM沿用了Halide中算法的计算与调度分离的思想。用户使用Tensor Expression(TE)这种DSL定义计算,然后编译器优化相应的schedule,最后生成目标平台的代码。因此,要根据给定的计算自动产生高性能的算子实现,其核心就是找到好的schedule。然而这个schedule不仅和计算相关,还与硬件平台相关。这个搜索空间很大,本质上是个np-complete的组合优化问题。因

#机器学习
线性规划中的对偶理论与Farkas引理及应用

对偶(Duality)理论与Farkas引理是线性规划中非常重要的部分,有着广泛的应用。本文聊一下关于它们的一些理解。文章不重在理论推导,因为任何一本关于优化的书基本都会有单独的章节来阐述相关的证明。以下先分别介绍Duality理论与Farkas引理,再说说它们的联系。

#算法
LLM时代中的AI推理优化

毫无疑问,AI是当下最热的话题之一,而大模型又是当前AI的主角。几年前,正当深度学习进入瓶颈时,以GPT为首的LLM的横空出世让之似乎又找到了“第二增长曲线”。当模型规模大到一定程度时,它所表现出来的涌现能力(Emergent ability)是之前在小模型中所不曾见过的。这种大模型所特有的推理、计算等能力给我们带来了无穷的想象空间。但是,它的代价是模型和以往模型相比增大了成百上千倍。要玩大模型十

#人工智能#AI
KVM 实现机制

1.    概述1.1.    KVM简介KVM是一个基于Linux内核的虚拟机,它属于完全虚拟化范畴,从Linux-2.6.20开始被包含在Linux内核中。KVM基于x86硬件虚拟化技术,它的运行要求Intel VT-x或AMD SVM的支持。一般认为,虚拟机监控的实现模型有两类:监控模型(Hypervisor)和宿主机模型(Host-based)。由于监控模型需要进行处理器调度,

Android应用程序的内存分析

Dalvik虚拟机支持垃圾收集,但是这不意味着你可以不用关心内存管理。你应该格外注意移动设备的内存使用,在上面内存空间是受到限制的。在这篇文章里面,我们来看看Android SDK里面的一些内存剖析工具(profiling tools)是如何帮助我们修整应用程序的内存使用。一些内存使用问题是很明显的,例如,如果在每次用户触摸屏幕的时候应用程序有内存泄露,将会有可能触发OutOfMemory

#android#eclipse
Ubuntu linux虚拟机安装体验

/* 总得来说还是不错的linux发行版,界面简洁,软件安装方便,却没有debian的复杂配置。*/问题1: 中文 apt-get install language-pack系统->系统管理->语言支持问题2:字体将windows下的字体文件.tff复制到/usr/share/fonts下,最好新建自己的字体目录,其下放字体文件问题3:第三方程序,如acroread等在/etc/apt/sourc

#linux#ubuntu#虚拟机 +2
虚拟机之内存虚拟化(MMU Virtualization)

原文地址:http://blog.csdn.net/ariesjzj/article/details/8745035内存虚拟化是虚拟机实现中的重要部分。在虚拟机中,虚拟出来的Guest OS和Host OS用的是相同的物理内存,却不能让它们相互影响到。具体地说,如果OS跑在裸机上(而非虚拟机上)的话,只要OS提供页表,MMU会在访存时自动做虚拟地址(Virtual address,

Xen的源码安装及dom0,domU的设置

原文地址:http://blog.csdn.net/ariesjzj/article/details/8570566Xen作为一种应用广泛的虚拟机方案,无论是在工业还是教育领域都发挥着巨大的作用。Xen不仅有其引以为豪的Paravirtualization实现,还有基于硬件支持的HVM实现。对于Xen,Ubuntu中有现成的解决方案,只要通过一些apt-get install(ubuntu

#ubuntu
    共 43 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择