logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

工程师实战 | spark通过kafka-appender指定日志输出到kafka引发的死锁

公司的IT运维日志系统,用的spark+kafka架构。工程师们也经常有一些实战心得。转之在采用log4j的kafka-appender收集spark任务运行日志时,发现提交到yarn上的任务始终ACCEPTED状态,无法进入RUNNING状态,并且会重试两次后超时。期初认为是yarn资源不足导致,但在确认yarn资源充裕的时候问题依旧,而且基本上能稳定复现。起初是这么配置spark日志输出到ka

#kafka#spark
智能运维AIOps建设的困惑和锦囊 六之一:智能运维 = 机器学习算法?

当企业想要部署智能运维系统的时候,常常最疑惑的是:以企业现在的IT系统/数据中心情况,应该从哪里入手,怎么做才可以人力物力的投入未来三五年持续产生应有的价值?首先能想到的方法,是上网研究一下智能运维如何建设,找相关的厂商来交流。不过因为不同的厂商,都会根据自己的优势宣传侧重点,跟着走容易跑偏。最近,我们在对多家客户调研的基础上总结了常遇到的六大困惑和锦囊妙计。这篇是锦囊一“智能运维=机器学习算法?

#运维#机器学习
高考选专业时候的纠结:人工智能、软件工程、计算机科学与技术三个专业的区别

这几天总有朋友来问如果有些大学计算机系分得比较细,读哪个专业比较好?人工智能、软件工程、CS(计算机科学与技术)怎么选?不是招生老师,说不到很准确。不过作为IT从业人员,大致也了解这几个专业的各自方向。人工智能专业,是这些里面最偏向于算法和数学的,选它最好有扎实的数学(尤其是代数)功底,需要经常性跟数学公式打交道,仅次于数学系。算法公式常常长这样:(我好像连字母都读不全......)软件工程专业,

#安全#机器学习#程序人生
大概这就是“无监督学习”的机器学习算法实例

开会时有老大提到,用于智能运维的算法有不少是有监督学习,在一定规则下学习出适用的场景模型。而我们需要做的“无监督学习”算法,难度则要大不少。对于我们这种算法小白,虽然理解了有监督和无监督的区别,对于无监督到底是怎么学习的还是有点云里雾里。直到前几天看到一张算法学习的图,才略有点明白。挺有趣的:如图中所描述,无监督学习也是分一段段时间的。第一阶段开始根据读入的数据初始建模。建完后继续学习,这时有突增

#机器学习#算法#人工智能
大模型探索 | 使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统

详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤,随后展示了如何将模型部署为后台服务,并通过API进行调用。此外,文章还涉及了如何使用这些工具快速构建知识库应用,包括知识库的配置和问答系统的设置。整个过程强调了无需深厚编程知识即可实现快速部署和使用,适合业务专家和产品设计人员使用。

文章图片
#人工智能
toB市场 | 聊聊企业自媒体的运营

做自媒体的人,前几年薪水跟着互联网水涨船高,真正好的却不易得。企业管市场的领导层一般也不太懂这些,注意力就会关注在单纯的文案或单篇文章的数据上。甚至老板们会亲自下场招文案、每一篇文章都要过目,以求催生一篇10w+爆款。

文章图片
#新媒体运营
    共 16 条
  • 1
  • 2
  • 请选择