logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【科普】大模型应用中一个 Token 占多少汉字?答案超乎想象!

先说答案: 不同模型可能采用各自的切分方法,因此,一个 Token 所对应的汉字数量也会有所不同。如腾讯1token≈1.8个汉字,通义千问、千帆大模型等1token=1个汉字,对于英文文本来说,1个token通常对应3至4个字母, 不同的模型对相同的输入分词, 分词结果是不一样的。同样可以说,一个汉字占约0.5个Token。‌Token 是大模型中最基础、最常见的概念,它既可以是一个完整的单词,

文章图片
#AIGC
大模型-Semantic Kernel 介绍

Semantic Kernel 简介Semantic Kernel 是一个开源的软件开发工具包(SDK),它允许开发人员轻松地将大型语言模型(LLM)与传统编程语言(如C#、Python和Java)相结合。通过Semantic Kernel,开发人员可以创建应用程序,这些应用程序结合了两个世界的优点,即传统编程语言的精确性和灵活性与大型语言模型的自然语言理解和生成能力。

文章图片
#大数据
【科普】大模型应用中一个 Token 占多少汉字?答案超乎想象!

先说答案: 不同模型可能采用各自的切分方法,因此,一个 Token 所对应的汉字数量也会有所不同。如腾讯1token≈1.8个汉字,通义千问、千帆大模型等1token=1个汉字,对于英文文本来说,1个token通常对应3至4个字母, 不同的模型对相同的输入分词, 分词结果是不一样的。同样可以说,一个汉字占约0.5个Token。‌Token 是大模型中最基础、最常见的概念,它既可以是一个完整的单词,

文章图片
#人工智能
大模型应用案例实操:面向电信的大型生成式人工智能模型

生成式人工智能(GenAI)的发展为不同领域技术的重构提供了新的方向。特别是在无线网络领域,可以利用GenAI获得很多好处,从根本上改变当今无线网络的设计和运营方式。为了揭示GenAI在电信领域的潜力,Merouane Debbah教授团队发表了一篇综述文章,目前已经发表在IEEE Communications Magazine上。作者首先强调了大型GenAI模型在未来无线网络中的应用,定义了潜在

文章图片
#人工智能
LangChain无法调用OpenAI API?手把手教你调用国产大模型!

相信这个时间点,几乎所有的朋友都开始了LangChain的学习,我也不例外,但作为一名萌新,却惊讶的发现,我无法调用OpenAI API,唯一的办法只有花钱购买API,这让我无法接受。所以,我被迫开始了调用国产大模型之旅,然后发现国内的大部分大模型也是可以在LangChain上使用的,而且非常的简单,这真是太让人兴奋了,如果到现在还有没有调用API成功的好兄弟,相信你能在这里得到满意的答案。第一步

文章图片
#面试#职场和发展
国产大模型市场遇冷:挑战与机遇并存,一般人学大模型,我劝你算了吧

前阵子,大模型赛道非常热闹,360、字节、KIMI、知乎等公司纷纷召开发布会,推出自己独具特色的新产品,一时间引发市场的不少想象和讨论。在看似百花齐放、万紫千红的同时,K哥也观察到了一些不好的迹象,这些“迹象”如果不受到重视,或者不被好好解决,甚至有可能对整个行业的发展带来很大的不利影响。今天就跟大家分享一些K哥的个人看法。01搞浏览器的做AI,搞AI的做浏览器最近,KIMI悄悄推出了浏览器插件,

文章图片
#人工智能
AI大模型学习路线:从入门到精通的完整指南【2025最新】

我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。作为普通人,入局大模型时代需要持续学习和实践,不断提高

文章图片
#人工智能#学习#语言模型 +1
大模型参数揭秘:7B, 13B, 175B的意义与影响

大模型也是有大有小的,它们的大小靠参数数量来度量。GPT-3就有1750亿个参数,而Grok-1更是不得了,有3140亿个参数。当然,也有像Llama这样身材苗条一点的,参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量,而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”,越多就能让模型更聪明,更能理解数据中那些错综复杂的关系。有了这些“脑细胞”,模型在处理任务

文章图片
#面试#职场和发展#自然语言处理
探索大模型时代:ChatGPT与通用人工智能浪潮(附PDF书籍分享)

近期工作中有一些涉及到大模型等的应用,刚好在微信读书上看到了这本 《大模型时代:ChatGPT开启通用人工智能浪潮》, 本月看完了这本书与大家分享下。ChatGPT火爆全球,但大语言模型(Large Language Model)才是幕后真正的智能“大脑”!生成式大模型正在开创新的时代,基于生成式预训练大模型的技术突破,也在带来面向个人、深入行业的多重应用。这势必引发新一轮的智力革命和产业重构,但

文章图片
#人工智能
正在爆发的智能体,能否成为大模型落地医疗的新动力?

人工智能产业的蓬勃发展,带来了人机交互模式的革新。自2022年11月OpenAI发布ChatGPT以来,大语言模型已经深刻影响了我们的工作和生活。作为未来大模型最主流的使用方式,智能体这一概念备受业界关注。智能体(AI Agent),作为一种能够自主行动、感知环境、做出决策并与环境交互的计算机系统或实体,通常依赖大型语言模型作为其核心决策和处理单元,具备独立思考、调用工具去逐步完成给定目标的能力。

文章图片
#人工智能#学习
    共 98 条
  • 1
  • 2
  • 3
  • 10
  • 请选择