logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

一次“偏科”的微调实验:Xiaothink-T17-RWKV5-MLA-Instruct-Pro 为何中文更强、前端变弱?

Instruct-Pro 是一次刻意偏科:把容量从 WF 前端语法转向中文自然语言;盲测数据验证了取舍——指令遵循 90.7 全场第一、总体反超同尺寸 Qwen3-0.6B,代价是前端 25.0 明显下滑;选型大于调参:做前端用 frontend 版,做中文用 instruct_pro 版,各司其职。数据全部来自真实盲测,欢迎交流讨论!

#前端#深度学习
0.6B 硬刚 8B/20B!Xiaothink-T17-RWKV5-MLA-Instruct-Pro 六领域盲测实录:指令遵循 90.7 全场第一

在 6 领域盲测中总体 65.3,超过同尺寸 Qwen3-0.6B;指令遵循 90.7 全场第一、通用知识 85.0 越过 8B、古诗生成 74.0 断档领先同尺寸;前端生成 25.0 是微调取舍的代价,选型时按任务场景二选一。数据来自真实的 DeepSeek-V4-Flash 对照盲测。欢迎交流讨论!

#深度学习
将独热码应用到我们的模型

本文将展示如何使用TensorFlow将独热编码应用到一个简单的密集神经网络中,以实现从一段随机文本到另一段随机文本的转换。虽然上述代码没有包括实际的训练过程,但它展示了如何使用TensorFlow将独热编码应用到文本数据上,并通过一个简单的神经网络模型进行处理。但是,在这个示例中,我们将简化过程,仅展示模型的构建。现在,让我们定义一个简单的密集神经网络模型,它将接受独热编码的文本并尝试预测下一个

#人工智能#语言模型#深度学习 +1
Xiaothink-T17-Tiny 模型深度解析:轻量级RNN架构的创新与实战评测

Xiaothink-T17-Tiny 是一款创新的轻量级中文语言模型,采用GRU3+历史检索架构,参数量仅0.15B(96.9M)。核心创新包括历史感知序列建模、固定张量历史缓存、平方ReLU前馈网络等,在保持RNN线性复杂度的同时增强长距离依赖建模能力。测试显示其性能优于同规模Transformer(测试损失4.895 vs 5.424),峰值显存降低23%(5936MB vs 7726MB)。

文章图片
#语言模型#人工智能#自然语言处理 +2
Xiaothink-T17-Tiny 模型深度解析:轻量级RNN架构的创新与实战评测

Xiaothink-T17-Tiny 是一款创新的轻量级中文语言模型,采用GRU3+历史检索架构,参数量仅0.15B(96.9M)。核心创新包括历史感知序列建模、固定张量历史缓存、平方ReLU前馈网络等,在保持RNN线性复杂度的同时增强长距离依赖建模能力。测试显示其性能优于同规模Transformer(测试损失4.895 vs 5.424),峰值显存降低23%(5936MB vs 7726MB)。

文章图片
#语言模型#人工智能#自然语言处理 +2
Xiaothink-T6-0.15B混合架构模型深度解析

Xiaothink-T6-0.15B模型突破性地采用MoF混合架构,融合Transformer与RNN优势,在仅0.15B参数和2.5GB训练数据条件下实现接近chatGLM-6B的性能。其核心创新包括:1)双专家协同系统(窄深Transformer处理复杂短上下文+宽浅RNN处理知识型长上下文);2)思维空间模块增强语义理解;3)智能路由动态分配计算资源。该模型支持移动端部署,在基础问答任务中展

#架构
低配置cpu也能跑的轻量中文LM:Xiaothink-T7.5-0.1B 上手实操

如果在使用过程中遇到问题,官方提供了多个沟通渠道:邮箱xiaothink@foxmail.com、官网、模型卡片页面,能找到详细的文档和技术支持。从整个轻量模型的发展趋势来看,像Xiaothink-T7.5-0.1B这样适配低配置、做本土化优化的SLM,会成为很多中小场景AI落地的重要选择——毕竟不是所有需求都需要大模型,「小而精、小而快」的轻量模型,才能让AI真正落地到更多普通场景中。

文章图片
#架构#语言模型#人工智能 +1
Xiaothink-T6-0.15B混合架构模型深度解析

Xiaothink-T6-0.15B模型突破性地采用MoF混合架构,融合Transformer与RNN优势,在仅0.15B参数和2.5GB训练数据条件下实现接近chatGLM-6B的性能。其核心创新包括:1)双专家协同系统(窄深Transformer处理复杂短上下文+宽浅RNN处理知识型长上下文);2)思维空间模块增强语义理解;3)智能路由动态分配计算资源。该模型支持移动端部署,在基础问答任务中展

#架构
基于XiaothinkT6语言模型的文本相似度计算:轻量方案实现文本匹配与去重

本文介绍了一种基于Xiaothink框架的轻量级文本相似度计算方案,主要特点包括:1)使用预训练的Xiaothink-T6-0.15B-ST模型,无需额外训练;2)适配普通电脑,8GB内存即可运行;3)提供完整代码实现。方案通过4个核心步骤实现:安装依赖、下载模型、构建嵌入提取器、计算余弦相似度(0-1范围,值越大越相似)。该方案特别适合问答系统、内容去重等需要快速判断文本语义关联的场景,具有低门

#语言模型#人工智能#自然语言处理
Xiaothink-T7-ART:消费级硬件也能玩转的古诗生成AI,盲测接近SOTA水平

摘要:Xiaothink-T7-ART是一款轻量级古诗生成AI模型,仅需消费级CPU即可运行。该模型采用创新的多专家协同架构,通过7000万参数和400MB训练数据实现接近SOTA的创作水平,支持风格仿写、诗句续写等多种创作模式。其特点包括:硬件要求低(Intel Core i7即可)、生成可控性强、文学性突出,适用于文学创作辅助、教育应用等场景。模型已开源,无需GPU支持,让古诗创作AI技术真正

文章图片
#人工智能#语言模型#架构
    共 14 条
  • 1
  • 2
  • 请选择