logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI - 自然语言处理(NLP) - part 3 - 语言模型

自然语言处理(NLP)是人工智能的重要分支,致力于让计算机理解、生成人类语言。语言模型(LM)作为NLP的核心技术,通过分析语言数据预测文本序列的概率分布。其演进从N-Gram模型发展到基于Transformer的预训练模型(如BERT、GPT)。语言模型具备三大层次能力:基础概率计算与文本生成、进阶语义理解与上下文建模,以及高级指令遵循、思维链推理等涌现能力。这些能力使其广泛应用于机器翻译、对话

文章图片
#人工智能#自然语言处理#语言模型
AI - 自然语言处理(NLP) - part 1

人工智能(AI)正在深刻改变世界,其核心领域包括机器学习、深度学习、自然语言处理(NLP)、计算机视觉和机器人技术。NLP作为AI重要分支,经历了四个发展阶段:从图灵测试的起源,到基于语法规则的早期模型,再到统计语言模型(如N-gram),最终演变为当前主流的深度学习方法。神经网络作为深度学习的核心,通过神经元连接模拟人脑工作机制,采用前向传播和反向传播算法进行学习优化。其中,NLP的关键突破在于

文章图片
#人工智能#自然语言处理
Java I/O(三)文件I/O

Java文件I/O 字节流 字符流 输入流 输出流

#java
Kafka(九)跨集群数据镜像

下面就一个笔者公司的实际的案例,结合上述的理论知识,来说明Kafka灾备解决方案是如何应用到实际的生产当中的,我们暂且称之为H公司。H公司近年来在进行IT系统的数字化转型,采用了事件驱动(EDA)的架构,对公司数十个独立的IT系统进行重构和整合。事件驱动公有云和私有云/遗留系统之间的消息订阅与发布消息队列Kafka作为一个消息的临时缓存H公司在托管的数据中心KSG搭建了一个Kafka集群,我们称之

文章图片
#kafka#分布式
Kafka(三)概述

Apache Kafka是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。事件流(event streaming):从技术上讲,事件流是以事件流的形式从数据库、传感器、移动设备、云服务和软件应用程序等事件源实时捕获数据的做法;持久地存储这些事件流以供以后检索;实时地以及回顾性地操纵、处理和响应事件流;以及根据需要将事件流路由到不同的目的地技术。因此,事

文章图片
#kafka#分布式
Kafka(七)可靠性

min.insync.replicas(默认值为1)代表了正常写入生产者数据所需要的最少ISR个数, 当ISR中的副本数量小于min.insync.replicas时,Leader停止写入生产者生产的消息,并向生产者抛出NotEnoughReplicas异常,阻塞等待更多的 Follower 赶上并重新进入ISR, 因此能够容忍min.insync.replicas-1个副本同时宕机。通常,我们建

文章图片
#kafka#分布式
Kafka(五)生产者

Kafka 生产者是 Apache Kafka 中的一个组件,用于将数据发布到 Kafka 集群中的主题(topic)中。生产者负责将消息发送到 Kafka 集群,并且可以指定消息的键(key)和分区(partition)。生产者可以采用异步或同步的方式发送消息,并且可以配置消息的压缩、序列化和批处理等属性。Kafka 生产者可以通过 Kafka 的 API 或者客户端库来实现,常见的客户端库包括

文章图片
#kafka#分布式
Kafka(六)消费者

Kafka消费者是指使用Apache Kafka消息系统的客户端应用程序,用于从Kafka集群中读取消息并进行处理。Kafka消费者可以订阅一个或多个主题,并实时地从主题中消费新的消息。消费者可以以不同的方式处理消息,例如将其存储到数据库中、进行实时分析或者将其传递给其他系统。Kafka消费者通常是分布式的,可以部署在多个节点上以实现高可用性和扩展性。消费者使用Kafka提供的消费者API来管理消

文章图片
#kafka#分布式
Kafka(四)Broker

Kafka Broker是Apache Kafka中的一个重要组件,它负责接收、存储和转发消息。Kafka Broker是一个分布式系统,可以在多台服务器上运行,以实现高可用性和水平扩展性。Kafka Broker通过分区将消息存储在主题中,并且可以处理多个生产者和消费者之间的消息传递。它还负责管理消息的持久性和复制,以确保消息不会丢失,并且可以在发生故障时进行恢复。Kafka Broker使用Z

文章图片
#kafka#linq#分布式
    共 17 条
  • 1
  • 2
  • 请选择