logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零构建大模型 Build a large language model from scratch by Sebastian Raschka 阅读笔记

本文介绍了大模型的核心技术,包括文本数据处理、注意力机制和GPT模型实现。文本预处理将离散符号转化为连续向量嵌入,使神经网络可处理。注意力机制通过查询、键、值矩阵计算上下文相关性,采用多头设计和因果掩码提升性能。GPT模型实现展示了架构细节,包括嵌入层、层归一化和残差连接等关键技术。

文章图片
高光谱图像中的目标探测(三) | 正交子空间投影和CEM方法(约束能量最小化)的比较研究

本文比较研究了HSI中用于检测和分类的两个经典算法:Orthogonal subspace projection (OSP) 和 Constrained energy minimization (CEM)算法。1. 介绍线性解混通过将一个HSI中的像素表示为有限个端元的线性组合进行检测和分类。解混像元并找到端元对应的丰度值。有几种方法:奇异值分解(SVD)、子空间投影、最大似然法等等。

#算法
tensorflow安装问题:illegal instruction (core dumped)

在ubuntu上安装tensorflow后测试 代码 import tensorflow as tf出现错误:illegal instruction (core dumped)这是因为对应python2.7 的 tensorflow版本过高。我在pycharm编译器里安装,选择1.7.0版本。更改方法是退回1.2.0版本。(我随机试了这个可行)最初安装的是0.5版本,没有问题,...

#tensorflow
到底了