改善深层神经网络：超参数调试、正则化以及优化Improving Deep Neural Networks Hyperparameter tuning, Regularization and Optimization本章设计超参数调优，如何构建数据，以及如何确保优化算法的快速运行。神经网路机器学习的问题，然后是随机神经网路在配置训练，验证和测试数据集的过程中做出正确决策。...

改善深层神经网络：超参数调试、正则化以及优化Improving Deep Neural Networks Hyperparameter tuning, Regularization and Optimization本章设计超参数调优，如何构建数据，以及如何确保优化算法的快速运行。神经网路机器学习的问题，然后是随机神经网路在配置训练，验证和测试数据集的过程中做出正确决策。...

然后又用ffmpeg来压缩，先设置视频的帧率为为 20fps，然后再设置视频的码率为1Mb/s，最后发现视频也被压缩到80M，但是效果要好很多，清晰度也比较高。

学习视觉语义嵌入的最佳池策略摘要摘要视觉语义嵌入(Visual Semantic Embedding, VSE)是视觉语言检索中的一种主流方法，其目的是学习一个深度嵌入空间，使视觉数据嵌入到与其语义文本标签或描述相近的位置。我们发现，在不同的特征提取器中，非常简单(但精心挑选的)全局池函数(例如，最大池)的性能优于那些复杂的模型。尽管它简单有效，但为不同的数据模式和特征提取寻找最佳的池函数是昂贵和

bert就是transformer的encoder输入seq，输出seq先决定盖哪几个，再决定怎么盖然后输出输出的就是一个向量，里面就是词典所有的单词的概率（是吗）然后跟我那个真实值，最小化，（就是一个分类问题），训练的时候，bert里面的参数和我们那个liner的参数一起训练。除了上述的mask之外，还会预测下一个句子这个输出的yes或者or，意思就是我这两个句子是不是相接的，后来说这个方法其实

  本文的目标是将图文模型应用于长视频检索。最近的研究表明，通过采用CLIP，视频检索具有最先进的性能，有效地搭乘了视频任务的图文表示。然而，在学习时间聚合方面取得的成功有限，其性能优于平均池化由 CLIP 每帧提取的图像级表示。我们发现，通过查询评分的帧嵌入加权平均值的简单而有效的基线是比所有先前的时间建模尝试和均值池化的显着改进。通过这样做，我们提供了一个改进的基准，以供其他人进行比较，并在一

如何理解 Transformer 中的 Query、Key 与 Value这一篇主要是帮助你用比喻的手法来了解一下attention机制中的query,key,value的概念解释这一篇帮你用图来了解过程如何理解 Transformer 中的 Query、Key 与 Value这一篇总结收尾就是Query*Key其实就是计算相关度或叫依赖度，然后经过softmax转为权重，针对可能的y计算加权和就

多语言英德图像描述 摘要1 介绍2 Multi30K数据集2.1翻译2.2独立描述2.3翻译VS独立的描述2.4 English vs. German3 讨论3.1 Multi30K for Image Description （没用）3.2 Multi30K for Machine Translation（没用）4结论摘要我们引入Multi30K数据集来刺激多语言多模态研究。图像描述的最新进展几

MSR-VTT论文名称 ： MSR-VTT: A Large Video Description Dataset for Bridging Video and Language这是一个新的大型视频理解基准，特别是视频文本翻译的新兴任务。这是通过从一个商业视频搜索引擎收集257个热门查询来实现的，每个查询包含118个视频。在目前的版本中，MSR-VTT提供了10K个网络视频片段，总计41.2小时，2

学习目录1.神经网络与深度学习2. 深层神经网络的改进：超参数化、正则化与优化3. 构建机器学习系统4.卷积神经网络（CNN）5.自然语言处理：建立序列模型1.神经网络与深度学习很简单的神经网络：根据数据拟合出一个函数，或者是回归方程单个神经元（神经网络）![整体神经网络](https://img-blog.csdnimg.cn/39727f523c724467a1b51f6ad3378788.p