一、方案选型1、XMPP协议 + Jingle扩展协议：应用层协议，可以用来实现音视频传输，但完善的客户端开发资料有限，无开源库，开发难度大，开发周期长。（选型排名第三）2、SIP协议：应用层协议，专门用来实现音视频传输，但客户端开发资料较少，无开源库，开发难度较大，开发周期较长。（选型排名第四）3、RTMP协议（Real Time Messaging Protocol，实时消息传输协议）：传输层

什么是KMP算法：KMP是三位大牛：D.E.Knuth、J.H.Morris和V.R.Pratt同时发现的。其中第一位就是《计算机程序设计艺术》的作者！！KMP算法要解决的问题就是在字符串（也叫主串）中的模式（pattern）定位问题。说简单点就是我们平时常说的关键字搜索。模式串就是关键字（接下来称它为P），如果它在一个主串（接下来称为T）中出现，就返回它的具体位置，否则返回-1（常用手段）。首先

开源方案简介AppRTC服务器组成准备工作AppRTC必要软件安装(1)AppRTC必要软件安装(2)nginx代理和运行测试解决跨域问题和总结。

封装格式上下文结构体,全局结构体,保存了视频文件封装格式相关信息：每种封装格式，对应一个该结构体：视频文件中每个视频（音频）流对应一个该结构体：编码器上下文结构体，保存了视频（音频）编解码相关信息AVCodec：每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体。

代表某一filter，[in0][in1][in2]代表的是输入节点，amix是混音滤波器=inputs=3这个是参数表示输入是3个，[out]表示输出。ffmpeg的滤波filter有amix这个混音器，可以借助它来做音频的多路混音。首先我们需要编译ffmpeg并安装它，可以具备编码功能，考虑可以加mp3或者aac编码库进来，最简单的方式是编码成pcm格式直接输出到文件，用VLC也可以播放。需要

原文 https://www.cnblogs.com/go-ahead-wsg/p/17294745.html服务器需要主动推送（长连接）给客户端数据，通常使用websocket协议，比如股票信息实时数据等；websocket服务器为websocket协议+reactor实现websocket协议与http协议对比，http协议是针对网页设计的协议，为一请求一连接形式适合短连接，而websocke

测试发现，其中AAC解码输出的数据为浮点型的 AV_SAMPLE_FMT_FLTP 格式，MP3解码输出的数据为 AV_SAMPLE_FMT_S16P 格式（使用的mp3文件为16位深）。将音频进行SDL播放的时候，因为当前的SDL2.0不支持plannar格式，也不支持浮点型的，而最新的FFpemg会将音频解码为AV_SAMPLE_FMT_FLTP，这个时候进行对它重采样的话，就可以在SDL2.

PCM是脉冲编码调制（Pulse Code Modulation）的缩写，是一种常用的数字音频编码格式。线性采样：PCM是一种线性采样编码方式，即将模拟声音信号通过固定时间间隔进行采样，并将每个采样值转换为对应的数字编码。无损编码：PCM是一种无损编码方式，即不对音频数据进行任何压缩或编码，能够完整保留原始音频信号的信息。单声道/立体声：PCM可以是单声道（Mono）或立体声（Stereo），单声

所谓重采样，一句话总结就是改变音频的三元素，也就是通过重采样改变音频的采样率、采样格式或者声道数。例如音频A是采样率48000hz、采样格式为f32le、声道数为1，通过重采样可以将音频A的采样率变更为采样率44100hz、采样格式为s16le、声道数为2等。

AAC前面有个数据头，一般是ADTS格式的头。对于直播系统，一般使用AAC，我们使用的都是ADTS格式。注意，读出来Audio Object Types值还需要加1，才是对应的类型。如果读出来Audio Object Types值是1，那么对应的是AAL LC类型。ADTS头解析网站PS：\1. 有时候我们无法播放一段AAC数据，可能是缺少了ADTS头信息，这是我们就需要想办法加上这个头信息。