侧边栏壁纸
  • 累计撰写 258 篇文章
  • 累计创建 138 个标签
  • 累计收到 16 条评论

目 录CONTENT

文章目录

音视频

Sherlock
2023-02-15 / 0 评论 / 0 点赞 / 240 阅读 / 8800 字 / 编辑
温馨提示:
本文最后更新于 2024-05-09,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

0、视频基础支持

  • 帧率
  • 码率
  • 分辨率
  • 像素格式
  • 色彩空间
  • I帧P帧B帧
  • PTS与DTS
  • YUV与RGB
  • 位深与色域
  • 封装格式:mp4、avi、flv、mkv等
  • 编码格式:H.264(AVC)、VP8、H.265(HEVC)、VP9、AV1等

1、分辨率不是越高越好

较高的分辨率也需要较高的码率来支撑,如果分辨率选择 1280 x 720,但码率却指定为 200kbps,画面就会有大量的马赛克。

由于很多硬件编解码器只支持能==被 16 整除的像素宽度==,所以在使用厂商 SDK 实际编码出的分辨率并不一定完全按照参数自定,而是会自动进行 16 整除修正。
例如 640 x 360 的分辨率,在 SDK 内部有可能会适配为 640 x 368。

可以参考腾讯的文档:分辨率码率参照表

2、帧率不是越高越好

由于摄像头采集的画面是曝光阶段中所有现实物体的完整映射,所以并不是帧率越高,感官就越流畅,这一点跟游戏里的FPS是不一样的。
恰恰相反,帧率过高,会拉低每帧画面的画质,也会减少摄像机的曝光时间,效果可能会更差。

帧率(FPS),也就是每秒钟要编码多少帧画面。RTC场景下推荐设置为 15 FPS,这样既能保证画面足够流畅,又不会因为每秒帧数太多而拉低单幅画面的清晰度。

如果对流畅度要求比较高,可以设置为 20 FPS 或 25 FPS。但请不要设置 25 FPS 以上的数值,因为电影的常规帧率也只有 24 FPS。

3、码率不是越高越好

较高的码率也需要较高的分辨率来匹配,例如:对于 320 x 240 这样分辨率,1000kbps 的码率就很浪费了。

4.常见分辨率码率参照表

分辨率定义宽高比编码分辨率(16X)建议码率(VideoCall)建议码率(LIVE)
160x9016:9160x==96==150kbps250kbps
256x14416:9256x144200kbps300kbps
320x18016:9320x==192==250kbps400kbps
480x27016:9480x==272==350kbps550kbps
640x36016:9640x==368==550kbps900kbps
960x54016:9960x==544==850kbps1300kbps
1280x72016:91280x7201200kbps1800kbps
1920x108016:91920x==1088==2000kbps3000kbps
2560×144016:92560×14404000kbps6000kps
4096×216016:94096×21606000kbps9000kps

4.1 常见清晰度

简称全称行业叫法清晰度分辨率
FUHDFull Ultra High Definition8K超高清8K7680X4320
UHDUltra High Definition超高清(极清)、4K2160P3840X2160
QHDQuad High Definition2K2K2560X1440
FHDFull High Definition全高清(超清)1080P1920X1080
HDHigh Definition高清720P1280X720
SDStandard Definition标清540P960X540

5.H.264/AVC视频编解码技术

5.1 Android FFmpeg

5.1.1 Android FFmpeg MediaCodec硬编码

6.腾讯TRTC低延时的秘密

可参考: https://cloud.tencent.com/developer/article/1610391

  • ARQ

    ARQ 即自动重传请求,TCP 的 ACK 机制是 ARQ 的一种方式。除了 ACK 以外,有一种机制为 NACK。不同于 ACK 是用来做接收确认,NACK 是没有收到数据包的确认.

  • FEC

    FEC 即前向错误纠正,是通过增加网络层的校验数据包,增加数据冗余,抵抗传输过程中丢包带来的影响,遇到少量丢包时,接收方无须再通知发送方重传数据,可以直接在本地通过数据校验恢复原始数据,从而减少了延时。
    不过 FEC 添加冗余数据包也会带来更多的网络带宽占用,因此 FEC 的这种工作方式是“以带宽换延时”。

  • QoS

    利用好 ARQ 和 FEC 机制的基础,是需要有准确的带宽预测,也就是 QoS 中最关键的一环。
    TRTC 依靠腾讯线上业务多年以来的技术积累,在 QoS 上有着众多专利技术,可以实现更为快速准确的带宽预测,通过及时地调整数据码率匹配网络带宽,可以减少客户端上的网络堆积,降低数据传输的耗时。
    同时,通过准确的带宽预测,ARQ 和 FEC 策略能够更加有效地发挥作用,带来更好的传输效能。

7.谈H.323和SIP协议两者的区别

参考:https://developer.aliyun.com/article/127283

8.SEI

SEI(Supplemental Enhancement Information,媒体补充增强信息。

如何理解和使用 SEI(媒体补充增强信息)?

9.音频

9.1 3.5mm音频接口

3.5mm接口,通常是指直径为3.5mm的同轴插头,用于连接音频设备传递音频信号,由尖(Tip)、环(Ring)、套(Sleeve)组成,所谓的TRS或TRRS,就代表尖环套的数量,譬如TRRRS就表示一个尖(Tip),三个环(Ring)和一个套(Sleeve)组成。

3.5mm音频接口.webp 之前流行的都是三段式,不带麦克风的,即TRS 3.5mm三段式接口.png 现在流行的是四段式,带麦克风,但是分美标(白色绝缘圈)和国标(黑色绝缘圈),即TRRS(见后文) 还有一种不常见的TRRRS,一般生活中比较少见(5段式)。

下面是常见的TRS和TRRS耳机接口接线图以及说明,需要注意的是,TRRS有区分美标和国标两种不同的接线方式。

3.5mm音频接口接线方式.jpeg 3.5mm音频接口四段式美标和国标.jpg

9.2 声道

当单声道音源被接入双喇叭音箱时,两个喇叭也都会发出声音。这是因为在单声道系统中,左、右声道传递的音频信号是一样的。

但是,请注意,虽然两个喇叭都能发声,音源仍是单声道的,也就是说左右喇叭发出的声音是完全一样的,没有立体声那种空间位置感。
由于单声道信号不能提供左右声道的立体声音景,所以听起来的效果和立体声是有较大差异的。

0
rtc
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin

评论区