视频编解码行业简介及其发展方向(视频编解码概论)

了解华为海思的方案。海思的前身是华为半导体部门，主要产品线包括智能手机处理器麒麟系列、视频采集与编解码处理器系列、无线通信方向芯片等。

目录1。视频行业1。视频产业是一个方兴未艾的大产业。视频行业潜在商机巨大，人才缺口大3。了解华为海思2的HI3518E方案。海思1号项目硬件平台介绍。本专栏中使用的开发板的配置2。处理器为什么选择HI3518E 3。本栏目策划及核心技术介绍。

一、视频行业1。视频是一个方兴未艾的大产业(1)人类社会信息产品发展趋势:实物文本->电子文本->图片->音视频。

(2)音视频行业方兴未艾:优酷&爱奇艺，美拍&各类小视频，视频监控，人脸识别&自动驾驶。

(3)科技以人为本，视频满足了人类的天然需求，必然会得到大发展。

(4)科技融合是趋势:互联网、人工智能、视频采集和处理将融合在一起，形成一个奇幻而精彩的现代科技生活。

2.视频行业潜在商机大，人才缺口大。(1)视频监控、手机摄影等“传统”视频领域仍有巨大的发展空间。

(2)自动驾驶、人脸识别闸机、刷脸支付等。，拥有巨大的潜在商机，市场需求尚未爆发。

(3)视频行业专业性强，学习周期长，技术难度大，技术门槛和壁垒效应明显。

(4)行业历史短，发展快。完全没有相应的课程体系和专门的学习资料，学习无处下手。

(5)中国处于这一波技术革命的中心，工业设施最齐全，综合实力最强，产品出货量最大，因此对人才的需求最强烈。但与此同时，中国技术积累和背景薄弱，高端人才严重缺乏。视频行业有海康威视、大华。据说华为也开始进军安防摄像头领域。

3.了解华为海思的HI3518E方案(1)海思的前身是华为半导体部门，主要产品线包括:麒麟系列智能手机处理器、HI35XX系列视频采集与编解码处理器、无线通信方向芯片。

(2)早些年(2013、2014年之前)，视频行业主要由TI等美国公司控制，台湾省地区发展迅速。借助华为的技术和管理能力，海思发展迅速，在高性价比消费视频领域独占鳌头。

(3)海思还在发展，逐渐渗透到汽车领域(行车记录仪、ADAS、自动驾驶等。)和体育(航拍，体育DV等。).

(4)有更高端的工业级(工业相机如探伤、机器视觉等。)和军用级的产品，大多被美欧日德控制，等着我们去征服。

(5)一句话:海斯计划金额大，范围广，工资高，潜力大。为什么不学这个？但是华为已经被美国制裁了好几次，海思目前的发展相对困难。从最初的手机芯片麒麟到高通骁龙，我们知道海思现在有多无助。虽然拥有最先进的芯片设计技术，但无法生产。不过，华为今年年初已经在武汉设厂，准备进军芯片制造领域，实现自给自足。虽然需要时间，但是最后一定会有可能的，花子yyds！

2.海思项目中使用的硬件平台介绍1。本栏目使用的开发板配置(1)处理器:HI3518E (2)内存:内置64MB DDR内存(3)Flash:板载16 MB SPI Flash (4)传感器:OV 971zhujipindaoAR0130或其他(5)有线网络:板载支持(6)。调试串口:1个TTL串口(7个)底层调试:预留JTAG口(8个)预留按键:3个(9个)扩展存储:TF卡(10个)WIFI扩展:USB WIFI。

2.处理器为什么选择HI3518E(1)HI 35xx系列有很多型号，其中HI 3518 e是入门级性价比最高的型号，出货量较大。

(2)不同机型之间的差异主要是支持的视频像素数量和分辨率、通道数量、高端特性的差异。

(3)不同模式的相似性:海思SDK的一套思路，视频行业的基本概念和经验，H.264编解码算法和编程技术，RTSP/ORTP等网络传输，P2P等外网视频直播技术等。

(4)综合对比结果:HI3518E最适合入门学习，硬件本身有三年行业经验；

3.本栏目策划及核心技术介绍1。本专栏将通过我对朱友朋海斯项目课程的学习不定期更新。

文章内容大致划分如下:

第一季:全面了解海思SDK和嵌入式层开发第二季:从官方例程中深度学习海思SDK和API第三季:ORTP图书馆局域网图传输和VLC实时预览第四季:图像传感器的特性和驱动分析第五季:海思平台上USB WIFI的移植和局域网的无线调试和视频流预览第六季:RTSP协议详解和实时流视频预览第七季:视频打包成MP4格式，TF卡存储公式的实现第八季:海思平台OSD的实现第九季:图像的IQ调试第十季:P2P模式下的远程视频直播第十一季:基于opencv 2的图像识别开发。详细介绍。

第一季:全面了解海思SDK和嵌入式层开发本季首先介绍开发板的整体硬件配置和测试方法，然后围绕海思官方SDK开发包讲解各种官方资料的使用方法，最后花了大量时间讲解如何在ubuntu中搭建海思视频解决方案的开发环境，如uboot配置、编译、编写等。内核的配置和编译，rootfs的制作，tftp的下载和写入以及linux系统的启动，rootfs中各种配置文件的意义，ko文件的加载，mpp库的部署，示例程序的编译和运行等。第二季:从官方套路中学习海思SDK和API。本季课程详细分析了海思SDK中sample程序的实现，讲解了视频采集中的很多基本概念，视频传感器的工作原理，像素与视频分辨率的关系，rawRGB与RGB888的转换方法等。本季课程的重点内容是海思SDK中API文档的阅读。学习海斯方案的重点是学习这个API，它是海斯方案视频采集和H.264编码的关键。所以这一季的课程很关键。学完这一季的课程，意味着对海斯方案开发的介绍。第三季:RTP库局域网图像传输及VLC实时预览本季课程通过移植RTP库、调用RTP库函数实现H.264 raw流数据的网络传输，并在Windows中安装VLC播放器，通过配置文件解析VLC RTP发送的raw流，实现实时视频预览。本季课程的核心是ORTP协议的讲解，ORTP库的移植、部署和调用，VLC软件和配置文件的使用说明，Wireshark网络数据包捕获工具的使用说明，实时视频流传输和分析的体验和编程实现。第四季:图像传感器的特性和驱动分析本季以两个配置好的图像传感器为案例，讲解图像传感器的关键特性和相关数据结构，I2C控制接口和图像数据接口，海思SDK中传感器的驱动框架，以及编译、部署、加载和传感器调试的一般方法和步骤。第五季:海斯平台的USB WIFI移植及局域网无线调试和视频流预览本季将USB WIFI模块(包装附带的MT7601模块)移植到开发板，工作在ap模式，通过WIFI将电脑连接到开发板，实现主机与开发板的无线局域网通信，从而可以用WIFI网络代替板载以太网有线网络进行调试和局域网视频预览。如今，许多摄像机产品都需要支持无线网络连接功能。这一季的课程主要关注这方面的开发技术。第六季:RTSP协议详解及实时流视频预览本季详细讲解了RTSP协议的技术细节，并编制了基于RTSP协议的实时视频流，在局域网内浏览实时监控画面。RTSP是实现实时视频网络传输的最主流方式，低时延高清晰度的RTSP视频流是网络直播、在线会议系统等行业的核心技术。本季课程将详细讲解相关概念、编程实战和调试技巧。第七季:将视频打包成MP4格式并存储在TF卡中的实现。本季将编码后的H.264视频流打包成MP4格式视频，存储在板载TF卡中。这个过程中涉及的主要技术之一是H.264的视频帧格式、I帧、P帧等概念，另一个是MP4格式文件头、打包技术、MP4打包库移植部署和调用，最后是linux下TF卡的存储和文件管理(使用FAT32文件系统)。将编码后的图像打包成MP4存储的功能在行车记录仪、监控摄像头等产品中是刚需，尤其是行车记录仪。学习这一季的课程来开发这类产品有很大的优势。第八季:OSD在海思平台上的实现OSD(on screen display)功能应用广泛，如监控视频中的实时时间显示、电视广播中的logos和字幕等。本季我们将讲解如何在海思平台上实现图像OSD。核心是海思SDK中提供的与OSD功能相关的一些API的使用和调试技巧。第九季:图像的智商调试传感器直接采集的图像有各种不完美，所以在编码之前会用一种软件的方法进行处理，这种方法叫做ISP。图像的IQ调试就是研究这些处理算法和实现。线性校正、去噪、黑电平校正、坏点去除、颜色插值、Gamma校正、RGB2YUV转换、主动白平衡处理、主动曝光控制、AE评测等常见的IQ调试技术。第十季:利用P2P实现远程视频直播。本季课程主要讲解如何在外网实现视频传输。核心技术是P2P内网穿透的实现和视频转发服务器的架构。虽然也可以自建视频服务器，但是在产品的实际开发中，经常会用到一些第三方的视频服务。这两种开发方式都会在这一季的课程中涉及到，我们会努力让大家掌握它的实现原理、编程技术和调试技术。第十一季:基于opencv的图像识别与开发这一季的课程属于扩展开发，讲解了如何在主机ubuntu中构建和部署opencv环境，将HI3518E捕获和编码的视频传输到主机，使用opencv进行图像识别和处理。近年来，随着人工智能技术的普及，图像识别和视频识别技术越来越受到重视。人脸识别闸机、人脸支付、自动驾驶汽车、ADAS系统等应用场景都依赖于视频识别的技术突破。这一季的课程可以看作是对图像识别技术的发展基础、环境构建、基本算法原理和简单应用案例的介绍，希望对你进入这个技术领域有所帮助。注:本资料大部分整理自朱老师物联网大讲堂的课程笔记，部分引用他人博客。如有侵权，请联系删除！水平有限。如有错误，欢迎在评论区交流。