高清多媒体接口(High Definition Multimedia Interface,HDMI  )是一种全数字化视频和声音发送接口,可以发送未压缩的音频及视频信号。HDMI可用于机顶盒、DVD播放机、个人计算机、电视、游戏主机、综合扩大机、数字音响与电视机等设备。HDMI可以同时发送音频和视频信号,由于音频和视频信号采用同一条线材,大大简化系统线路的安装难度。这块是百度百科对HDMI的简单介绍,我们再看看HDMI不同版本对音频的支持情况:

当前我们使用最多的是2.0版本,本文介绍了OpenHarmony系统支持HDMI声卡的适配过程,带有HDMI声卡的设备包括电视、投影仪和一些带有音响的显示器。

1 功能描述

OpenHarmony系统中音频系统使用ADM框架,下面是ADM框架的组成:

ADM框架是基于HDF系统框架开发,Card Manager是用来管理多个声卡链表,Controller是声卡的控制模块包含了音量、静音、通路选择等控制功能。

Audio Control Dispath是控制功能的中转站负责接收HDI下发的控制命令和将控制命令转发给各个声卡组件。Audio Stream Dispatch是数据流的中转站,播放过程中负责接收HDI的数据流,在录音过程中负责上传声卡的录音数据流。

Run Time Device中包括的这些模块就是一个声卡工作需要的驱动服务。其中codec编解码模块驱动服务、dai数字音频接口驱动服务和platform片上系统也就是DMA模块驱动服务是大多数声卡所必须的。HDMI声卡和其他声卡一样由三个模块组成codec编解码模块、dai数字音频接口和platform片上系统也就是DMA模块。

HDMI的codec是集成在HDMI转换芯片内部的我们只需要将PCM音频流给到HDMI转换芯片就可以。DAI这块使用的是I2S总线连接HDMI芯片和platform。要实现对HDMI声卡的支持,就需要将这几个模块的驱动注册到ADM框架中。

本文基于3月1日的OpenHarmony master分支进行介绍。基于yangfan平台介绍,如适配其他平台相关配置根据具体平台进行修改。

OpenHarmony系统支持HDMI声卡的插拔识别,支持HDMI声卡的播放功能,包括启动、停止、暂停、恢复功能。

2 准备工作

2.1 查询物理连接

这是一个HDMI设备模块的逻辑试图,图中可以看到音频数据可以通过两种接口I2S或者SPIDIF将音频数据传给HDMI设备,此处我们使用的是I2S总线。

首先需要查看芯片手册HDMI模块和SOC是如何连接的,找到音频数据传输相应的I2S总线,这块是更具rk3568芯片查到的数据,I2S0连接的是HDMI。

2.2 查询寄存器地址

因为我们使用I2S总线就要对其进行配置所以我们需要找到I2S总线的基地址和I2S总线的寄存器说明。查看芯片手册找到I2S总线对应的寄存器基地址。

3 代码介绍

HDMI的驱动codec的代码ADM框架中已经实现了,我们只需要根据不同的单板平台修改平台下面的配置文件。Dai和platform的驱动代码需要根据各自平台自行开发。yangfan开发板Dai和platform驱动代码路径在device\board\isoftstone\yangfan\kernel\hdf\drivers\audio下面的dai和soc目录下面。

涉及到的配置文件如下:vendor/isoftstone/yangfan/hdf_config/khdf/audio$ tree

├── audio_config.hcs   // 此配置文件配置声卡信息
├── codec_config.hcs   // 此配置文件配置codec信息
├── dai_config.hcs     // 此配置文件配置dai信息
└── dma_config.hcs    // 此配置文件配置platform信息
vendor/isoftstone/yangfan/hdf_config/khdf/device_info/
device_info.hcs  //此配置文件配置声卡驱动服务信息

修改涉及的代码仓:device_board_hihope、vendor_isoftstone和kernel_linux_config

4 构建开关

OpenHarmony系统要支持HDMI声卡首先要打开构建开关:在文件kernel/linux/config/linux-5.10/arch/arm64/configs/rockchip_standard_defconfig

添加:CONFIG_DRIVERS_HDF_AUDIO_HDMI=y

5 功能配置

HCS(HDF Configuration Source)是HDF驱动框架的配置描述源码,内容以Key-Value为主要形式。它实现了配置代码与驱动代码解耦,便于开发者进行配置管理。

5.1 配置文件:device_info.hcs 添加hdmi声卡节点信息。

文件路径:vendor/isoftstone/yangfan/hdf_config/khdf/device_info/

HDMI声卡插入后系统会根据此处配置的声卡节点加载HDMI声卡驱动。

  audio :: host {
            hostName = "audio_host";
            priority = 110;
            device_dai :: device {...
                device_hdmi :: deviceNode {
                    policy = 1;
                    priority = 50;
                    preload = 0;
                    permission = 0666;
                    moduleName = "DAI_RK3568";
                    serviceName = "hdmi_dai_service";
                    deviceMatchAttr = "hdf_hdmi_dai_driver";
                }
            }
            device_codec :: device {...
                device_hdmi :: deviceNode {
                    policy = 1;
                    priority = 50;
                    preload = 0;
                    permission = 0666;
                    moduleName = "AUDIO_HDMI_CODEC";
                    serviceName = "codec_service_1";
                    deviceMatchAttr = "hdf_codec_driver_1";
                }
...
            }
...
            device_dma :: device {...
                device_hdmi :: deviceNode {
                    policy = 1;
                    priority = 50;
                    preload = 0;
                    permission = 0666;
                    moduleName = "DMA_RK3568";
                    serviceName = "hdmi_dma_service_0";
                    deviceMatchAttr = "hdf_hdmi_dma_driver";
                }
...
            }
 
            device_audio :: device {...
                device_hdmi :: deviceNode {
                    policy = 2;
                    priority = 60;
                    preload = 2;
                    permission = 0666;
                    moduleName = "HDF_AUDIO";
                    deviceMatchAttr = "hdf_audio_driver_1";
                    serviceName = "hdf_audio_codec_hdmi_dev0";
                }
...
            }
...
        }

moduleName 配置组件名称,和驱动代码中的moduleName相对应,系统会根据此名称加载驱动。

deviceMatchAttr私有配置的属性名称,根据此名称可以找到相应的私有配置。

serviceName驱动服务名称,根据此名称可以使用对应的驱动。

preload 配置加载方式,2为动态加载,当HDMI声卡插入时加载HDMI声卡驱动。

此文件中首先配置了文件首先先配置了HDMI的dai、codec和dma驱动服务,最后配置了HDMI声卡设备。

5.2 配置文件:audio_config.hcs 添加hdmi声卡服务信息。

文件路径:vendor/isoftstone/yangfan/hdf_config/khdf/audio/

此处配置一个HDMI声卡驱动包括哪些驱动服务。

root {
    platform {
...
        controller_0x120c1001 :: card_controller {
            match_attr = "hdf_audio_driver_1";
            serviceName = "hdf_audio_codec_hdmi_dev0";
            codecName = "codec_service_1";
            platformName = "hdmi_dma_service_0";
            cpuDaiName = "hdmi_dai_service";
            codecDaiName = "hdmi_codec_dai";
        }
...
    }
}

card_controller配置项根据声卡包含的驱动服务进行配置,不同声卡包含的驱动服务可能不同,HDMI声卡包含platform、dai和codec所以需要配置codecName codec驱动服务名称,platformName platform驱动服务名称、cpuDaiName platform侧dai服务名称、codecDaiName codec侧驱动服务名称。

match_attr配置项名称和HDMI声卡设备的私有配置名称相匹配,声卡设备可以根据这个私有配置找到声卡对应的codec、dai、platform驱动服务。

serviceName HDMI声卡服务名称,声卡加载成功后会生成/dev/hdf_audio_codec_hdmi_dev0结点。

5.3 配置文件:dma_config.hcs 添加HDMI声卡硬件信息。

文件路径:vendor/isoftstone/yangfan/hdf_config/khdf/audio/

此文件配置和HDMI声卡连接的SOC侧的DMA信息。具体信息可以通过查看cpu芯片手册得到。

root {
    platform {
        template dma_controller {
            match_attr = "";
            serviceName = "";
        }
...
        controller_0x120c1011 :: dma_controller {
            match_attr = "hdf_hdmi_dma_driver";
            serviceName = "hdmi_dma_service_0";
 
            idInfo {
                chipName = "/i2s@fe400000";  // 根据hdmi驱动芯片连接的I2S总线地址进行配置
                chipIdRegister = 0xfe400000;   // 根据hdmi驱动芯片连接的I2S总线地址进行配置
                chipIdSize = 0x1000;
            }
            regConfig {
                daiStartupSeqConfig = [
                    0x00,    0x00,     0,    0,    0,    0xFFFFFFFF,   0xFFFFFFFF,    0,   0x0,   //Transmit Operation Init
                ];
            }
        }
    }
}

此文件配置了HDMI声卡使用的dma信息。

match_attr配置项名称和HDMI声卡设备的dma服务私有配置名称相匹配。serviceName HDMI声卡dma驱动服务名称需要和device_info配置文件中HDMI声卡的dma驱动服务名称相同。

HDMI模块只需要配置idInfo配置项信息,其他配置项HDMI模块未使用。

5.4 配置文件:dai_config.hcs 添加HDMI声卡硬件信息。

文件路径:vendor/isoftstone/yangfan/hdf_config/khdf/audio/

此文件配置和HDMI声卡连接的SOC侧的i2s信息。具体信息可以通过查看cpu芯片手册得到。

root {
    platform {
        template dai_controller {
            match_attr = "";
            serviceName = "";
        }
...
        controller_0x120c1021 :: dai_controller {
            match_attr = "hdf_hdmi_dai_driver";
            serviceName = "hdmi_dai_service";
 
            idInfo {
                    chipName = "/i2s@fe400000";  // 根据hdmi驱动芯片连接的I2S总线地址进行配置
                    chipIdRegister = 0xfe400000;   // 根据hdmi驱动芯片连接的I2S总线地址进行配置
                    chipIdSize = 0x1000;
            }
            regConfig {
                daiStartupSeqConfig = [
                    0x00,    0x00,     0,    0,    0,    0xFFFFFFFF,   0xFFFFFFFF,    0,   0x0,   //Transmit Operation Init
                ];
            }
        }
    }
}

此文件配置了HDMI声卡使用的dai信息。match_attr配置项名称和HDMI声卡设备的dai服务私有配置名称相匹配。serviceName HDMI声卡dai驱动服务名称需要和device_info配置文件中HDMI声卡的dai驱动服务名称相同。

chipIdRegister HDMI驱动芯片连接的I2S总线地址,此信息可以通过cpu的芯片手册获取。

chipIdSize物理地址映射的虚拟地址大小。

5.5 配置文件:codec_config.hcs 添加HDMI声卡硬件信息。

文件路径:vendor/isoftstone/yangfan/hdf_config/khdf/audio/

此文件配置HDMI声卡信息。由于HDMI声卡只支持播放,此处只配置了播放的参数信息。

root {
    platform {
        template codec_controller {
            match_attr = "";
            serviceName = "";
            codecDaiName = "";
        }
...
        controller_0x120c1031 :: codec_controller {
            match_attr = "hdf_codec_driver_1";
            serviceName = "codec_service_1";
            codecDaiName = "hdmi_codec_dai";
 
            hwInfo = [
                /*
                    Playback/Captrue, formats, rates, rate_min, rate_max, channels_min, channels_max,
                    buffer_bytes_max, period_bytes_min, period_bytes_max, periods_min, periods_max
                */
                1, 0xF, 0xFF, 8000, 96000, 1, 2, 1, 2, 3, 4, 5
            ];
    }
...
}

此文件配置了HDMI声卡使用的codec信息。

match_attr配置项名称和HDMI声卡设备的codec服务私有配置名称相匹配。serviceName HDMI声卡codec驱动服务名称需要和device_info配置文件中HDMI声卡的codec驱动服务名称相同。

codecDaiName HDMI声卡使用的codec dai的设备名称,此处名称需要和audio_config配置文件中的codecDaiName名称相同。

hwInfo配置声卡的信息,包括声卡播放和录音支持的格式、采样率范围、通道范围、缓存buffer最大值、每个周期的字节范围、周期的范围。第一个配置项Playback对应的值为1,Captrue对应的值为2。其他配置项没有使用。

HDMI声卡只支持播放,这里只配置了播放,有些参数没有生效可以随便配置。

6 应用样例

audio_sample_render是用来测试录音功能的工具,audio_sample_capture是用来测试播放功能的工具,audio_sample_event是用来检测USB插拔事件上报的工具。这两个工具可以通过编译得到,编译命令如下:

./build.sh --product-name yangfan -T audio_sample_render -T audio_sample_capture -T audio_sample_event
hdc shell
cd /data/
./audio_sample_render YoungForYou.wav

7 功能验证

使用hdc工具推送audio_sample_render和audio_sample_event和wav音频文件到开发板data目录下:

hdc file send E:\audio_sample_render /data
hdc file send E:\audio_sample_event /data
hdc file send E:\xxx.wav /data

HDMI音频类设备插拔检测

进入shell端口进行一次HDMI设备插入、拔出流程。

hdc shell
# cd /data/# chmod +x audio_sample_event#./audio_sample_event

插入打印:

===============================================================================
@@@@@ serviceName: audio_hdi_pnp_service
@@@@@ deviceClass: 32
@@@@@ status     : 1
@@@@@ info       : EVENT_TYPE=0x1;DEVICE_TYPE=0x400
===============================================================================

拔出打印:

===============================================================================
@@@@@ serviceName: audio_hdi_pnp_service
@@@@@ deviceClass: 32
@@@@@ status     : 1
@@@@@ info       : EVENT_TYPE=0x2;DEVICE_TYPE=0x400
===============================================================================

HDMI音频类设备放音

进入shell端口进行一次完整的播放、停止、退出流程。

hdc shell
# cd /data/# chmod +x audio_sample_render## ./audio_sample_render YoungForYou.wav
 ==================== Loading Mode ===================
| 1. Passthrough Loading                               |
| 2. IPC Loading                                       |
 ======================================================
Please enter your choice:
2
 ================= Select Audio Card ==================
 1. primary
 2. primary1
 3. hdmi
 4. usb
 5. a2dp
 ======================================================
Please enter your choice:
3
 ================== Play Render Menu ==================
| 1. Render Start                                      |
| 2. Render Stop                                       |
| 3. Render Resume                                     |
| 4. Render Pause                                      |
| 5. Render SetVolume                                  |
| 6. Render GetGain                                    |
| 7. Render SetMute                                    |
| 8. Render SetAttributes                              |
| 9. Render SelectScene                                |
| 10. Render getEXtParams                              |
| 11. Render getMmapPosition                           |
| 12.Exit                                              |
 ======================================================
your choice is:
1
Music channels = 2
Music Rate     = 44100 Hz
Music Bit      = 16 bit
 ============= Play Render Mode ==========
| 1. Render non-mmap                     |
| 2. Render mmap                         |
 ========================================
Please enter your choice:
1
Start Successful,Music is playing
 ================== Play Render Menu ==================
| 1. Render Start                                      |
| 2. Render Stop                                       |
| 3. Render Resume                                     |
| 4. Render Pause                                      |
| 5. Render SetVolume                                  |
| 6. Render GetGain                                    |
| 7. Render SetMute                                    |
| 8. Render SetAttributes                              |
| 9. Render SelectScene                                |
| 10. Render getEXtParams                              |
| 11. Render getMmapPosition                           |
| 12.Exit                                              |
 ======================================================
your choice is:
2
Stop Successful
 ================== Play Render Menu ==================
| 1. Render Start                                      |
| 2. Render Stop                                       |
| 3. Render Resume                                     |
| 4. Render Pause                                      |
| 5. Render SetVolume                                  |
| 6. Render GetGain                                    |
| 7. Render SetMute                                    |
| 8. Render SetAttributes                              |
| 9. Render SelectScene                                |
| 10. Render getEXtParams                              |
| 11. Render getMmapPosition                           |
| 12.Exit                                              |
 ======================================================
your choice is:
12

8 总结

本文没有介绍HDMI声卡codec驱动的具体实现,代码路径drivers/hdf_core/framework/model/audio/hdmi。平台适配支持HDMI声卡可以不用关注驱动的具体实现。

支持HDMI声卡是OpenHarmony系统使用中不可或缺的一部分,是OpenHarmony系统用于投影仪、电视显示和生活场景的重要功能,本文介绍了OpenHarmony系统支持HDMI声卡的适配步骤希望对您有所帮助。

经常有很多小伙伴抱怨说:不知道学习鸿蒙开发哪些技术?不知道需要重点掌握哪些鸿蒙应用开发知识点?

为了能够帮助到大家能够有规划的学习,这里特别整理了一套纯血版鸿蒙(HarmonyOS Next)全栈开发技术的学习路线,包含了鸿蒙开发必掌握的核心知识要点,内容有(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、WebGL、元服务、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、OpenHarmony驱动开发、系统定制移植等等)鸿蒙(HarmonyOS NEXT)技术知识点。

在这里插入图片描述

《鸿蒙 (Harmony OS)开发学习手册》(共计892页):https://gitcode.com/HarmonyOS_MN/733GH/overview

如何快速入门?

1.基本概念
2.构建第一个ArkTS应用
3.……

开发基础知识:

1.应用基础知识
2.配置文件
3.应用数据管理
4.应用安全管理
5.应用隐私保护
6.三方应用调用管控机制
7.资源分类与访问
8.学习ArkTS语言
9.……

在这里插入图片描述

基于ArkTS 开发

1.Ability开发
2.UI开发
3.公共事件与通知
4.窗口管理
5.媒体
6.安全
7.网络与链接
8.电话服务
9.数据管理
10.后台任务(Background Task)管理
11.设备管理
12.设备使用信息统计
13.DFX
14.国际化开发
15.折叠屏系列
16.……

在这里插入图片描述

鸿蒙开发面试真题(含参考答案):https://gitcode.com/HarmonyOS_MN/733GH/overview

在这里插入图片描述

OpenHarmony 开发环境搭建

图片

《OpenHarmony源码解析》:https://gitcode.com/HarmonyOS_MN/733GH/overview

  • 搭建开发环境
  • Windows 开发环境的搭建
  • Ubuntu 开发环境搭建
  • Linux 与 Windows 之间的文件共享
  • ……
  • 系统架构分析
  • 构建子系统
  • 启动流程
  • 子系统
  • 分布式任务调度子系统
  • 分布式通信子系统
  • 驱动子系统
  • ……

图片

OpenHarmony 设备开发学习手册:https://gitcode.com/HarmonyOS_MN/733GH/overview

图片
在这里插入图片描述

Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐