本文完整记录在栗子派昇腾 310B 开发板(davinci-mini)上调试双 MIPI-CSI 摄像头(Sony IMX219)从出图到 RTSP 推流的全过程,覆盖硬件 lane 映射、代码修改、编译、出图验证、MediaMTX 推流部署与两类典型报错的排查。所有步骤均已实测通过。

一、环境信息

项目

值

开发板

栗子派昇腾 310B(davinci-mini),NPU 310B4

板卡 IP

192.168.137.100

登录用户

HwHiAiUser(su 切 root,密码相同)

摄像头

Sony IMX219,MIPI 2-lane,1080P@30fps RAW10

Demo 路径

/home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample

CANN 版本

CANN toolkit 8.5.0(aarch64-linux)

NPU 驱动版本

25.2.0

gcc 版本

11.3.0

板端预装

cmake、ffmpeg

二、两个摄像头模块硬件接线与关键参数

2.1 MIPI data lane 映射

传感器模块的 data lane 用 D0 / D1(2-lane)。排线把 D0/D1 直通到昇腾 PHY 的 lane 0 / lane 1(CSI0 接口)。昇腾 lane 是全局编号 0-7:PHY0 = lane 0-3(CSI0),PHY1 = lane 4-7(CSI1)。

调通双摄的前提,是理解昇腾 MIPI lane 的全局编号规则,以及 dev_id 到硬件资源的映射关系。

2.1.1 MIPI data lane 的全局编号

昇腾的 MIPI lane 是全局编号 0~7,与物理接口绑定:

物理接口

PHY

lane 全局编号

MipiDev

复位口 reset_port

CSI0

PHY0

0、1、2、3

0(用 lane 0,1)

0

CSI1

PHY1

4、5、6、7

2(用 lane 4,5)

1

要点:devno 与 lane 起点绑定(devno = n 时 lane 起点是 4n),所以第二个接口不是 MipiDev 1 而是 MipiDev 2;栗子派是连续走线(CSI0 用 {0,1},CSI1 用 {4,5}),官方 demo 是交错走线 {0,2}/{4,6},必须改;reset_port 由 MipiDev 自动映射(0/1→0,2/3→1),应用层无需单独改。

2.1.2 双摄像头 dev_id 映射

demo 用 dev_id(0 或 1)区分两块传感器,最终参数全部由 dev_id * 2 推导:

参数

摄像头 0(dev_id=0)

摄像头 1(dev_id=1)

I2C 总线号 s32BusId

0

2

MipiDev

0

2

Pipe(aPipe[0])

0

2

ViDev

0

2

三、代码修改清单

3.1 sensor_management.c —— lane 映射

文件 sensor_sample/sensor_management.c,函数 Sample_Set_Mipi_2lane()。这是 lane 编号唯一真正生效的位置(config.h 里的 lane 会被这里硬编码覆盖)。官方默认 case 0 是 {0,2}、case 2 是 {4,6},栗子派是连续走线,改为:

case 0:
    pstComboAttr->mipi_attr.lane_id[0] = 0;
    pstComboAttr->mipi_attr.lane_id[1] = 1;   // 官方是 2,改成 1
    break;
case 2:
    pstComboAttr->mipi_attr.lane_id[0] = 4;
    pstComboAttr->mipi_attr.lane_id[1] = 5;   // 官方是 6,改成 5
    break;

3.2 viwithsensor.c —— I2C 总线号

函数 get_sample_vi_info_by_sensorType() 的 IMX219 分支,把四个参数全部改为由 dev_id 推导:

case SONY_IMX219_MIPI_1920x1080_10BIT_30FPS_NORMAL:
    memcpy(sample_vi_info, &sample_vi_info_linear, sizeof(SAMPLE_VI_INFO_S));
    sample_vi_info->stSnsInfo.enSnsType = sensor_type;
    sample_vi_info->stSnsInfo.s32BusId = dev_id * 2;
    sample_vi_info->stSnsInfo.s32SnsId = 0;
    sample_vi_info->stSnsInfo.MipiDev = dev_id * 2;
    sample_vi_info->stPipeInfo.aPipe[0] = dev_id * 2;
    sample_vi_info->stDevInfo.ViDev = dev_id * 2;
    pipe_mult_sensor[dev_id] = dev_id * 2;
    break;

3.3 viwithsensor.c —— divide_mode 与工作路数

函数 start_camera() 开头,双路时必须让 s32WorkingViNum = 2(单路 = 1):

if (sensor_info.sensor_num == 1) {
    divide_mode = 1;
    g_stViConfig.s32WorkingViNum = 1; // simple pipe
} else {
    divide_mode = 1;
    g_stViConfig.s32WorkingViNum = 2; // 双路
}

divide_mode = 1 表示 4+4 分配(PHY0 + PHY1 各一路),双摄场景下保持不变。

3.4 viwithsensor.c —— 双路 RTSP 推流函数(新增)

这是下文「RTSP 推流」一节的核心,新增一组函数:stream_setup_chn()(设 VI 通道缓存深度)、open_stream_pipe()(拉起 ffmpeg 子进程)、stream_one_frame()(取一帧写入 ffmpeg)、stream_dual()(双路主循环)。完整代码见「RTSP 推流」一节。

3.5 CMakeLists.txt —— 链接选项

在顶层 camera_sample/CMakeLists.txt 的 project(...) 行之后插入:

set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -Wl,--allow-shlib-undefined")

作用:编译期链接的是 stub 桩库,运行才换真实库,桩库里缺 dvpp:: / ge:: 符号,必须允许共享库未定义符号,否则链接期报 undefined reference。

3.6 删除 imx477

本教程只用到 IMX219,IMX477 的 sensor 控制代码会引入 acl/dvpp 头文件依赖,产生额外编译报错。最终采用删除 IMX477 的方案:

1. sensor_management.c的g_enSnsObj[]数组里删除&g_sns_imx477_obj这一项;

2. 顶层CMakeLists.txt里删除 imx477 相关的add_library/add_subdirectory。

注意:删除 imx477 后若仍报 undefined reference to 'g_sns_imx477_obj',说明 g_enSnsObj[] 数组里还残留引用,两处必须同步删除。

四、编译流程

昇腾 demo 采用「先编 sensor 库、再编主程序」的两步构建,且受板卡 RTC 时钟影响需要强制重链。

4.1 编译环境变量

export NPU_HOST_INC=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/include
export NPU_HOST_LIB=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/lib64

ascend-toolkit/latest 是指向 cann-8.5.0 的软链。若编译报 hi_mpi_isp.h 找不到,说明 NPU_HOST_INC 指到了空目录或错误的 toolkit 路径。

4.2 第一步:先编译 sensor 库

sensor 库(生成 libsns_imx219.so)必须先单独编译:

cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample/sensor/sony_imx219
rm -rf build && mkdir build && cd build
cmake .. -DCMAKE_C_COMPILER=gcc -DCMAKE_SKIP_RPATH=TRUE && make

4.3 第二步:编译主程序

cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample
mkdir -p build && cd build
cmake .. -DCMAKE_C_COMPILER=gcc -DCMAKE_SKIP_RPATH=TRUE && make

成功后生成可执行文件 build/vi_l1_sample。

4.4 强制重链(重要)

本板卡 RTC 时钟停在 2022 年,改代码后 make 会误判新旧文件(报 Clock skew)而跳过重新链接,导致改动不生效。改完代码必须强制重链:

cd build
touch ../vi_with_sensor.c
rm -f vi_l1_sample CMakeFiles/vi_l1_sample.dir/vi_with_sensor.c.o
make

五、出图验证

完成编译后,通过 dump 模式取单帧 yuv 转 PNG,验证两路摄像头同时出图。

5.1 运行

cd build
export LD_LIBRARY_PATH=/usr/local/Ascend/cann-8.5.0/aarch64-linux/lib64:/usr/local/Ascend/driver/lib64
ln -sf /usr/lib64/libmpi_dvpp_adapter.so /lib64/
./vi_l1_sample 1 2 1

5.2 成功标志

日志依次出现:两路 MipiDev 0 / MipiDev 2 init success、ISP Dev 0/2 running、get_chn_frame success、program exit normally!。生成两个 yuv 文件,每个 3110400 字节(= 1920 × 1080 × 3/2,NV21 一帧):

vi_pipe0_chn0_w1920_h1080.yuv   # 摄像头 0
vi_pipe2_chn0_w1920_h1080.yuv   # 摄像头 1

注意:demo 的 dump() 里 "get_chn_frame success" 是无条件打印的(代码 bug),失败也会显示。判断成败要看 yuv 文件是否真的落盘、大小是否 = 3110400。

5.3 YUV 转 PNG 查看(PC 端)

VI 输出是 NV21(YVUSEMIPLANAR420),转图注意别用 NV12(否则红蓝色颠倒):

ffmpeg -f rawvideo -pix_fmt nv21 -s 1920x1080 -i vi_pipe0_chn0_w1920_h1080.yuv cam0.png
ffmpeg -f rawvideo -pix_fmt nv21 -s 1920x1080 -i vi_pipe2_chn0_w1920_h1080.yuv cam2.png

两张 PNG 都能看到正常图像,即代表双摄像头同时出图成功。生成 PNG 后使用 SFTP 传到 PC 查看。

六、双摄像头 RTSP 推流

在出图基础上,部署 MediaMTX 服务端并新增推流函数,实现标准 RTSP 推流。

6.1 方案架构

ffmpeg 只有 RTSP 客户端/推流能力,没有 RTSP 服务端。要提供标准 rtsp://IP:port/path,板上必须跑一个 RTSP 服务器。选用 MediaMTX(Go 静态编译、单文件、无依赖、支持多客户端)。数据链路:

IMX219 --→ VI(pipe0/pipe2) --→ ffmpeg(x264) --→ rtsp://127.0.0.1:8554/camN
                                                        │
客户端(VLC/ffplay) ←-- rtsp://192.168.137.100:8554/camN ←-- MediaMTX

推流走本机回环(127.0.0.1),不发网卡;客户端按需 TCP/UDP 取流。

6.2 部署 MediaMTX

下载 arm64 静态包(板卡直连 GitHub 不通时用镜像加速),解压到 /opt/mediamtx:

# 在PC端下载(或板端用可用镜像)
curl -L -o mediamtx.tar.gz "https://ghfast.top/https://github.com/bluenviron/mediamtx/releases/download/v1.11.3/mediamtx_v1.11.3_linux_arm64v8.tar.gz"

# 上传到板卡后
mkdir -p /opt/mediamtx
tar xzf mediamtx.tar.gz -C /opt/mediamtx
chmod +x /opt/mediamtx/mediamtx

6.3 MediaMTX 配置

覆盖 /opt/mediamtx/mediamtx.yml(只保留 RTSP,关闭 HLS/WebRTC/SRT/API 降低开销):

logLevel: info
api: no
hls: no
webrtc: no
srt: no

rtsp: yes
rtspTransports: [tcp, udp]
rtspAddress: :8554
rtpAddress: :8100
rtcpAddress: :8101

paths:
  cam0:
    source: publisher
  cam2:
    source: publisher

RTP/RTCP 用 8100/8101(默认 8000/8001 在部分板卡镜像被占用)。

6.4 systemd 守护服务

创建 /etc/systemd/system/mediamtx.service,开机自启 + 异常自动重启:

[Unit]
Description=MediaMTX RTSP server (dual IMX219 cameras)
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
WorkingDirectory=/opt/mediamtx
ExecStart=/opt/mediamtx/mediamtx /opt/mediamtx/mediamtx.yml
Restart=always
RestartSec=2
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

启用并启动:

systemctl daemon-reload
systemctl enable --now mediamtx
systemctl status mediamtx

6.5 推流代码

在 vi_with_sensor.c 新增推流函数,默认走 RTSP。推流函数用到 memset、usleep、gettimeofday,需先在文件顶部(#include <errno.h> 之后)补三个头文件,并在推流函数之前定义信号停止标志(否则编译会报 stream_sig_handler / g_stream_stop 未定义):

#include <string.h>
#include <unistd.h>
#include <sys/time.h>

/* 推流停止标志与信号处理 */
static volatile sig_atomic_t g_stream_stop = 0;

static hi_void stream_sig_handler(int sig)
{
    (hi_void)sig;
    g_stream_stop = 1;
}

启动一路 ffmpeg(NV21 1920x1080 -> 1280x720 -> H.264,推 RTSP 到本机 mediamtx,支持多客户端):

static FILE *open_stream_pipe(hi_s32 pipe, hi_u32 port)
{
    hi_char cmd[512];
    const hi_char *rtsp_host = getenv("RTSP_HOST");
    const hi_char *rtsp_port = getenv("RTSP_PORT");

    if (rtsp_host == HI_NULL) { rtsp_host = "127.0.0.1"; }
    if (rtsp_port == HI_NULL) { rtsp_port = "8554"; }

    snprintf(cmd, sizeof(cmd),
        "ffmpeg -loglevel error -f rawvideo -pix_fmt nv21 -s 1920x1080 -r 25 -i - "
        "-vf scale=1280:720 -c:v libx264 -preset ultrafast -tune zerolatency -bf 0 -g 25 -b:v 3M "
        "-f rtsp -rtsp_transport tcp rtsp://%s:%s/cam%d", rtsp_host, rtsp_port, pipe);

    SAMPLE_PRT("stream pipe%d cmd: %s\n", pipe, cmd);
    return popen(cmd, "w");
}

关键配套函数:

/* 设置取帧通道缓存深度,否则 get_chn_frame 拿不到帧 */
static hi_void stream_setup_chn(hi_s32 pipe)
{
    hi_vi_chn_attr stChnAttr;
    if (hi_mpi_vi_get_chn_attr(pipe, 0, &stChnAttr) == HI_SUCCESS) {
        stChnAttr.depth = 3;
        (hi_void)hi_mpi_vi_set_chn_attr(pipe, 0, &stChnAttr);
    }
}

/* 取一帧写入 ffmpeg 子进程 */
static hi_s32 stream_one_frame(hi_s32 pipe, FILE *fp)
{
    hi_video_frame_info stFrame;
    hi_s32 s32Ret;
    hi_u32 u32Size;

    memset(&stFrame, 0, sizeof(stFrame));
    s32Ret = hi_mpi_vi_get_chn_frame(pipe, 0, &stFrame, 1000);
    if (s32Ret != HI_SUCCESS) { return s32Ret; }
    u32Size = stFrame.v_frame.width * stFrame.v_frame.height * 3 / 2;
    if (fwrite(stFrame.v_frame.phys_addr[0], u32Size, 1, fp) != 1) {
        (hi_void)hi_mpi_vi_release_chn_frame(pipe, 0, &stFrame);
        return HI_FAILURE;
    }
    fflush(fp);
    (hi_void)hi_mpi_vi_release_chn_frame(pipe, 0, &stFrame);
    return HI_SUCCESS;
}

双路推流主循环(pipe0 → cam0,pipe2 → cam2,25fps 节流):

hi_s32 stream_dual(hi_u32 sensor_num)
{
    FILE *fp0 = HI_NULL, *fp2 = HI_NULL;
    struct timeval tv;
    hi_u64 u64Last, u64Now;
    hi_u64 u64Interval = 1000000 / 25; /* 25fps */

    signal(SIGINT, stream_sig_handler);
    signal(SIGTERM, stream_sig_handler);
    signal(SIGPIPE, SIG_IGN);

    (hi_void)stream_setup_chn(0);
    if (sensor_num == 2) { (hi_void)stream_setup_chn(2); }

    fp0 = open_stream_pipe(0, 5004);
    if (sensor_num == 2) { fp2 = open_stream_pipe(2, 5006); }

    gettimeofday(&tv, HI_NULL);
    u64Last = (hi_u64)tv.tv_sec * 1000000ULL + (hi_u64)tv.tv_usec;

    while (g_stream_stop == 0) {
        (hi_void)stream_one_frame(0, fp0);
        if (fp2 != HI_NULL) { (hi_void)stream_one_frame(2, fp2); }
        gettimeofday(&tv, HI_NULL);
        u64Now = (hi_u64)tv.tv_sec * 1000000ULL + (hi_u64)tv.tv_usec;
        if (u64Now - u64Last < u64Interval) {
            usleep((useconds_t)(u64Interval - (u64Now - u64Last)));
            u64Last += u64Interval;
        } else { u64Last = u64Now; }
    }
    pclose(fp0);
    if (fp2 != HI_NULL) { pclose(fp2); }
    return HI_SUCCESS;
}

在 vi_with_sensor() 函数内部、start_camera 成功之后触发推流(STREAM=1 时):

if (getenv("STREAM") != HI_NULL) { /* 实时推流模式 */
    sleep(20); /* 等待 AE/AWB 收敛 */
    (hi_void)stream_dual(info.sensor_num);
    goto exit;
}

注意:这段 if 必须放在函数体内,不能放到文件末尾或函数体外,否则会因 info 未定义、goto 标签越界而编译失败。

关键坑:VI 通道必须设 depth = 3(stream_setup_chn),否则 get_chn_frame 超时拿不到帧。

6.6 编译

重新编译主程序:

cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample/build
export NPU_HOST_INC=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/include
export NPU_HOST_LIB=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/lib64
# 强制重链
touch ../vi_with_sensor.c
rm -f vi_l1_sample CMakeFiles/vi_l1_sample.dir/vi_with_sensor.c.o
make -j4

6.7 启动

# 确认 mediamtx 已运行
systemctl is-active mediamtx        # 应输出 active

cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample/build
# 启动推流
setsid bash -c 'export LD_LIBRARY_PATH=/usr/local/Ascend/cann-8.5.0/aarch64-linux/lib64:/usr/local/Ascend/driver/lib64; export STREAM=1; exec ./vi_l1_sample 1 2 1' >/tmp/stream.log 2>&1 </dev/null &

6.8 停止

pkill -x vi_l1_sample          # 杀主程序进程
pkill -f '[f]fmpeg .*rawvideo' # 杀两个 ffmpeg 推流子进程

注意:pkill -f vi_l1_sample 会匹配到执行它的 shell 自身命令行,导致后续命令不执行,必须用 pkill -x。

七、拉流验证与播放

推流启动后,先以 RTSP 握手验证会话,再用 VLC / ffplay 播放画面。

7.1 RTSP 握手验证(PC 端)

标准 RTSP 会话,DESCRIBE / SETUP / PLAY 均返回 200,SDP 正常(m=video 0 RTP/AVP 96,a=rtpmap:96 H264/90000)。实测两路 5 秒分别收到 1400+ RTP 包(约 3.0 Mbps),RTP 时间戳推进与墙钟一致,无断流。

7.2 播放

摄像头

地址

CSI0(cam0)

rtsp://192.168.137.100:8554/cam0

CSI1(cam2)

rtsp://192.168.137.100:8554/cam2

VLC:媒体 → 打开网络串流 → 输入上述地址。命令行等价:

vlc rtsp://192.168.137.100:8554/cam0

PC 端拉流播放:

# PC端拉流播放 cam0 视频流
ffplay -fflags nobuffer -flags low_delay -framedrop -rtsp_transport tcp rtsp://192.168.137.100:8554/cam0
# PC端拉流播放 cam2 视频流
ffplay -fflags nobuffer -flags low_delay -framedrop -rtsp_transport tcp rtsp://192.168.137.100:8554/cam2

7.3 多客户端

MediaMTX 天然支持多客户端同时拉同一路流(VLC / 手机 / 录制端互不干扰),这是 UDP 单播做不到的。传输方式:服务端同时开 TCP + UDP,VLC 默认先试 UDP,丢包严重时改用 --rtsp-tcp。

八、常见运行报错

8.1 HIMPIVI_SetDevAttr failed with 0xa0108008(拍照失败)

现象:在全新系统的板卡上运行拍照程序 ./vi_l1_sample 1 2 1,日志表现为:

HI_MIPI_CONFIG_SENSOR_CLOCK. Clock Source: 0, Clock Frequency: 5 OK   ← 正常
HI_MIPI_RESET_SENSOR Reset Port: 0 OK                                ← 正常
[Sample_Comm_Vi_SetMipiAttr]: MipiDev 0/2, SetMipiAttr enWDRMode: 0  ← 正常
[Sample_Comm_Vi_StartDev]: ViDev 0!
HI_MPI_VI_SetDevAttr failed with 0xa0108008!                         ← 失败点

特征:MIPI 时钟配置、复位、SetMipiAttr 全部成功,唯独 hi_mpi_vi_set_dev_attr 报错。

错误码含义:0xa0108008 = HI_ERR_VI_NOT_SUPPORT(操作不支持)。

根因:昇腾媒体 MPI 适配层(acl_adapter_filter.c)硬编码从 /lib64/ 加载 libmpi_dvpp_adapter.so 来判断芯片型号(chiptype)。全新系统 /lib64/ 下缺这个库(实际只在 /usr/lib64/ 下),导致适配层判不到 chiptype,于是 VI/ISP 所有 hi_mpi_* 接口被统一标记为「不支持」。而 MIPI 的时钟/复位/属性配置走的是 /dev/hi_mipi_rx 的 ioctl,不经过该适配层,所以前面那些操作都正常——这正是「MIPI 正常、VI 报 not support」的典型特征。

文件核对:

ls /lib64/libmpi_dvpp_adapter.so        # 不存在(No such file or directory)
ls /usr/lib64/libmpi_dvpp_adapter.so    # 存在(约 1MB)

解决方案:

ln -sf /usr/lib64/libmpi_dvpp_adapter.so /lib64/

软链建在 /lib64/(磁盘文件系统),重启后仍有效,只需执行一次。

验证结果:重跑拍照程序,SetDevAttr 通过,双摄各生成 vi_pipe0/2_chn0_w1920_h1080.yuv(3110400 字节 = 1920×1080×1.5),program exit normally!。

8.2 sh: line 1: ffmpeg: command not found(推流失败)

现象:拍照正常后,运行推流程序(STREAM=1 ./vi_l1_sample 1 2 1),VI/ISP 初始化全部成功,但报:

[Sample_Comm_Isp_Thread]: ISP Dev 0 running!
[Sample_Comm_Isp_Thread]: ISP Dev 2 running!
sh: line 1: ffmpeg: command not found
sh: line 1: ffmpeg: command not found

根因:推流代码 open_stream_pipe() 通过 popen() 拉起 ffmpeg 子进程,用 ffmpeg 完成「NV21 → x264 编码 → RTSP 推流」。全新系统未安装 ffmpeg,popen 找不到该命令。

解决方案:

apt-get update
apt-get install -y ffmpeg

安装后 which ffmpeg 返回 /usr/bin/ffmpeg(版本 3.4.11)。

验证结果:重启推流后,两个 ffmpeg 子进程正常拉起(25fps、-bf 0 -g 25、RTSP 推 cam0/cam2),PC 端 RTSP 拉流 cam0、cam2 均返回 RTSP/1.0 200 OK。


结语

整条链路的核心难点有三个:一是昇腾 MIPI lane 是全局编号,双摄第二个接口是 MipiDev 2 而非 1,且栗子派连续走线要求改 lane 映射;二是板卡 RTC 时钟停在 2022 年,改代码后必须强制重链,否则改动不生效;三是全新系统缺 /lib64/libmpi_dvpp_adapter.so 与 ffmpeg,会分别导致拍照和推流失败。把这三点理顺,双 MIPI-CSI 摄像头出图 + RTSP 推流即可稳定跑通。

如果你在昇腾 310B 上做多摄像头或推流时遇到其他问题,欢迎在评论区交流。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐