【技术贴】栗子派昇腾 310B 开发板双 MIPI-CSI 摄像头出图 + RTSP 推流调试全流程
本文完整记录在栗子派昇腾 310B 开发板(davinci-mini)上调试双 MIPI-CSI 摄像头(Sony IMX219)从出图到 RTSP 推流的全过程,覆盖硬件 lane 映射、代码修改、编译、出图验证、MediaMTX 推流部署与两类典型报错的排查。所有步骤均已实测通过。
一、环境信息
|
项目 |
值 |
|
开发板 |
栗子派昇腾 310B(davinci-mini),NPU 310B4 |
|
板卡 IP |
192.168.137.100 |
|
登录用户 |
HwHiAiUser(su 切 root,密码相同) |
|
摄像头 |
Sony IMX219,MIPI 2-lane,1080P@30fps RAW10 |
|
Demo 路径 |
|
|
CANN 版本 |
CANN toolkit 8.5.0(aarch64-linux) |
|
NPU 驱动版本 |
25.2.0 |
|
gcc 版本 |
11.3.0 |
|
板端预装 |
cmake、ffmpeg |
二、两个摄像头模块硬件接线与关键参数
2.1 MIPI data lane 映射
传感器模块的 data lane 用 D0 / D1(2-lane)。排线把 D0/D1 直通到昇腾 PHY 的 lane 0 / lane 1(CSI0 接口)。昇腾 lane 是全局编号 0-7:PHY0 = lane 0-3(CSI0),PHY1 = lane 4-7(CSI1)。
调通双摄的前提,是理解昇腾 MIPI lane 的全局编号规则,以及 dev_id 到硬件资源的映射关系。
2.1.1 MIPI data lane 的全局编号
昇腾的 MIPI lane 是全局编号 0~7,与物理接口绑定:
|
物理接口 |
PHY |
lane 全局编号 |
MipiDev |
复位口 reset_port |
|
CSI0 |
PHY0 |
0、1、2、3 |
0(用 lane 0,1) |
0 |
|
CSI1 |
PHY1 |
4、5、6、7 |
2(用 lane 4,5) |
1 |
要点:devno 与 lane 起点绑定(devno = n 时 lane 起点是 4n),所以第二个接口不是 MipiDev 1 而是 MipiDev 2;栗子派是连续走线(CSI0 用 {0,1},CSI1 用 {4,5}),官方 demo 是交错走线 {0,2}/{4,6},必须改;reset_port 由 MipiDev 自动映射(0/1→0,2/3→1),应用层无需单独改。
2.1.2 双摄像头 dev_id 映射
demo 用 dev_id(0 或 1)区分两块传感器,最终参数全部由 dev_id * 2 推导:
|
参数 |
摄像头 0(dev_id=0) |
摄像头 1(dev_id=1) |
|
I2C 总线号 s32BusId |
0 |
2 |
|
MipiDev |
0 |
2 |
|
Pipe(aPipe[0]) |
0 |
2 |
|
ViDev |
0 |
2 |
三、代码修改清单
3.1 sensor_management.c —— lane 映射
文件 sensor_sample/sensor_management.c,函数 Sample_Set_Mipi_2lane()。这是 lane 编号唯一真正生效的位置(config.h 里的 lane 会被这里硬编码覆盖)。官方默认 case 0 是 {0,2}、case 2 是 {4,6},栗子派是连续走线,改为:
case 0:
pstComboAttr->mipi_attr.lane_id[0] = 0;
pstComboAttr->mipi_attr.lane_id[1] = 1; // 官方是 2,改成 1
break;
case 2:
pstComboAttr->mipi_attr.lane_id[0] = 4;
pstComboAttr->mipi_attr.lane_id[1] = 5; // 官方是 6,改成 5
break;
3.2 viwithsensor.c —— I2C 总线号
函数 get_sample_vi_info_by_sensorType() 的 IMX219 分支,把四个参数全部改为由 dev_id 推导:
case SONY_IMX219_MIPI_1920x1080_10BIT_30FPS_NORMAL:
memcpy(sample_vi_info, &sample_vi_info_linear, sizeof(SAMPLE_VI_INFO_S));
sample_vi_info->stSnsInfo.enSnsType = sensor_type;
sample_vi_info->stSnsInfo.s32BusId = dev_id * 2;
sample_vi_info->stSnsInfo.s32SnsId = 0;
sample_vi_info->stSnsInfo.MipiDev = dev_id * 2;
sample_vi_info->stPipeInfo.aPipe[0] = dev_id * 2;
sample_vi_info->stDevInfo.ViDev = dev_id * 2;
pipe_mult_sensor[dev_id] = dev_id * 2;
break;
3.3 viwithsensor.c —— divide_mode 与工作路数
函数 start_camera() 开头,双路时必须让 s32WorkingViNum = 2(单路 = 1):
if (sensor_info.sensor_num == 1) {
divide_mode = 1;
g_stViConfig.s32WorkingViNum = 1; // simple pipe
} else {
divide_mode = 1;
g_stViConfig.s32WorkingViNum = 2; // 双路
}
divide_mode = 1 表示 4+4 分配(PHY0 + PHY1 各一路),双摄场景下保持不变。
3.4 viwithsensor.c —— 双路 RTSP 推流函数(新增)
这是下文「RTSP 推流」一节的核心,新增一组函数:stream_setup_chn()(设 VI 通道缓存深度)、open_stream_pipe()(拉起 ffmpeg 子进程)、stream_one_frame()(取一帧写入 ffmpeg)、stream_dual()(双路主循环)。完整代码见「RTSP 推流」一节。
3.5 CMakeLists.txt —— 链接选项
在顶层 camera_sample/CMakeLists.txt 的 project(...) 行之后插入:
set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -Wl,--allow-shlib-undefined")
作用:编译期链接的是 stub 桩库,运行才换真实库,桩库里缺 dvpp:: / ge:: 符号,必须允许共享库未定义符号,否则链接期报 undefined reference。
3.6 删除 imx477
本教程只用到 IMX219,IMX477 的 sensor 控制代码会引入 acl/dvpp 头文件依赖,产生额外编译报错。最终采用删除 IMX477 的方案:
1. sensor_management.c的g_enSnsObj[]数组里删除&g_sns_imx477_obj这一项;
2. 顶层CMakeLists.txt里删除 imx477 相关的add_library/add_subdirectory。
注意:删除 imx477 后若仍报
undefined reference to 'g_sns_imx477_obj',说明g_enSnsObj[]数组里还残留引用,两处必须同步删除。
四、编译流程
昇腾 demo 采用「先编 sensor 库、再编主程序」的两步构建,且受板卡 RTC 时钟影响需要强制重链。
4.1 编译环境变量
export NPU_HOST_INC=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/include
export NPU_HOST_LIB=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/lib64
ascend-toolkit/latest 是指向 cann-8.5.0 的软链。若编译报 hi_mpi_isp.h 找不到,说明 NPU_HOST_INC 指到了空目录或错误的 toolkit 路径。
4.2 第一步:先编译 sensor 库
sensor 库(生成 libsns_imx219.so)必须先单独编译:
cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample/sensor/sony_imx219
rm -rf build && mkdir build && cd build
cmake .. -DCMAKE_C_COMPILER=gcc -DCMAKE_SKIP_RPATH=TRUE && make
4.3 第二步:编译主程序
cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample
mkdir -p build && cd build
cmake .. -DCMAKE_C_COMPILER=gcc -DCMAKE_SKIP_RPATH=TRUE && make
成功后生成可执行文件 build/vi_l1_sample。
4.4 强制重链(重要)
本板卡 RTC 时钟停在 2022 年,改代码后 make 会误判新旧文件(报 Clock skew)而跳过重新链接,导致改动不生效。改完代码必须强制重链:
cd build
touch ../vi_with_sensor.c
rm -f vi_l1_sample CMakeFiles/vi_l1_sample.dir/vi_with_sensor.c.o
make
五、出图验证
完成编译后,通过 dump 模式取单帧 yuv 转 PNG,验证两路摄像头同时出图。
5.1 运行
cd build
export LD_LIBRARY_PATH=/usr/local/Ascend/cann-8.5.0/aarch64-linux/lib64:/usr/local/Ascend/driver/lib64
ln -sf /usr/lib64/libmpi_dvpp_adapter.so /lib64/
./vi_l1_sample 1 2 1
5.2 成功标志
日志依次出现:两路 MipiDev 0 / MipiDev 2 init success、ISP Dev 0/2 running、get_chn_frame success、program exit normally!。生成两个 yuv 文件,每个 3110400 字节(= 1920 × 1080 × 3/2,NV21 一帧):
vi_pipe0_chn0_w1920_h1080.yuv # 摄像头 0
vi_pipe2_chn0_w1920_h1080.yuv # 摄像头 1
注意:demo 的
dump()里"get_chn_frame success"是无条件打印的(代码 bug),失败也会显示。判断成败要看 yuv 文件是否真的落盘、大小是否 = 3110400。
5.3 YUV 转 PNG 查看(PC 端)
VI 输出是 NV21(YVUSEMIPLANAR420),转图注意别用 NV12(否则红蓝色颠倒):
ffmpeg -f rawvideo -pix_fmt nv21 -s 1920x1080 -i vi_pipe0_chn0_w1920_h1080.yuv cam0.png
ffmpeg -f rawvideo -pix_fmt nv21 -s 1920x1080 -i vi_pipe2_chn0_w1920_h1080.yuv cam2.png
两张 PNG 都能看到正常图像,即代表双摄像头同时出图成功。生成 PNG 后使用 SFTP 传到 PC 查看。
六、双摄像头 RTSP 推流
在出图基础上,部署 MediaMTX 服务端并新增推流函数,实现标准 RTSP 推流。
6.1 方案架构
ffmpeg 只有 RTSP 客户端/推流能力,没有 RTSP 服务端。要提供标准 rtsp://IP:port/path,板上必须跑一个 RTSP 服务器。选用 MediaMTX(Go 静态编译、单文件、无依赖、支持多客户端)。数据链路:
IMX219 --→ VI(pipe0/pipe2) --→ ffmpeg(x264) --→ rtsp://127.0.0.1:8554/camN
│
客户端(VLC/ffplay) ←-- rtsp://192.168.137.100:8554/camN ←-- MediaMTX
推流走本机回环(127.0.0.1),不发网卡;客户端按需 TCP/UDP 取流。
6.2 部署 MediaMTX
下载 arm64 静态包(板卡直连 GitHub 不通时用镜像加速),解压到 /opt/mediamtx:
# 在PC端下载(或板端用可用镜像)
curl -L -o mediamtx.tar.gz "https://ghfast.top/https://github.com/bluenviron/mediamtx/releases/download/v1.11.3/mediamtx_v1.11.3_linux_arm64v8.tar.gz"
# 上传到板卡后
mkdir -p /opt/mediamtx
tar xzf mediamtx.tar.gz -C /opt/mediamtx
chmod +x /opt/mediamtx/mediamtx
6.3 MediaMTX 配置
覆盖 /opt/mediamtx/mediamtx.yml(只保留 RTSP,关闭 HLS/WebRTC/SRT/API 降低开销):
logLevel: info
api: no
hls: no
webrtc: no
srt: no
rtsp: yes
rtspTransports: [tcp, udp]
rtspAddress: :8554
rtpAddress: :8100
rtcpAddress: :8101
paths:
cam0:
source: publisher
cam2:
source: publisher
RTP/RTCP 用 8100/8101(默认 8000/8001 在部分板卡镜像被占用)。
6.4 systemd 守护服务
创建 /etc/systemd/system/mediamtx.service,开机自启 + 异常自动重启:
[Unit]
Description=MediaMTX RTSP server (dual IMX219 cameras)
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
WorkingDirectory=/opt/mediamtx
ExecStart=/opt/mediamtx/mediamtx /opt/mediamtx/mediamtx.yml
Restart=always
RestartSec=2
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
启用并启动:
systemctl daemon-reload
systemctl enable --now mediamtx
systemctl status mediamtx
6.5 推流代码
在 vi_with_sensor.c 新增推流函数,默认走 RTSP。推流函数用到 memset、usleep、gettimeofday,需先在文件顶部(#include <errno.h> 之后)补三个头文件,并在推流函数之前定义信号停止标志(否则编译会报 stream_sig_handler / g_stream_stop 未定义):
#include <string.h>
#include <unistd.h>
#include <sys/time.h>
/* 推流停止标志与信号处理 */
static volatile sig_atomic_t g_stream_stop = 0;
static hi_void stream_sig_handler(int sig)
{
(hi_void)sig;
g_stream_stop = 1;
}
启动一路 ffmpeg(NV21 1920x1080 -> 1280x720 -> H.264,推 RTSP 到本机 mediamtx,支持多客户端):
static FILE *open_stream_pipe(hi_s32 pipe, hi_u32 port)
{
hi_char cmd[512];
const hi_char *rtsp_host = getenv("RTSP_HOST");
const hi_char *rtsp_port = getenv("RTSP_PORT");
if (rtsp_host == HI_NULL) { rtsp_host = "127.0.0.1"; }
if (rtsp_port == HI_NULL) { rtsp_port = "8554"; }
snprintf(cmd, sizeof(cmd),
"ffmpeg -loglevel error -f rawvideo -pix_fmt nv21 -s 1920x1080 -r 25 -i - "
"-vf scale=1280:720 -c:v libx264 -preset ultrafast -tune zerolatency -bf 0 -g 25 -b:v 3M "
"-f rtsp -rtsp_transport tcp rtsp://%s:%s/cam%d", rtsp_host, rtsp_port, pipe);
SAMPLE_PRT("stream pipe%d cmd: %s\n", pipe, cmd);
return popen(cmd, "w");
}
关键配套函数:
/* 设置取帧通道缓存深度,否则 get_chn_frame 拿不到帧 */
static hi_void stream_setup_chn(hi_s32 pipe)
{
hi_vi_chn_attr stChnAttr;
if (hi_mpi_vi_get_chn_attr(pipe, 0, &stChnAttr) == HI_SUCCESS) {
stChnAttr.depth = 3;
(hi_void)hi_mpi_vi_set_chn_attr(pipe, 0, &stChnAttr);
}
}
/* 取一帧写入 ffmpeg 子进程 */
static hi_s32 stream_one_frame(hi_s32 pipe, FILE *fp)
{
hi_video_frame_info stFrame;
hi_s32 s32Ret;
hi_u32 u32Size;
memset(&stFrame, 0, sizeof(stFrame));
s32Ret = hi_mpi_vi_get_chn_frame(pipe, 0, &stFrame, 1000);
if (s32Ret != HI_SUCCESS) { return s32Ret; }
u32Size = stFrame.v_frame.width * stFrame.v_frame.height * 3 / 2;
if (fwrite(stFrame.v_frame.phys_addr[0], u32Size, 1, fp) != 1) {
(hi_void)hi_mpi_vi_release_chn_frame(pipe, 0, &stFrame);
return HI_FAILURE;
}
fflush(fp);
(hi_void)hi_mpi_vi_release_chn_frame(pipe, 0, &stFrame);
return HI_SUCCESS;
}
双路推流主循环(pipe0 → cam0,pipe2 → cam2,25fps 节流):
hi_s32 stream_dual(hi_u32 sensor_num)
{
FILE *fp0 = HI_NULL, *fp2 = HI_NULL;
struct timeval tv;
hi_u64 u64Last, u64Now;
hi_u64 u64Interval = 1000000 / 25; /* 25fps */
signal(SIGINT, stream_sig_handler);
signal(SIGTERM, stream_sig_handler);
signal(SIGPIPE, SIG_IGN);
(hi_void)stream_setup_chn(0);
if (sensor_num == 2) { (hi_void)stream_setup_chn(2); }
fp0 = open_stream_pipe(0, 5004);
if (sensor_num == 2) { fp2 = open_stream_pipe(2, 5006); }
gettimeofday(&tv, HI_NULL);
u64Last = (hi_u64)tv.tv_sec * 1000000ULL + (hi_u64)tv.tv_usec;
while (g_stream_stop == 0) {
(hi_void)stream_one_frame(0, fp0);
if (fp2 != HI_NULL) { (hi_void)stream_one_frame(2, fp2); }
gettimeofday(&tv, HI_NULL);
u64Now = (hi_u64)tv.tv_sec * 1000000ULL + (hi_u64)tv.tv_usec;
if (u64Now - u64Last < u64Interval) {
usleep((useconds_t)(u64Interval - (u64Now - u64Last)));
u64Last += u64Interval;
} else { u64Last = u64Now; }
}
pclose(fp0);
if (fp2 != HI_NULL) { pclose(fp2); }
return HI_SUCCESS;
}
在 vi_with_sensor() 函数内部、start_camera 成功之后触发推流(STREAM=1 时):
if (getenv("STREAM") != HI_NULL) { /* 实时推流模式 */
sleep(20); /* 等待 AE/AWB 收敛 */
(hi_void)stream_dual(info.sensor_num);
goto exit;
}
注意:这段
if必须放在函数体内,不能放到文件末尾或函数体外,否则会因info未定义、goto标签越界而编译失败。关键坑:VI 通道必须设
depth = 3(stream_setup_chn),否则get_chn_frame超时拿不到帧。
6.6 编译
重新编译主程序:
cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample/build
export NPU_HOST_INC=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/include
export NPU_HOST_LIB=/usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/lib64
# 强制重链
touch ../vi_with_sensor.c
rm -f vi_l1_sample CMakeFiles/vi_l1_sample.dir/vi_with_sensor.c.o
make -j4
6.7 启动
# 确认 mediamtx 已运行
systemctl is-active mediamtx # 应输出 active
cd /home/samples-master/cplusplus/level1_single_api/6_media/1_camera/camera_sample/build
# 启动推流
setsid bash -c 'export LD_LIBRARY_PATH=/usr/local/Ascend/cann-8.5.0/aarch64-linux/lib64:/usr/local/Ascend/driver/lib64; export STREAM=1; exec ./vi_l1_sample 1 2 1' >/tmp/stream.log 2>&1 </dev/null &
6.8 停止
pkill -x vi_l1_sample # 杀主程序进程
pkill -f '[f]fmpeg .*rawvideo' # 杀两个 ffmpeg 推流子进程
注意:
pkill -f vi_l1_sample会匹配到执行它的 shell 自身命令行,导致后续命令不执行,必须用pkill -x。
七、拉流验证与播放
推流启动后,先以 RTSP 握手验证会话,再用 VLC / ffplay 播放画面。
7.1 RTSP 握手验证(PC 端)
标准 RTSP 会话,DESCRIBE / SETUP / PLAY 均返回 200,SDP 正常(m=video 0 RTP/AVP 96,a=rtpmap:96 H264/90000)。实测两路 5 秒分别收到 1400+ RTP 包(约 3.0 Mbps),RTP 时间戳推进与墙钟一致,无断流。
7.2 播放
|
摄像头 |
地址 |
|
CSI0(cam0) |
|
|
CSI1(cam2) |
|
VLC:媒体 → 打开网络串流 → 输入上述地址。命令行等价:
vlc rtsp://192.168.137.100:8554/cam0
PC 端拉流播放:
# PC端拉流播放 cam0 视频流
ffplay -fflags nobuffer -flags low_delay -framedrop -rtsp_transport tcp rtsp://192.168.137.100:8554/cam0
# PC端拉流播放 cam2 视频流
ffplay -fflags nobuffer -flags low_delay -framedrop -rtsp_transport tcp rtsp://192.168.137.100:8554/cam2
7.3 多客户端
MediaMTX 天然支持多客户端同时拉同一路流(VLC / 手机 / 录制端互不干扰),这是 UDP 单播做不到的。传输方式:服务端同时开 TCP + UDP,VLC 默认先试 UDP,丢包严重时改用 --rtsp-tcp。
八、常见运行报错
8.1 HIMPIVI_SetDevAttr failed with 0xa0108008(拍照失败)
现象:在全新系统的板卡上运行拍照程序 ./vi_l1_sample 1 2 1,日志表现为:
HI_MIPI_CONFIG_SENSOR_CLOCK. Clock Source: 0, Clock Frequency: 5 OK ← 正常
HI_MIPI_RESET_SENSOR Reset Port: 0 OK ← 正常
[Sample_Comm_Vi_SetMipiAttr]: MipiDev 0/2, SetMipiAttr enWDRMode: 0 ← 正常
[Sample_Comm_Vi_StartDev]: ViDev 0!
HI_MPI_VI_SetDevAttr failed with 0xa0108008! ← 失败点
特征:MIPI 时钟配置、复位、SetMipiAttr 全部成功,唯独 hi_mpi_vi_set_dev_attr 报错。
错误码含义:0xa0108008 = HI_ERR_VI_NOT_SUPPORT(操作不支持)。
根因:昇腾媒体 MPI 适配层(acl_adapter_filter.c)硬编码从 /lib64/ 加载 libmpi_dvpp_adapter.so 来判断芯片型号(chiptype)。全新系统 /lib64/ 下缺这个库(实际只在 /usr/lib64/ 下),导致适配层判不到 chiptype,于是 VI/ISP 所有 hi_mpi_* 接口被统一标记为「不支持」。而 MIPI 的时钟/复位/属性配置走的是 /dev/hi_mipi_rx 的 ioctl,不经过该适配层,所以前面那些操作都正常——这正是「MIPI 正常、VI 报 not support」的典型特征。
文件核对:
ls /lib64/libmpi_dvpp_adapter.so # 不存在(No such file or directory)
ls /usr/lib64/libmpi_dvpp_adapter.so # 存在(约 1MB)
解决方案:
ln -sf /usr/lib64/libmpi_dvpp_adapter.so /lib64/
软链建在 /lib64/(磁盘文件系统),重启后仍有效,只需执行一次。
验证结果:重跑拍照程序,SetDevAttr 通过,双摄各生成 vi_pipe0/2_chn0_w1920_h1080.yuv(3110400 字节 = 1920×1080×1.5),program exit normally!。
8.2 sh: line 1: ffmpeg: command not found(推流失败)
现象:拍照正常后,运行推流程序(STREAM=1 ./vi_l1_sample 1 2 1),VI/ISP 初始化全部成功,但报:
[Sample_Comm_Isp_Thread]: ISP Dev 0 running!
[Sample_Comm_Isp_Thread]: ISP Dev 2 running!
sh: line 1: ffmpeg: command not found
sh: line 1: ffmpeg: command not found
根因:推流代码 open_stream_pipe() 通过 popen() 拉起 ffmpeg 子进程,用 ffmpeg 完成「NV21 → x264 编码 → RTSP 推流」。全新系统未安装 ffmpeg,popen 找不到该命令。
解决方案:
apt-get update
apt-get install -y ffmpeg
安装后 which ffmpeg 返回 /usr/bin/ffmpeg(版本 3.4.11)。
验证结果:重启推流后,两个 ffmpeg 子进程正常拉起(25fps、-bf 0 -g 25、RTSP 推 cam0/cam2),PC 端 RTSP 拉流 cam0、cam2 均返回 RTSP/1.0 200 OK。
结语
整条链路的核心难点有三个:一是昇腾 MIPI lane 是全局编号,双摄第二个接口是 MipiDev 2 而非 1,且栗子派连续走线要求改 lane 映射;二是板卡 RTC 时钟停在 2022 年,改代码后必须强制重链,否则改动不生效;三是全新系统缺 /lib64/libmpi_dvpp_adapter.so 与 ffmpeg,会分别导致拍照和推流失败。把这三点理顺,双 MIPI-CSI 摄像头出图 + RTSP 推流即可稳定跑通。
如果你在昇腾 310B 上做多摄像头或推流时遇到其他问题,欢迎在评论区交流。
更多推荐



所有评论(0)