Flutter 与开源鸿蒙（OpenHarmony）实时音视频通话实战：基于 AVSession 与 Native 音视频栈构建安全通信应用

2501_94551709

469人浏览 · 2025-12-25 15:07:19

2501_94551709 · 2025-12-25 15:07:19 发布

Flutter 与开源鸿蒙（OpenHarmony）实时音视频通话实战：基于 AVSession 与 Native 音视频栈构建安全通信应用

作者：子榆.
平台：CSDN
日期：2025年12月24日
关键词：Flutter、OpenHarmony、实时音视频、RTC、AVSession、信创、国产化通信

引言：打造自主可控的“国产版 Zoom”

在远程会诊、应急指挥、在线教育等场景中，实时音视频（RTC） 已成为刚需。然而，主流方案（如 WebRTC、声网、腾讯云）存在：

❌ 依赖境外服务器（违反数据本地化要求）
❌ 闭源 SDK（无法通过信创安全审查）
❌ 不支持 OpenHarmony 原生能力（如分布式软总线）

🎯 本文目标：利用 OpenHarmony 原生音视频框架（AVSession + Media Kit） + 分布式软总线，在 Flutter 应用中实现 端到端加密的 P2P 视频通话，全程 无第三方云服务，满足信创项目对 自主可控、数据不出域 的严苛要求。

一、技术选型：为什么不用 WebRTC？

方案	是否可行	原因
WebRTC (官方)	❌	未适配 OpenHarmony NDK，无 ARM64-OHOS 编译支持
声网/腾讯云 RTC	⚠️	闭源，需联网，不符合等保三级“数据本地化”
自研 P2P + OHOS Media Kit	✅	利用系统原生能力，完全离线，可审计

✅ 核心优势：

音视频采集/编码由 OpenHarmony 系统服务完成（高效、省电）

传输层使用 分布式软总线（低延迟、自动组网）

控制层通过 AVSession 统一管理播放状态

二、整体架构设计

[Flutter UI (Dart)]
        │
        ▼
[MethodChannel] ←─ 发起/接听/挂断
        │
        ▼
[NAPI Bridge (C++)]
        │
        ├──▶ [AVSession] ←─ 管理通话状态（播放/暂停）
        ├──▶ [Camera & Mic] ←─ 调用 @ohos.multimedia.camera / audioCapturer
        ├──▶ [Media Encoder] ←─ H.264 + AAC 编码
        └──▶ [SoftBus] ←─ 加密传输音视频流到对端
                │
                ▼
        [对端设备] ←─ 解码并渲染

💡 关键点：

不使用 Flutter Camera 插件（性能差、不支持 OHOS）

所有媒体操作在 Native 层完成

三、开发准备

3.1 权限声明（module.json5）

{
  "module": {
    "requestPermissions": [
      { "name": "ohos.permission.CAMERA" },
      { "name": "ohos.permission.MICROPHONE" },
      { "name": "ohos.permission.DISTRIBUTED_DATASYNC" },
      { "name": "ohos.permission.MEDIA_ACCESS" }
    ]
  }
}

3.2 依赖库

libavcodec_ndk.z.so（OpenHarmony 媒体编解码）
libsoftbus_ndk.z.so（分布式传输）
libavsession_ndk.z.so（会话控制）

四、Step 1：NAPI 封装音视频核心能力

4.1 初始化摄像头与麦克风

// rtc_bridge.cpp
#include "camera_manager.h"
#include "audio_capturer.h"

static sptr<ICameraDevice> g_camera = nullptr;
static sptr<IAudioCapturer> g_audio_capturer = nullptr;

static napi_value StartLocalPreview(napi_env env, napi_callback_info info) {
    // 打开后置摄像头
    CameraConfig config;
    config.width = 640;
    config.height = 480;
    config.fps = 15;
    
    g_camera = CameraManager::Open("back", config);
    g_camera->StartPreview(); // 预览显示在 Surface（由 Flutter 提供 Texture ID）
    
    // 启动音频采集
    AudioCapturerConfig audioConfig;
    audioConfig.sampleRate = 16000;
    audioConfig.channels = 1;
    g_audio_capturer = AudioCapturer::Create(audioConfig);
    g_audio_capturer->Start();
    
    return nullptr;
}

4.2 编码与发送

// 摄像头回调（原始帧）
void OnCameraFrame(const uint8_t* yuv, int width, int height) {
    // H.264 编码
    auto encoded = H264Encoder::Encode(yuv, width, height);
    
    // 通过软总线发送（加密）
    SoftBus::Send("video_stream", Encrypt(encoded));
}

// 麦克风回调
void OnAudioData(const int16_t* pcm, int samples) {
    auto encoded = AACEncoder::Encode(pcm, samples);
    SoftBus::Send("audio_stream", Encrypt(encoded));
}

4.3 接收与渲染

// 软总线消息回调
void OnSoftBusMessage(const char* type, const void* data, uint32_t len) {
    if (strcmp(type, "video_stream") == 0) {
        auto decoded = H264Decoder::Decode(Decrypt(data, len));
        // 渲染到 Flutter Texture（Surface ID 由 Dart 传入）
        RenderToSurface(g_remote_surface_id, decoded);
    }
    else if (strcmp(type, "audio_stream") == 0) {
        auto pcm = AACDecoder::Decode(Decrypt(data, len));
        AudioRenderer::Play(pcm);
    }
}

4.4 通话控制（AVSession）

static napi_value AnswerCall(napi_env env, napi_callback_info info) {
    // 创建 AVSession
    AVSessionConfig sessionConfig;
    sessionConfig.tag = "video_call";
    sessionConfig.type = AVSESSION_TYPE_VIDEO_CHAT;
    
    g_av_session = AVSession::Create(sessionConfig);
    g_av_session->Activate();
    
    // 启动远端渲染 Surface（由 Flutter 提供 ID）
    napi_value surfaceId;
    napi_get_cb_info(env, info, &argc, &args, nullptr, nullptr);
    napi_get_value_int32(env, args[0], &g_remote_surface_id);
    
    return nullptr;
}

五、Step 2：Flutter 端 UI 与控制

5.1 定义桥接类

// lib/rtc_bridge.dart
class RtcBridge {
  static const _channel = MethodChannel('com.example/rtc');

  static Future<void> startLocalPreview(int localTextureId) async {
    await _channel.invokeMethod('startLocalPreview', localTextureId);
  }

  static Future<void> makeCall(String peerDeviceId) async {
    await _channel.invokeMethod('makeCall', peerDeviceId);
  }

  static Future<void> answerCall(int remoteTextureId) async {
    await _channel.invokeMethod('answerCall', remoteTextureId);
  }

  static Future<void> hangUp() async {
    await _channel.invokeMethod('hangUp');
  }
}

5.2 构建通话界面

// lib/call_page.dart
class CallPage extends StatefulWidget {
  final String? peerId;
  final bool isIncoming;

  const CallPage({Key? key, this.peerId, this.isIncoming = false}) : super(key: key);

  @override
  _CallPageState createState() => _CallPageState();
}

class _CallPageState extends State<CallPage> {
  late int _localSurfaceId;
  late int _remoteSurfaceId;

  @override
  void initState() {
    super.initState();
    
    // 创建两个 Texture ID（用于本地预览 + 远端画面）
    _localSurfaceId = SurfaceManager.createSurface();
    _remoteSurfaceId = SurfaceManager.createSurface();

    if (widget.isIncoming) {
      // 来电：显示接听按钮
    } else {
      // 主叫：自动发起
      _startOutgoingCall();
    }
  }

  Future<void> _startOutgoingCall() async {
    await RtcBridge.startLocalPreview(_localSurfaceId);
    await RtcBridge.makeCall(widget.peerId!);
    await RtcBridge.answerCall(_remoteSurfaceId); // 自动接听
  }

  @override
  Widget build(BuildContext context) {
    return Scaffold(
      body: Stack(
        children: [
          // 远端画面（全屏）
          Texture(textureId: _remoteSurfaceId),
          
          // 本地预览（小窗）
          Positioned(
            top: 60,
            right: 20,
            width: 120,
            height: 160,
            child: Texture(textureId: _localSurfaceId),
          ),
          
          // 挂断按钮
          Positioned(
            bottom: 80,
            left: MediaQuery.of(context).size.width / 2 - 40,
            child: FloatingActionButton(
              onPressed: () {
                RtcBridge.hangUp();
                Navigator.pop(context);
              },
              backgroundColor: Colors.red,
              child: Icon(Icons.call_end),
            ),
          )
        ],
      ),
    );
  }
}

💡 Texture 管理：通过 SurfaceManager 在 NAPI 层创建 Surface，并返回 ID 给 Flutter

六、安全与性能优化

6.1 端到端加密

使用 国密 SM4 对音视频流加密
密钥通过 SoftBus 安全通道 协商（基于设备证书）

6.2 性能调优

项	策略
分辨率	默认 480p，弱网自动降为 320p
帧率	动态调整（5~15 fps）
编码	H.264 Baseline（兼容性好）
功耗	通话结束立即释放 Camera/Mic