language:

• ko license: apache-2.0 tags:
• video-classification
• driver-behavior-detection
• swin-transformer
• video-swin
• pytorch datasets:
• custom metrics:
• accuracy
• f1 pipeline_tag: video-classification model-index:
• name: driver-behavior-swin3d-t results:
  • task: type: video-classification name: Video Classification metrics:
    • type: accuracy value: 0.9805 name: Accuracy
    • type: f1 value: 0.9757 name: Macro F1

驾驶员行为检测模型 (第7轮)

基于 Video Swin Transformer 的驾驶员异常行为检测模型。

模型描述

• 架构: Video Swin Transformer Tiny (swin3d_t)
• 骨干网络预训练: Kinetics-400
• 参数量: 27.85M
• 输入: [B, 3, 30, 224, 224] (批次, 通道, 帧数, 高度, 宽度)

类别 (5类)

性能 (第7轮)

训练配置

文件

平台特定用法

PyTorch (服务器/桌面端)

import torch
from model import DriverBehaviorModel

model = DriverBehaviorModel(num_classes=5, pretrained=False)
checkpoint = torch.load("pytorch_model.bin", map_location="cpu")
model.load_state_dict(checkpoint["model"])
model.eval()

iOS (CoreML)

1. 将 model.onnx 复制到 macOS
2. 运行转换脚本:

python convert_coreml_macos.py

3. 将生成的 DriverBehavior.mlpackage 添加到 Xcode 项目中

Android (ONNX Runtime)

// build.gradle
implementation 'com.microsoft.onnxruntime:onnxruntime-android:1.16.0'

// Kotlin
val session = OrtEnvironment.getEnvironment()
    .createSession(assetManager.open("model.onnx").readBytes())

val output = session.run(mapOf("video_input" to inputTensor))

预处理 (所有平台)

输入形状: [1, 3, 30, 224, 224]  (批次, 通道, 帧数, 高度, 宽度)
通道顺序: RGB
归一化: (像素值 / 255.0 - 均值) / 标准差
  - 均值 = [0.485, 0.456, 0.406]
  - 标准差 = [0.229, 0.224, 0.225]
调整大小: 224x224 (双线性插值)
帧数: 均匀采样30帧

数据集

• 视频总数: 243,979
• 样本总数 (窗口): 1,371,062
• 窗口大小: 30帧
• 步长: 15帧
• 分辨率: 224x224

训练进度

许可证

本模型仅供研究用途。

引用

@misc{driver-behavior-detection-2026,
  title={Driver Behavior Detection using Video Swin Transformer},
  author={C-Team},
  year={2026}
}