说明文档

EfficientViT-SAM：无性能损失的加速 Segment Anything 模型

预训练模型

延迟/吞吐量在 NVIDIA Jetson AGX Orin 和 NVIDIA A100 GPU 上使用 TensorRT、fp16 测量。包含数据传输时间。

Model	Resolution	COCO mAP	LVIS mAP	Params	MACs	Jetson Orin Latency (bs1)	A100 Throughput (bs16)	Checkpoint
EfficientViT-SAM-L0	512x512	45.7	41.8	34.8M	35G	8.2ms	762 images/s	link
EfficientViT-SAM-L1	512x512	46.2	42.1	47.7M	49G	10.2ms	638 images/s	link
EfficientViT-SAM-L2	512x512	46.6	42.7	61.3M	69G	12.9ms	538 images/s	link
EfficientViT-SAM-XL0	1024x1024	47.5	43.9	117.0M	185G	22.5ms	278 images/s	link
EfficientViT-SAM-XL1	1024x1024	47.8	44.4	203.3M	322G	37.2ms	182 images/s	link
<p align="center">
<b> 表1：所有 EfficientViT-SAM 变体汇总。</b> COCO mAP 和 LVIS mAP 使用 ViTDet 预测的边界框作为提示进行测量。端到端 Jetson Orin 延迟和 A100 吞吐量使用 TensorRT 和 fp16 测量。
</p>

使用方法

# segment anything
from efficientvit.sam_model_zoo import create_sam_model

efficientvit_sam = create_sam_model(
  name=\"xl1\", weight_url=\"assets/checkpoints/sam/xl1.pt\",
)
efficientvit_sam = efficientvit_sam.cuda().eval()

from efficientvit.models.efficientvit.sam import EfficientViTSamPredictor

efficientvit_sam_predictor = EfficientViTSamPredictor(efficientvit_sam)

from efficientvit.models.efficientvit.sam import EfficientViTSamAutomaticMaskGenerator

efficientvit_mask_generator = EfficientViTSamAutomaticMaskGenerator(efficientvit_sam)

mit-han-lab/efficientvit-sam

作者 mit-han-lab

mask-generation

↓ 0 ♥ 42

创建时间: 2023-09-30 19:24:49+00:00

更新时间: 2025-01-06 15:01:50+00:00

在 Hugging Face 上查看

文件 (38)

.gitattributes

LICENSE.txt

README.md

distilled_model/efficientvit_sam_l0.pt

distilled_model/efficientvit_sam_l1.pt

distilled_model/efficientvit_sam_l2.pt

distilled_model/efficientvit_sam_xl1.pt

efficientvit_sam_l0.pt

efficientvit_sam_l1.pt

efficientvit_sam_l2.pt

efficientvit_sam_xl0.pt

efficientvit_sam_xl1.pt

gazesam/efficientvit_gazesam_demo.gif

gazesam/example.mp4

gazesam/int8_calib_caches/gaze_estimation.cache

gazesam/int8_calib_caches/yolo_m.cache

gazesam/onnx/depth_m.onnx ONNX

gazesam/onnx/evit_decoder_l0.onnx ONNX

gazesam/onnx/evit_encoder_l0.onnx ONNX

gazesam/onnx/face_detection.onnx ONNX

gazesam/onnx/gaze_estimation.onnx ONNX

gazesam/onnx/yolo_m.onnx ONNX

gazesam/onnx/yolo_m_ort.onnx ONNX

onnx/l0_decoder.onnx ONNX

onnx/l0_encoder.onnx ONNX

onnx/l1_decoder.onnx ONNX

onnx/l1_encoder.onnx ONNX

onnx/l2_decoder.onnx ONNX

onnx/l2_encoder.onnx ONNX

onnx/xl0_decoder.onnx ONNX

onnx/xl0_encoder.onnx ONNX

onnx/xl1_decoder.onnx ONNX

onnx/xl1_encoder.onnx ONNX

sam_zero_shot_coco_mAP.png

source_json_file/coco_groundingdino.json

source_json_file/coco_vitdet.json

source_json_file/coco_yolov8.json

source_json_file/lvis_vitdet.json