gte-small-sparse

这是 gte-small 嵌入模型的稀疏 ONNX 变体，使用 DeepSparse Optimum 进行 ONNX 导出，并使用 Neural Magic 的 Sparsify 进行一次性量化 (INT8) 和非结构化剪枝 (50%)。

当前的稀疏和量化 gte ONNX 模型列表：

pip install -U deepsparse-nightly[sentence_transformers]

from deepsparse.sentence_transformers import SentenceTransformer
model = SentenceTransformer('zeroshot/gte-small-sparse', export=False)

# Our sentences we like to encode
sentences = ['This framework generates embeddings for each input sentence',
    'Sentences are passed as a list of string.',
    'The quick brown fox jumps over the lazy dog.']

# Sentences are encoded by calling model.encode()
embeddings = model.encode(sentences)

# Print the embeddings
for sentence, embedding in zip(sentences, embeddings):
    print("Sentence:", sentence)
    print("Embedding:", embedding.shape)
    print("")

有关 DeepSparse 和 Sentence Transformers 集成的更多详细信息，请参阅 DeepSparse README。

关于这些模型和稀疏化方法的一般问题，请通过我们的 社区 Slack 联系工程团队。