​字节跳动发布全新开源长文本处理模型 Seed-OSS-36B

Seed-OSS-36B系列包括三个主要变体:Seed-OSS-36B-Base（含合成数据）、Seed-OSS-36B-Base(不含合成数据)和Seed-OSS-36B-Instruct。合成数据版本在标准基准测试中表现更为出色，适合一般用途，而不含合成数据的版本则为研究提供了一个更加纯粹的基础。Seed-OSS-36B-Instruct则专注于任务执行和指令跟随，经过后训练以优化表现。

所有模型均采用Apache-2.0许可协议，意味着研究人员和开发者可以免费使用、修改和重新分发这些模型，不需支付字节跳动的许可费用。这标志着中国公司在开放源代码模型领域的又一次重要进展，同时也为国际应用提供了更多可能性。

Seed-OSS-36B的设计和核心特征包括36亿个参数、64层架构和155，000个tokens的词汇量。该模型的长文本处理能力和推理预算设置，能够让开发者根据任务复杂性调整模型的推理深度。此外，该模型在多个基准测试中展现了优异的性能，例如，在数学和编程任务上取得了业界领先的成绩。

Seed团队还特别关注模型的可访问性，用户可以通过HuggingFaceTransformers进行部署，并支持4位和8位的量化格式以减少内存需求。此外，团队提供了推理、提示自定义和工具集成的脚本，进一步降低了小团队的操作门槛。

通过提供高性能和灵活部署的开放模型，字节跳动的Seed团队为企业、研究人员和开发者带来了新的选择。

huggingface:https://huggingface.co/collections/ByteDance-Seed/seed-oss-68a609f4201e788db05b5dcd

划重点:

🌟Seed-OSS-36B模型支持长达512，000个tokens的输入，超越竞争对手。

💡模型分为合成数据和不含合成数据的版本，以适应不同用户需求。

🔧所有模型均可免费使用，且支持多种部署和集成方案，便于开发者操作。