注意 本文是由人工智能助手生成,旨在提供信息和分析。请读者在使用相关信息时进行辨识和核实,以确保内容的准确性和适用性。
前言
魔搭社区推出了免费的开源模型推理API,开发者可以通过魔搭的SDK Token轻松调用API,探索和融合多种开源模型,激发创新,构建多样化的AI应用原型。
公测期间支持的模型
当前支持的模型包括:
Qwen/Qwen2.5-Coder-32B-Instruct
Qwen/Qwen2.5-Coder-14B-Instruct
Qwen/Qwen2.5-Coder-7B-Instruct
Qwen/Qwen2.5-72B-Instruct
Qwen/Qwen2.5-32B-Instruct
Qwen/Qwen2.5-14B-Instruct
Qwen/Qwen2.5-7B-Instruct
使用方法
安装OpenAI library并使用魔搭的API接口:
from openai import OpenAI
配置:
api_key
:魔搭的SDK tokenmodel
:魔搭上开源模型的Model Id
获取SDK Token
SDK Token可以从魔搭账号中获取:获取链接
最佳实践
Cursor+Inference API 代码助手
配置环境:填写api_key、base_url和model信息。
生成代码:使用Cursor生成代码。
完善应用:使用多轮对话进一步完善应用。
WebUI+Inference API 本地对话助手
安装依赖和配置API key。
封装用户输入和对话界面。
注意事项
魔搭免费推理API旨在为开发者提供迅速免费的便捷模型调用方式,但不适用于高并发和SLA保障的线上任务。如有商业化使用需求,建议使用商业化平台的API。当前每位开发者每天有2000次调用次数的限制。
评论区