说明
目前天翼云息壤的新老用户均可免费体验2500万Tokens,限时两周。模型广场支持DeepSeek-R1、DeepSeek-V3等多个版本模型的调用。
支持在对话工具(比如Chatbox、CherryStudio等)以OpenAI-API-compatible的方式快速添加使用。
天翼云官网获取模型调用APP key等信息
模型API终端请求地址
请求地址
API终端请求地址:https://wishub-x1.ctyun.cn/v1/chat/completions
通信协议
接口通过 HTTPS 进行通信,保护用户数据的机密性和完整性,确保网络通信的安全性。
请求方法
支持的 HTTP 请求方法:POST。
POST 请求支持的 Content-Type 类型:application/json。
获取模型调用APP key
访问天翼云息壤deepseek活动页地址:https://www.ctyun.cn/act/xirang/deepseek,选择“立即体验”。
登录天翼云账户,进入“体验中心”后切换到“服务接入”。
在“服务接入”下面,创建建服务组。选择默认勾选的模型即可。
创建服务组后,从服务组上面获取APP KEY。
获取调用的模型名称
左侧导航栏切换到”模型广场“,选择对应想要调用的模型。
获取模型ID作为模型名称。
例如下图中模型ID为 : 4bd107bff85941239e27b1509eccfe98
DeepSeek模型版本选择参考:
DeepSeek-R1:适合需要高级推理能力和高精度的复杂任务,如科研、金融建模等。响应时间相对长。
DeepSeek-V3:适合需要快速响应和高性价比的通用自然语言处理任务,如智能客服、内容生成等。响应时间相对短。
手动验证key的可用性
下列请求如果正常返回deepseek回答,代表没有问题。
注意
以下curl请求中替换成自己的APP KEY后类似“--header 'Authorization: Bearer abcdefghxxsssss' \ ”
curl --location 'https://wishub-x1.ctyun.cn/v1/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer 替换成自己的APP KEY' \
--data '{
"messages": [
{
"role": "system",
"content": "You are a test assistant."
},
{
"role": "user",
"content": "Testing. Just say hi and nothing else."
}
],
"model": "4bd107bff85941239e27b1509eccfe98" //DeepSeek-R1模型名
}'
常见软件配置
说明
- 部分第三方工具调用可能存在接口不适配问题,建议优先使用以下几款工具。
配置下列工具时,API key等同于上述内容中创建的服务组APP key。
Chatbox
访问链接:https://web.chatboxai.app/
点击Setting,然后配置Api Host、API path、API key和Model,就可以使用了。
注意
chatbox web如果api setting配置错误,更改后,仍然会报错。报错如下:
如遇上述报错,建议重新开启一个对话,再次尝试即可。
CherryStudio
按照下图配置即可。
一旦出现以下报错,重新开启一个对话,再次尝试,则可以看到正确的对话。
Langchain
参考langchain的自定义模型文档通过OpenAI协议调用即可。
from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage
def main():
# 初始化LangChain模型,配置自定义API端点
llm = ChatOpenAI(
model_name="9dc913a037774fc0b248376905c85da5", # 自定义模型名称
# 从环境变量获取API密钥,如果没有设置,也可以直接终端执行export TYY_API_KEY="xxx"
openai_api_key=os.getenv("XIRANG_API_KEY")
openai_api_base="https://wishub-x1.ctyun.cn/v1", # API基础URL
temperature=0.7
)
# 创建一个聊天消息
message = HumanMessage(content="你是谁")
# 使用LangChain进行对话
response = llm([message])
print(response.content)
if __name__ == "__main__":
main()
Dify
说明
- 前置条件:本地下载并安装Docker。
访问 Docker 官方网站,点击“Download Docker Desktop”按钮,选择合适的 Windows、macOS 或 Linux版本下载并安装。
当前仅支持0.15.3版本,最新版本的1.0.1正在适配中,预计4月初支持。
拉取镜像到本地
# 假设当前最新版本为 0.15.3
git clone https://github.com/langgenius/dify.git --branch 0.15.3
修改配置参数
cd docker
mv .env.example .env
#在.env文件添加
CUSTOM_MODEL_ENABLED=true
OLLAMA_API_BASE_URL=host.docker.internal:11434
修改compose文件
需要修改下api和work的镜像地址,改为增加了xirang模型供应商的dify 0.15.3版本
services:
# API service with Xirang model provider
api:
image: telecom-eci-huadong1-crs-registry-huadong1.crs.ctyun.cn/xirang/dify-with-xirang:0.15.3 # 原来为langgenius/dify-api:0.15.3
# worker service
# The Celery worker for processing the queue.
worker:
image: telecom-eci-huadong1-crs-registry-huadong1.crs.ctyun.cn/xirang/dify-with-xirang:0.15.3 # 原来为langgenius/dify-api:0.15.3
启动并验证
#执行:
docker compose up -d
# 等服务启动访问
http://localhost/apps
配置天翼云息壤模型
在个人设置里面点击模型供应商,选择天翼云模型。
点击保存后,可以看到模型的配置。
其他非预置模型。
配置对话助手
常见问题
如遇到无法展示问题,可能是因为您的dify版本为最新版,我们目前还不支持,可执行以下操作切换到0.15.3版本并重启服务。
dify插件需要切换版本重新启动服务才可以达成兼容
git clone https://gitcode.com/gh_mirrors/di/dify.git
cd dify
git checkout 7796984444191c639bd3c541a44e832b17ad1cae
如遇到息壤镜像失败问题,可切换到dify原始镜像,通过配置直接配置OpenAI-API-compatible支持,配置方式如下:
Obsidian copilot
打开 Obsidian,进入设置面板,选择“社区插件”。
关闭“安全模式”,点击“浏览”按钮搜索“Copilot for Obsidian”并安装。
安装完成后,启用插件。
Ragflow
注意
目前息壤model不支持embedding model能力,因此只能作为chat model提供能力。
下载镜像git clone https://github.com/infiniflow/ragflow.git
通过docker安装并启动。
cd ragflow/docker
docker compose -f docker-compose-CN.yml up -d
检查 RAGFlow 服务是否正常启动。
docker logs -f ragflow-server
如果看到类似以下输出,则表示启动成功:
* Running on all addresses (0.0.0.0)
* Running on http://127.0.0.1:9380
* Running on http://x.x.x.x:9380
打开浏览器配置模型Xinference服务提供商。
在浏览器中输入服务器的 IP 地址访问 RAGFlow。默认情况下,RAGFlow 使用 HTTP 端口 80,因此无需输入端口号。
选择“Xinference”模型服务商( Xinference是工厂配置,支持自定义模型名称)。
配置chatmodel的界面如下:
回到对话界面,配置聊天助手:
开启对话:
Cline
按照下图配置即可。注意baseUrl配置:https://wishub-x1.ctyun.cn/v1
配置完成后即可开启对话:
Maxkb
通过docker命令拉取部署
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb
启动后,浏览器访问http://localhost:8080
初始用户名:admin
初始密码:见https://maxkb.cn/docs/installation/offline_installtion/#4
按照下图配置即可。注意baseUrl配置:https://wishub-x1.ctyun.cn/v1
AnythingLLM
按照下图配置即可。注意baseUrl配置:https://wishub-x1.ctyun.cn/v1
配置完成后即可开启对话:
常见报错
role参数错误,user后应为assistant
问题原因:模型setting首次配置错误,更改配置后,因本次对话包含历史错误信息,仍然会报错。
解决方案:开启一个全的对话即可。
400 role参数错误,不能以assistant开头
问题原因:模型setting首次配置错误,更改配置后,因为本次对话包含历史错误信息,导致仍然会报错。
解决方案:开启一个全的对话即可。
API statuscode429:DEEP_SEEK_MODEL_CONCURRENCY_LIMIT
报错信息为:[openai_api_compatible]Error:APIrequestfailedwithstatuscode429:{"code":700007,"detail":"Deepseek模型并发已达上限","message":"DEEP_SEEK_MODEL_CONCURRENCY_LIMIT","error":{"code":"700007","message":"Deepseek模型并发已达上限","type":"DEEP_SEEK_MODEL_CONCURRENCY_LIMIT"}}
问题原因:大模型并发是大模型的并发能力,和用户、tokens是否用完都无关,只和机器负载能力有关。目前单个模型有固定的并发度,这是所有ds模型共享的并发度,只能支持固定个请求同时访问。
解决方案:等一段时间再调用,或增加重试机制。
API 直连调用耗时长
问题原因:大模型API同步耗时长是因为其推理过程复杂,需要逐个生成token并拼接结果,且在处理长文本或复杂问题时,等待完整结果返回的时间过长。而流式API可以在推理过程中逐步返回结果,用户无需等待全部结果生成,从而提升交互效率。
解决方案:改为流式调用。