AntSK 让AIGC产品触手可及,AntSK助你一臂之力!

本地模型-bge rerank

在模型管理里创建Bge Rerank模型 windows填写python.dll路径 linux填写libpython.so路径 如果使用镜像可以使用 /opt/conda/pkgs/python-3.10.13-h955ad1f_0/lib/libpython3.10.so 配置好以后,在应用里

xuzeyu 发布于 2024-08-26

本地模型-bge embedding

在windows上需要设置python311.dll 如果是使用的容器,可以进入容器查询 find / -name "libpython*.so*" 例如入选这样的地址,在linux上选择so文件 /opt/conda/pkgs/python-3.10.13-h955ad1f_0/lib/libp

xuzeyu 发布于 2024-08-26

本地模型-LLamaFactory

本地模型2 我们支持使用llamafactory来运行本地模型,这个方式比LLamaSharp可支持的模型种类更多,目前支持36种主流的离线模型 包括 baichuan、ChatGlm、Yi、yuan、Qwen等 我们在新建模时选择llamafactory,然后选择自己的模型 这里需要注意:如果是本

xuzeyu 发布于 2024-08-26

模型配置

在使用知识库和会话之前,我们需要在设置的模型管理页面进行模型配置。 首先你需要清楚自己需要使用在线模型(例如 OpenAI、Azure OpenAI、讯飞星火、通义千问) 等 还是使用离线模型(Ollama、llamafactory)

xuzeyu 发布于 2024-08-26

登录

启动后我们打开默认运行的地址 http://localhost:5000 即可访问AntSK,这里的默认登录密码在appsettings.json文件中尽显配置 默认是: admin xuzeyu 您也可以根据自己需求修改默认登录账号及密码

xuzeyu 发布于 2024-08-26

使用docker-compose启动

# 非 host 版本, 不使用本机代理 version: '3.8' services: aspire-dashboard: container_name: aspire-dashboard image: mcr.microsoft.com/dotnet/aspire-dash

xuzeyu 发布于 2024-08-26

使用代码启动

使用vs2022 打开src目录下的AntSK.sln文件,然后把AntSK设置为启动项启动即可 需要注意,vs2022 需要为17.10及以上版本,依赖Aspire SDK

xuzeyu 发布于 2024-08-26

配置文件的一些含义

{ "DetailedErrors": true, "Logging": { "LogLevel": { "Default": "Information", "Microsoft": "Warning", "Microsoft.Hosting.Li

xuzeyu 发布于 2024-08-26

如何开始?

在这里我使用的是Postgres 作为数据存储和向量存储,因为Semantic Kernel和Kernel Memory都支持他,当然你也可以换成其他的。 模型默认支持openai、azure openai 和llama支持的gguf本地模型,如果需要使用其他模型,可以使用one-api进行集成。

xuzeyu 发布于 2024-08-26

免部署使用

关注公众号 《许泽宇的技术分享》,发送 AntSK 即可获取免安装部署的体验版本,可以一键启动。 下载后需要安装 .Net 8环境 然后启动 Ant

xuzeyu 发布于 2024-08-26