V4.6.9-first commit (#899)

* perf: insert mongo dataset data session

* perf: dataset data index

* remove delay

* rename bill schema

* rename bill record

* perf: bill table

* perf: prompt

* perf: sub plan

* change the usage count

* feat: usage bill

* publish usages

* doc

* 新增团队聊天功能 (#20)

* perf: doc

* feat 添加标签部分

feat 信息团队标签配置

feat 新增团队同步管理

feat team分享页面

feat 完成team分享页面

feat 实现模糊搜索

style 格式化

fix 修复迷糊匹配

style 样式修改

fix 团队标签功能修复

* fix 修复鉴权功能

* merge 合并代码

* fix 修复引用错误

* fix 修复pr问题

* fix 修复ts格式问题

---------

Co-authored-by: archer <[email protected]>
Co-authored-by: liuxingwan <[email protected]>

* update extra plan

* fix: ts

* format

* perf: bill field

* feat: standard plan

* fix: ts

* feat 个人账号页面修改 (#22)

* feat 添加标签部分

feat 信息团队标签配置

feat 新增团队同步管理

feat team分享页面

feat 完成team分享页面

feat 实现模糊搜索

style 格式化

fix 修复迷糊匹配

style 样式修改

fix 团队标签功能修复

* fix 修复鉴权功能

* merge 合并代码

* fix 修复引用错误

* fix 修复pr问题

* fix 修复ts格式问题

* feat 修改个人账号页

---------

Co-authored-by: liuxingwan <[email protected]>

* sub plan page (#23)

* fix chunk index; error page text

* feat: dataset process Integral prediction

* feat: stand plan field

* feat: sub plan limit

* perf: index

* query extension

* perf: share link push app name

* perf: plan point unit

* perf: get sub plan

* perf: account page

* feat 新增套餐详情弹窗代码 (#24)

* merge 合并代码

* fix 新增套餐详情弹框

* fix 修复pr问题

* feat: change http node input to prompt editor (#21)

* feat: change http node input to prompt editor

* fix

* split PromptEditor to HttpInput

* Team plans (#25)

* perf: pay check

* perf: team plan test

* plan limit check

* replace sensitive text

* perf: fix some null

* collection null check

* perf: plans modal

* perf: http module

* pacakge (#26)

* individuation page and pay modal amount (#27)

* feat: individuation page

* team chat config

* pay modal

* plan count and replace invalid chars (#29)

* fix: user oneapi

* fix: training queue

* fix: qa queue

* perf: remove space chars

* replace invalid chars

* change httpinput dropdown menu (#28)

* perf: http

* reseet free plan

* perf: plan code to packages

* remove llm config to package

* perf: code

* perf: faq

* fix: get team plan

---------

Co-authored-by: yst <[email protected]>
Co-authored-by: liuxingwan <[email protected]>
Co-authored-by: heheer <[email protected]>

Author: 4 people

.vscode/settings.json

@@ -10,6 +10,6 @@
     "i18n-ally.keystyle": "nested",
     "i18n-ally.sortKeys": true,
     "i18n-ally.keepFulfilled": true,
-    "i18n-ally.sourceLanguage": "zh", // 根据此语言文件翻译其他语言文件的变量和内容
+    "i18n-ally.sourceLanguage": "en", // 根据此语言文件翻译其他语言文件的变量和内容
     "i18n-ally.displayLanguage": "en", // 显示语言
 }

docSite/content/docs/course/data_search.md

@@ -56,7 +56,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 ### 检索方案
 
-1. 通过`问题补全`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
+1. 通过`问题优化`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
 2. 通过`Concat query`来增加`Rerank`连续对话的时，排序的准确性。
 3. 通过`RRF`合并方式，综合多个渠道的检索效果。
 4. 通过`Rerank`来二次排序，提高精度。
@@ -97,7 +97,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 #### 结果重排
 
-利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题补全后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
+利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题优化后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
 
 FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结果进行合并，得到最终的搜索结果。
 
@@ -115,7 +115,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 该值仅在`语义检索`或使用`结果重排`时生效。
 
-### 问题补全
+### 问题优化
 
 #### 背景
 
@@ -125,7 +125,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 ![](/imgs/coreferenceResolution2.jpg)
 
-用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题补全】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
+用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题优化】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
 
 ![](/imgs/coreferenceResolution3.jpg)
 

docSite/content/docs/development/configuration.md

@@ -13,163 +13,7 @@ weight: 708
 
 这个配置文件中包含了系统级参数、AI 对话的模型、function 模型等……
 
-## 4.6.8 以前版本完整配置参数
-
-**使用时，请务必去除注释！**
-
-以下配置适用于V4.6.6-alpha版本以后
-
-```json
-{
-  "systemEnv": {
-    "vectorMaxProcess": 15, // 向量生成最大进程，结合数据库性能和 key 来设置
-    "qaMaxProcess": 15,  // QA 生成最大进程，结合数据库性能和 key 来设置
-    "pgHNSWEfSearch": 100  // pg vector 索引参数，越大精度高但速度慢
-  },
-  "chatModels": [ // 对话模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "inputPrice": 0, // 输入价格。 xx元/1k tokens
-      "outputPrice": 0, // 输出价格。 xx元/1k tokens
-      "maxContext": 16000, // 最大上下文长度
-      "maxResponse": 4000, // 最大回复长度
-      "quoteMaxToken": 2000, // 最大引用内容长度
-      "maxTemperature": 1.2, // 最大温度值
-      "censor": false, // 是否开启敏感词过滤(商业版)
-      "vision": false, // 支持图片输入
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-3.5-turbo-16k",
-      "name": "GPT35-16k",
-      "maxContext": 16000,
-      "maxResponse": 16000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "quoteMaxToken": 8000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": false,
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-4",
-      "name": "GPT4-8k",
-      "maxContext": 8000,
-      "maxResponse": 8000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "quoteMaxToken": 4000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": false,
-      "defaultSystemChatPrompt": ""
-    },
-    {
-      "model": "gpt-4-vision-preview",
-      "name": "GPT4-Vision",
-      "maxContext": 128000,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "quoteMaxToken": 100000,
-      "maxTemperature": 1.2,
-      "censor": false,
-      "vision": true,
-      "defaultSystemChatPrompt": ""
-    }
-  ],
-  "qaModels": [ // QA 生成模型
-    {
-      "model": "gpt-3.5-turbo-16k",
-      "name": "GPT35-16k",
-      "maxContext": 16000,
-      "maxResponse": 16000,
-      "inputPrice": 0,
-      "outputPrice": 0
-    }
-  ],
-  "cqModels": [ // 问题分类模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 16000,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "toolChoice": true, // 是否支持openai的 toolChoice， 不支持的模型需要设置为 false，会走提示词生成
-      "functionPrompt": ""
-    },
-    {
-      "model": "gpt-4",
-      "name": "GPT4-8k",
-      "maxContext": 8000,
-      "maxResponse": 8000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "toolChoice": true,
-      "functionPrompt": ""
-    }
-  ],
-  "extractModels": [ // 内容提取模型
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 16000,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0,
-      "toolChoice": true,
-      "functionPrompt": ""
-    }
-  ],
-  "qgModels": [ // 生成下一步指引
-    {
-      "model": "gpt-3.5-turbo-1106",
-      "name": "GPT35-1106",
-      "maxContext": 1600,
-      "maxResponse": 4000,
-      "inputPrice": 0,
-      "outputPrice": 0
-    }
-  ],
-  "vectorModels": [ // 向量模型
-    {
-      "model": "text-embedding-ada-002",
-      "name": "Embedding-2",
-      "inputPrice": 0,
-      "defaultToken": 700,
-      "maxToken": 3000
-    }
-  ],
-  "reRankModels": [], // 重排模型,暂时填空数组
-  "audioSpeechModels": [
-    {
-      "model": "tts-1",
-      "name": "OpenAI TTS1",
-      "inputPrice": 0,
-      "baseUrl": "",
-      "key": "",
-      "voices": [
-        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
-        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
-        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
-        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
-        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
-        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
-      ]
-    }
-  ],
-  "whisperModel": {
-    "model": "whisper-1",
-    "name": "Whisper1",
-    "inputPrice": 0
-  }
-}
-```
-
-## 4.6.8 新配置文件
+## 4.6.8+ 版本新配置文件
 
 llm模型全部合并
 
@@ -189,11 +33,10 @@ llm模型全部合并
       "maxResponse": 4000, // 最大回复
       "quoteMaxToken": 13000, // 最大引用内容
       "maxTemperature": 1.2, // 最大温度
-      "inputPrice": 0, 
-      "outputPrice": 0,
+      "charsPointsPrice": 0, 
       "censor": false,
       "vision": false, // 是否支持图片输入
-      "datasetProcess": false, // 是否设置为知识库处理模型
+      "datasetProcess": false, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
       "toolChoice": true, // 是否支持工具选择
       "functionCall": false, // 是否支持函数调用
       "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
@@ -208,8 +51,7 @@ llm模型全部合并
       "maxResponse": 16000,
       "quoteMaxToken": 13000,
       "maxTemperature": 1.2,
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "censor": false,
       "vision": false,
       "datasetProcess": true,
@@ -227,8 +69,7 @@ llm模型全部合并
       "maxResponse": 4000,
       "quoteMaxToken": 100000,
       "maxTemperature": 1.2,
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "censor": false,
       "vision": false,
       "datasetProcess": false,
@@ -246,10 +87,9 @@ llm模型全部合并
       "maxResponse": 4000,
       "quoteMaxToken": 100000,
       "maxTemperature": 1.2,
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "censor": false,
-      "vision": false,
+      "vision": true,
       "datasetProcess": false,
       "toolChoice": true,
       "functionCall": false,
@@ -263,8 +103,7 @@ llm模型全部合并
     {
       "model": "text-embedding-ada-002",
       "name": "Embedding-2",
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "defaultToken": 700,
       "maxToken": 3000,
       "weight": 100,
@@ -276,8 +115,7 @@ llm模型全部合并
     {
       "model": "tts-1",
       "name": "OpenAI TTS1",
-      "inputPrice": 0,
-      "outputPrice": 0,
+      "charsPointsPrice": 0,
       "voices": [
         { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
         { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
@@ -291,8 +129,7 @@ llm模型全部合并
   "whisperModel": {
     "model": "whisper-1",
     "name": "Whisper1",
-    "inputPrice": 0,
-    "outputPrice": 0
+    "charsPointsPrice": 0
   }
 }
 ```
@@ -313,7 +150,7 @@ llm模型全部合并
         {
             "model": "bge-reranker-base", // 随意
             "name": "检索重排-base", // 随意
-            "inputPrice": 0,
+            "charsPointsPrice": 0,
             "requestUrl": "{{host}}/api/v1/rerank",
             "requestAuth": "安全凭证，已自动补 Bearer"
         }

docSite/content/docs/development/docker.md

@@ -110,6 +110,7 @@ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data
 cd 项目目录
 # 创建 mongo 密钥
 openssl rand -base64 756 > ./mongodb.key
+# 600不行可以用chmod 999
 chmod 600 ./mongodb.key
 chown 999:root ./mongodb.key
 # 启动容器

docSite/content/docs/development/one-api.md

@@ -116,8 +116,7 @@ CHAT_API_KEY=sk-xxxxxx
       "maxResponse": 4000, // 最大回复
       "quoteMaxToken": 13000, // 最大引用内容
       "maxTemperature": 1.2, // 最大温度
-      "inputPrice": 0, 
-      "outputPrice": 0,
+      "charsPointsPrice": 0, 
       "censor": false,
       "vision": false, // 是否支持图片输入
       "datasetProcess": false, // 是否设置为知识库处理模型