docs: added ollama

Author: coder-hxl

docs/cn/guide/crawl-openai-custom.md

@@ -1,6 +1,27 @@
 # 用户自定义 AI 功能 {#user-defined-ai-fuctions}
 
-为了满足不同用户的个性化需求，x-crawl 还提供了用户自定义 AI 的功能。将 openai 实例提供出来，这意味着您可以根据自己的需求，对 AI 进行定制和优化，使其更好地适应您的爬虫工作。
+为了满足不同用户的个性化需求，x-crawl 还提供了用户自定义 AI 的功能。将 ai 实例提供出来，这意味着您可以根据自己的需求，对 AI 进行定制和优化，使其更好地适应您的爬虫工作。
+
+## Ollama
+
+使用 AI 应用实例的 custom() 方法。
+
+示例：
+
+```js{8}
+import { createCrawlOllama } from 'x-crawl'
+
+const crawlOllamaApp = createCrawlOllama({
+  model: "你的模型",
+  clientOptions: { ... }
+})
+
+const Ollama = crawlOllamaApp.custom()
+```
+
+调用 custom 拿到的 Ollama 可参考：https://github.com/ollama/ollama-js?tab=readme-ov-file#custom-client ，调用 custom 拿到的 Ollama 与网站示例 new Ollama() 拿到的实例差不多，不同的是 x-crawl 会将创建 AI 应用实例时传入的 clientOptions 传给 new Ollama ，拿到的是完好无损 Ollama 实例，x-crawl 并不会对其重写。
+
+## Openai
 
 使用 AI 应用实例的 [custom()](/cn/api/custom#custom) 方法。
 

docs/cn/guide/crawl-openai-help.md

@@ -2,6 +2,45 @@
 
 可以为您提供智能的解答和建议。无论是关于爬虫策略、反爬虫技巧还是数据处理等方面的问题，您都可以向AI提问，AI会根据其强大的学习和推理能力，为您提供专业的解答和建议，帮助您更好地完成爬虫任务。
 
+## Ollama
+
+使用 AI 应用实例的 help() 方法。
+
+示例：
+
+```js{8,16}
+import { createCrawlOllama } from 'x-crawl'
+
+const crawlOllamaApp = createCrawlOllama({
+  model: "你的模型",
+  clientOptions: { ... }
+})
+
+crawlOllamaApp.help('x-crawl 是什么').then((res) => {
+  console.log(res)
+  /*
+    res:
+    x-crawl 是一个灵活的 Node.js AI 辅助爬虫库，它提供了强大的人工智能辅助功能，可以帮助开发者更高效、智能和便捷地进行网络爬虫工作。您可以在 GitHub 上找到更多关于 x-crawl 的详细信息和使用方式：https://github.com/coder-hxl/x-crawl。
+  */
+})
+
+crawlOllamaApp.help('爬虫的三大注意事项').then((res) => {
+  console.log(res)
+  /*
+    res:
+    在进行爬虫工作时，有三个重要的注意事项需要特别注意：
+
+    1. **遵守网站规则和法律法规**：在进行数据爬取时，一定要遵守网站的robots.txt文件中的规则，并且不要违反任何相关的法律法规。尊重网站所有者的意愿和数据的所有权是非常重要的。
+
+    2. **避免对网站造成过大负担**：爬虫在爬取数据时会占用网站的带宽和资源，过度频繁的访问会给网站带来压力甚至是瘫痪。因此，需要合理设置爬虫的访问频率，并且避免对网站造成过大的访问负担。
+
+    3. **数据处理和存储的合法性和隐私保护**：爬取到的数据可能涉及用户的隐私信息，因此在收集、存储和使用这些数据时，要符合相关的隐私保护法律法规，并且不要滥用这些数据。另外，在处理数据时也要保证数据的准确性和可靠性，避免因不当的数据处理而产生误解或造成不良影响。
+  */
+})
+```
+
+## Openai
+
 使用 AI 应用实例的 [help()](/cn/api/help#help) 方法。
 
 示例：

docs/cn/guide/create-ai-application.md

@@ -1,6 +1,21 @@
 # 创建 AI 应用 {#create-ai-application}
 
-目前 x-crawl 的 AI 辅助功能是依靠 OpenAI ，需要用到 OpenAI 的 API Key 。后续还可能加入其他 AI 的。
+## Ollama
+
+通过 [createCrawlOllama()](/cn/api/create-crawl-ollama#createxcrawlollama) 创建一个新的 **应用实例**:
+
+```js
+import { createCrawlOllama } from 'x-crawl'
+
+const crawlOllamaApp = createCrawlOllama({
+  model: "你的模型",
+  clientOptions: { ... }
+})
+```
+
+## Openai
+
+需要用到 OpenAI 的 API Key
 
 通过 [createCrawlOpenAI()](/cn/api/create-crawl-openai#createxcrawlopenai) 创建一个新的 **应用实例**:
 

docs/cn/guide/get-element-selectors.md

@@ -2,6 +2,50 @@
 
 能够帮助我们快速定位到页面中的特定元素。只需将 HTML 代码输入到 AI 中，并告知 AI 您想获取哪些元素的选择器，AI 便会根据页面结构自动为您生成合适的选择器，大大简化了确定选择器的繁琐过程。
 
+## Ollama
+
+使用 AI 应用实例的 getElementSelectors() 方法。
+
+示例：
+
+```js{24}
+import { createCrawlOllama } from 'x-crawl'
+
+const crawlOllamaApp = createCrawlOllama({
+  model: "你的模型",
+  clientOptions: { ... }
+})
+
+const HTMLContent = `
+  <div class="scroll-list">
+    <div class="list-item">女装带帽卫衣</div>
+    <div class="list-item">男装卫衣</div>
+    <div class="list-item">女装卫衣</div>
+    <div class="list-item">男装带帽卫衣</div>
+  </div>
+  <div class="scroll-list">
+    <div class="list-item">男装纯棉短袖</div>
+    <div class="list-item">男装纯棉短袖</div>
+    <div class="list-item">女装纯棉短袖</div>
+    <div class="list-item">男装冰丝短袖</div>
+    <div class="list-item">男装圆领短袖</div>
+  </div>
+`
+
+crawlOllamaApp.getElementSelectors(HTMLContent, '获取所有女装').then((res) => {
+  console.log(res)
+  /*
+    res:
+    {
+      selectors: '.scroll-list:nth-child(1) .list-item:nth-of-type(1), .scroll-list:nth-child(1) .list-item:nth-of-type(3), .scroll-list:nth-child(2) .list-item:nth-of-type(3)',
+      type: 'single'
+    }
+  */
+})
+```
+
+## Openai
+
 使用 AI 应用实例的 [getElementSelectors()](/cn/api/get-element-selectors#getelementselectors) 方法。
 
 示例：
@@ -41,4 +85,6 @@ crawlOpenAIApp.getElementSelectors(HTMLContent, '获取所有女装').then((res)
 })
 ```
 
+---
+
 也可以将整个 HTML 传给 AI 帮我们操作，但是会消耗更多 Tokens ，OpenAI 是根据 Tokens 进行收费的。

docs/cn/guide/index.md

@@ -7,13 +7,13 @@ x-crawl 是一个灵活的 Node.js AI 辅助爬虫库。灵活的使用方式和
 它由两部分组成：
 
 - 爬虫：由爬虫 API 以及各种功能组成，即使不依靠 AI 也能正常工作。
-- AI：目前基于 OpenAI 提供的 AI 大模型，让 AI 简化很多繁琐的操作。
+- AI：集成 ollama 和 openai ，让 AI 简化很多繁琐的操作。
 
 > 如果您觉得 x-crawl 对您有所帮助，或者您喜欢 x-crawl ，可以在 GitHub 上给 [x-crawl 存储库](https://github.com/coder-hxl/x-crawl) 点个 star 。您的支持是我们持续改进的动力！感谢您的支持！
 
 ## 特征 {#features}
 
-- **🤖 AI 辅助** - 强大的 AI 辅助功能，使爬虫工作变得更加高效、智能和便捷。
+- **🤖 AI 辅助** - 集成 ollama 和 openai ，强大的 AI 辅助功能，使爬虫工作变得更加高效、智能和便捷。
 - **🖋️ 写法灵活** - 单个爬取 API 都适配多种配置，每种配置方式都各有千秋。
 - **⚙️ 多种用途** - 支持爬动态页面、静态页面、接口数据以及文件数据。
 - **⚒️ 控制页面** - 爬取动态页面支持自动化操作、键盘输入、事件操作等。
@@ -61,28 +61,30 @@ const crawlOpenAIApp = createCrawlOpenAI({
 })
 
 // crawlPage 用于爬取页面
-crawlApp.crawlPage('https://www.example.cn/s/select_homes').then(async (res) => {
-  const { page, browser } = res.data
+crawlApp
+  .crawlPage('https://www.example.cn/s/select_homes')
+  .then(async (res) => {
+    const { page, browser } = res.data
 
-  // 等待元素出现在页面中, 并获取 HTML
-  const targetSelector = '[data-tracking-id="TOP_REVIEWED_LISTINGS"]'
-  await page.waitForSelector(targetSelector)
-  const highlyHTML = await page.$eval(targetSelector, (el) => el.innerHTML)
+    // 等待元素出现在页面中, 并获取 HTML
+    const targetSelector = '[data-tracking-id="TOP_REVIEWED_LISTINGS"]'
+    await page.waitForSelector(targetSelector)
+    const highlyHTML = await page.$eval(targetSelector, (el) => el.innerHTML)
 
-  // 让 AI 获取图片链接, 并去重 (描述越详细越好)
-  const srcResult = await crawlOpenAIApp.parseElements(
-    highlyHTML,
-    '获取图片链接, 不要source里面的, 并去重'
-  )
+    // 让 AI 获取图片链接, 并去重 (描述越详细越好)
+    const srcResult = await crawlOpenAIApp.parseElements(
+      highlyHTML,
+      '获取图片链接, 不要source里面的, 并去重'
+    )
 
-  browser.close()
+    browser.close()
 
-  // crawlFile 用于爬取文件资源
-  crawlApp.crawlFile({
-    targets: srcResult.elements.map((item) => item.src),
-    storeDirs: './upload'
+    // crawlFile 用于爬取文件资源
+    crawlApp.crawlFile({
+      targets: srcResult.elements.map((item) => item.src),
+      storeDirs: './upload'
+    })
   })
-})
 ```
 
 运行：

docs/cn/guide/parse-elements.md

@@ -2,6 +2,56 @@
 
 无需手动分析 HTML 页面结构再提取所需的元素属性或值。现在只需将 HTML 代码输入到 AI 中，并告知 AI 您想获取哪些元素的信息，AI便会自动分析页面结构，提取出相应的元素属性或值。
 
+## Ollama
+
+使用 AI 应用实例的 parseElements() 方法。
+
+示例：
+
+```js{24}
+import { createCrawlOllama } from 'x-crawl'
+
+const crawlOllamaApp = createCrawlOllama({
+  model: "你的模型",
+  clientOptions: { ... }
+})
+
+const HTMLContent = `
+  <div class="scroll-list">
+    <div class="list-item">女装带帽卫衣</div>
+    <div class="list-item">男装卫衣</div>
+    <div class="list-item">女装卫衣</div>
+    <div class="list-item">男装带帽卫衣</div>
+  </div>
+  <div class="scroll-list">
+    <div class="list-item">男装纯棉短袖</div>
+    <div class="list-item">男装纯棉短袖</div>
+    <div class="list-item">女装纯棉短袖</div>
+    <div class="list-item">男装冰丝短袖</div>
+    <div class="list-item">男装圆领短袖</div>
+  </div>
+`
+
+crawlOllamaApp.parseElements(HTMLContent, '获取男装, 并去重').then((res) => {
+  console.log(res)
+  /*
+    res:
+    {
+      elements: [
+        { class: 'list-item', text: '男装卫衣' },
+        { class: 'list-item', text: '男装带帽卫衣' },
+        { class: 'list-item', text: '男装纯棉短袖' },
+        { class: 'list-item', text: '男装冰丝短袖' },
+        { class: 'list-item', text: '男装圆领短袖' }
+      ],
+      type: 'multiple'
+    }
+  */
+})
+```
+
+## Openai
+
 使用 AI 应用实例的 [parseElements()](/cn/api/parse-elements#parseelements) 方法。
 
 示例：
@@ -47,4 +97,6 @@ crawlOpenAIApp.parseElements(HTMLContent, '获取男装, 并去重').then((res)
 })
 ```
 
+---
+
 也可以将整个 HTML 传给 AI 帮我们操作，但是会消耗更多 Tokens ，OpenAI 是根据 Tokens 进行收费的。

docs/cn/index.md

@@ -19,7 +19,7 @@ hero:
 
 features:
   - title: 🤖 AI 辅助
-    details: 强大的 AI 辅助功能，使爬虫工作变得更加高效、智能和便捷。
+    details: 集成 ollama 和 openai ，强大的 AI 辅助功能，使爬虫工作变得更加高效、智能和便捷。
   - title: 🖋️ 写法灵活
     details: 单个爬取 API 都适配多种配置，每种配置方式都各有千秋。
   - title: ⚙️ 功能丰富

docs/guide/crawl-openai-custom.md

@@ -1,12 +1,33 @@
 # User defined AI functions
 
-In order to meet the personalized needs of different users, x-crawl also provides user-customized AI functions. Providing openai instances means you can tailor and optimize the AI to your needs to better suit your crawling efforts.
+In order to meet the personalized needs of different users, x-crawl also provides user-customized AI functions. Providing ai instances means you can tailor and optimize the AI to your needs to better suit your crawling efforts.
+
+## Ollama
+
+Use the custom() method for the AI application instance.
+
+Example:
+
+```js{8}
+import { createCrawlOllama } from 'x-crawl'
+
+const crawlOllamaApp = createCrawlOllama({
+  model: "Your model ",
+  clientOptions: { ... }
+})
+
+const Ollama = crawlOllamaApp.custom()
+```
+
+You can refer to Ollama obtained by calling custom: https://github.com/ollama/ollama-js?tab=readme-ov-file#custom-client, call the custom get Ollama and site sample new Ollama () to get the instance of about the same, The difference is that x-crawl will pass the clientOptions that were passed in when the AI application instance was created to new Ollama. It will get the intact Ollama instance, and x-crawl will not rewrite it.
+
+## Openai
 
 Use the [custom()](/api/custom#custom) method of the AI application instance.
 
 Example:
 
-```js
+```js{7}
 import { createXCrawlOpenAI } from 'x-crawl'
 
 const xCrawlOpenAIApp = createXCrawlOpenAI({

docs/guide/crawl-openai-help.md

@@ -2,11 +2,54 @@
 
 Can provide you with intelligent answers and suggestions. Whether it is about crawling strategies, anti-crawling techniques or data processing, you can ask AI questions, and AI will provide you with professional answers and suggestions based on its powerful learning and reasoning capabilities to help you complete your tasks better. Reptile task.
 
+## Ollama
+
+Use the help() method of the AI application instance.
+
+Example:
+
+```js{8,17}
+import { createXCrawlOllama } from 'x-crawl'
+
+const xCrawlOllamaApp = createXCrawlOllama({
+  model: "Your model ",
+  clientOptions: { ... }
+})
+
+xCrawlOllamaApp.help('What is x-crawl').then((res) => {
+  console.log(res)
+  /*
+    res:
+    x-crawl is a flexible Node.js AI-assisted web crawling library. It offers powerful AI-assisted features that make web crawling more efficient, intelligent, and convenient. You can find more information and the source code on x-crawl's GitHub page: https://github.com/coder-hxl/x-crawl.
+   */
+})
+
+xCrawlOllamaApp
+  .help('Three major things to note about crawlers')
+  .then((res) => {
+    console.log(res)
+    /*
+      res:
+      There are several important aspects to consider when working with crawlers:
+
+      1. **Robots.txt:** It's important to respect the rules set in a website's robots.txt file. This file specifies which parts of a website can be crawled by search engines and other bots. Not following these rules can lead to your crawler being blocked or even legal issues.
+
+      2. **Crawl Delay:** It's a good practice to implement a crawl delay between your requests to a website. This helps to reduce the load on the server and also shows respect for the server resources.
+
+      3. **User-Agent:** Always set a descriptive User-Agent header for your crawler. This helps websites identify your crawler and allows them to contact you if there are any issues. Using a generic or misleading User-Agent can also lead to your crawler being blocked.
+
+      By keeping these points in mind, you can ensure that your crawler operates efficiently and ethically.
+   */
+  })
+```
+
+## Openai
+
 Use the [help()](/api/help#help) method of the AI application instance.
 
 Example:
 
-```js
+```js{7,16}
 import { createXCrawlOpenAI } from 'x-crawl'
 
 const xCrawlOpenAIApp = createXCrawlOpenAI({