大模型学习与课程资料
1.LLM从入门到精通的开源课程
地址
GitHub - mlabonne/llm-course: Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.
说明
包括基础知识、构建部署大模型和创建大模型应用三个部分，最受欢迎的大模型学习课程之一，也是被认为最全的开源大模型教程。
知乎llm-course，GitHub上最全的开源大模型教程，上次介绍后又有了更新，Star狂飙到25K - 知乎
里面也有对其的一些相关描述，可以补充查阅，有很多相关技术的学习链接。
huggingface：https://huggingface.co/mlabonne
作者博客： ML Blog - Articles
2.大模型相关技术原理以及实战经验
地址
GitHub - kekewind/llm-action: 本项目旨在分享大模型相关技术原理以及实战经验。
说明
有对应的知乎专栏
动手学大模型 - 知乎
网站都有相关说明，包括相关的大模型学习与技术资料。
在线大模型直接应用项目
1.集成利用在线大模型进行学术科研技术优化
地址
GitHub - binary-husky/gpt_academic: 为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
说明
可以接入各种大模型，同时进行各种代码和论文技术相关的操作。非常好的科研、学术、编程和技术助手。
大模型本地CPU直接推理框架
llama.cpp/koboldcpp都是纯C/C++推理框架，针对大模型进行了各种优化，可以只使用CPU等处理芯片进行推理，可以更好的支持手机推理大模型。
1.C++大模型推理工具llama.cpp
地址
GitHub - ggerganov/llama.cpp: LLM inference in C/C++
说明
llama.cpp是一个C++编写的轻量级开源类AIGC大模型框架,可以支持在消费级普通设备上本地部署运行大模型。
大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。llama.cpp就可以快速部署模型推理了，通俗的说，可以快速在本地推理运行大模型做应用了。
2.C++大模型推理工具koboldcpp
地址
GitHub - LostRuins/koboldcpp: A simple one-file way to run various GGML and GGUF models with KoboldAI's UI
说明
koboldcpp是一个基于 GGML 模型的推理框架，和llama.cpp的底层相同。采用了纯 C/C++代码，优势如下：
llama.cpp仅支持llama模型进行推理，而koboldcpp则对模型进行了拓展a无需任何额外依赖，相比 Python 代码对 PyTorch 等库的要求，C/C++ 直接编译出可执行文件，跳过不同硬件的繁杂准备；支持 Apple Silicon 芯片的 ARM NEON 加速，x86 平台则以 AVX2 替代；具有 F16 和 F32 的混合精度；支持 4-bit 量化；无需 GPU，可只用 CPU 运行；由于没有其他依赖，可以很方便的在移动端进行推理
大模型部署与应用
1.ChatGPT相关API创造新的功能和应用
地址
GitHub - Simba2017/hugging-llm: HuggingLLM, Hugging Future.
说明
聚焦于如何使用ChatGPT相关API创造新的功能和应用。对相关任务有详细的背景和系统设计介绍。提供示例代码和实现流程。有配套视频的链接，有纸质书对应。
2.构建大模型应用的高效数据框架
地址
GitHub - run-llama/llama_index: LlamaIndex is a data framework for your LLM applications
说明
Llama-Index构建大模型应用的数据框架，可以认为是一个基于人工智能的索引系统，旨在为大规模文本数据集提供高效的搜索和查询功能，从而建立有价值的应用。它通过将文本内容进行向量化处理，并构建索引，使得用户可以快速检索到相关信息。
比如可以调用OpenAI接口API分析多种格式的本地文本，比如分析一篇课文，一本教材，一个专题文本库，或者你自己创建的某一学科的语料库，等等。多模态处理功能:处理图片、音视频，对多模态研究和应用有强大潜力。比如，官网提供了一个典型的应用场景，让ChatGPT等大语言模型帮你整理发票。同时也可以调用本地的模型文件进行处理，即服务端API和本地模型调用都支持。
看下面相关说明文档，有非常详细的优势介绍和应用案例：
LlamaIndex - LlamaIndex
3.一个可以在任何地方运行的大语言模型系统
地址
GitHub - nomic-ai/gpt4all: gpt4all: run open-source LLMs anywhere
说明
GPT4All是一个边缘大型语言模型的开源生态系统，它允许在本地CPU和几乎任何GPU上运行。这意味着用户可以在自己的设备上运行和定制这些模型，而无需依赖云服务。GPT4All模型文件的大小介于3GB到8GB之间，用户可以下载并插入到GPT4All的开源生态系统软件中。该项目由Nomic AI支持和维护，以确保软件生态系统的质量和安全性，并引领任何个人或企业轻松训练和部署自己的本地大型语言模型的努力。
4.超级助手AI大脑
地址
GitHub - QuivrHQ/quivr: Your GenAI Second Brain 易 A personal productivity assistant (RAG) ⚡️烙 Chat with your docs (PDF, CSV, ...) & apps using Langchain, GPT 3.5 / 4 turbo, Private, Anthropic, VertexAI, Ollama, LLMs, Groq that you can share with users ! Local & Private alternative to OpenAI GPTs & ChatGPT powered by retrieval-augmented generation.
说明
构建个人知识库，成为个人的第二大脑和超级私人助理。
Quivr是一个用LLM 实现的知识库问答系统，支持本地部署，其实就是 LLM + RAG。
LLM：支持 OpenAI API / Ollama 开源模型 本地化
RAG: 向量数据库 用的 supabase 内置的 PostgreSQL pgvector
后端框架：用的 Python / fast-api / Supabase / LangChain / Bear-Auth
Web框架：用的 vue
下面知乎有相关说明，对于大模型部署可以使用系统本身服务端的API，也可以加载本地训练好的大模型文件，两种模式。
Quivr 本地部署 之：2024/04/02 - 知乎
5.高性能聊天机器人框架
地址
GitHub - lobehub/lobe-chat: 勞 Lobe Chat - an open-source, modern-design LLMs/AI chat framework. Supports Multi AI Providers( OpenAI / Claude 3 / Gemini / Perplexity / Bedrock / Azure / Mistral / Ollama ), Multi-Modals (Vision/TTS) and plugin system. One-click FREE deployment of your private ChatGPT chat application.
说明
LobeChat 是一个开源、高性能的聊天机器人框架。支持语音合成、多模态和可扩展插件系统。支持一键式免费部署私人ChatGPT/LLM 网络应用程序。
6.本地知识库大模型项目
地址
GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain
说明
一个基于 ChatGLM 大语言模型与 Langchain 应用框架实现，开源、可离线部署的检索增强生成 (RAG) 大模型的本地知识库问答应用项目。
7.专业领域全能AI导师/私人教练
地址
GitHub - JushBJJ/Mr.-Ranedeer-AI-Tutor: A GPT-4 AI Tutor Prompt for customizable personalized learning experiences.
说明
通过Prompt（提示词）约束大模型，使其成为某个专业领域私人教练的AI工具。
8.基于大模型搭建的聊天机器人
地址
GitHub - zhayujie/chatgpt-on-wechat: 基于大模型搭建的聊天机器人，同时支持 企业微信、微信 公众号、飞书、钉钉 等接入，可选择GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM-4/Claude/LinkAI，能处理文本、语音和图片，访问操作系统和互联网，支持基于自有知识库进行定制企业智能客服。
说明
基于大模型搭建的聊天机器人，同时支持 企业微信、微信 公众号、飞书、钉钉 等接入，可选择GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM-4/Claude/LinkAI，能处理文本、语音和图片，访问操作系统和互联网，支持基于自有知识库进行定制企业智能客服
9.通过拖放界面构建定制的LLM流程
地址
GitHub - FlowiseAI/Flowise: Drag & drop UI to build your customized LLM flow
说明
通过拖放界面构建定制的LLM流程。
10.一种超智能AI模型管家
地址
GitHub - microsoft/JARVIS: JARVIS, a system to connect LLMs with ML community. Paper: https://arxiv.org/pdf/2303.17580.pdf
说明
连接众多 AI 模型以解决复杂 AI 任务的接口，可理解为一种超智能AI模型管家。它是一个多模型协作的系统，通过chatgpt控制HuggingFace上多个专用模型分别实现某一功能然后汇总完成一个完整的任务。
11.自动化AI机器学习框架
地址
GitHub - mindsdb/mindsdb: The platform for customizing AI from enterprise data
说明
在机器学习领域，构建和训练模型是一项复杂且耗时的任务。为了简化这个过程，提高效率，MindsDB库应运而生。MindsDB是一个开源的自动化机器学习框架，它旨在使机器学习变得更加易于使用，即使是对于非专业的数据科学家和开发人员也是如此。MindsDB 自动化并集成了顶级机器学习框架（包括 GPT-4）。以下是您可以使用 MindsDB 构建的一些常见用例：
对话式人工智能：利用 MindsDB 与数据平台和预训练的大型语言模型（如 OpenAI 的 GPT）的本地集成，快速构建对话式人工智能解决方案，无需管理复杂的数据管道开销。
欺诈检测：MindsDB 可帮助开发人员构建模型以检测金融交易、电子商务平台等的欺诈行为。
销售预测：MindsDB 可用于开发基于历史销售数据预测未来销售的模型，使企业能够做出更明智的决策。
客户细分：MindsDB 可以帮助开发人员根据客户的行为、偏好和其他因素对客户进行细分，使企业能够量身定制其营销策略。
情感分析：MindsDB 与预训练模型（如 OpenAI GPT 或 Hugging Face）的本地集成可用于分析文本数据（如客户评价）的情感，仅需一条命令，而无需逐个调用 API 并进行 ETL 处理数据。
预测性维护：MindsDB 可用于构建模型以预测设备或机器可能发生故障的时间，从而实现主动维护，最大程度地减少停机时间。
MindsDB 适用于大多数 SQL 和 NoSQL 数据库、数据湖、数据流和流行的应用程序，集成外部数据源多达70 + 。
12.简易落地和持续改进AI应用
地址
GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.
说明
随着大型语言模型（LLM）不断涌现的各种能力，AI 应用的场景变得更加广阔。然而，对于大多数开发者而言，基于 GPT 等大型语言模型、Langchain 等技术框架开发 AI 应用仍然是一项门槛极高的任务。开发者必须花费大量时间学习各种晦涩的概念和技术研究，也无法进行 AI 应用的持续运营。是否有这样一个工具，开发者无需关注基础设施的底层原理，只需专注于将想象力转化为实际落地的 AI 应用并持续运营，可以将大型语言模型变成像云计算服务一样易于使用？基于这个问题，Dify.AI 诞生了。
Dify.AI 是一款 LLMOps 平台，帮助开发者更简单、更快速地构建 AI 应用。它的核心理念是通过可声明式的 YAML 文件定义 AI 应用的各个方面，包括 Prompt、上下文和插件等。Dify 提供了可视化的 Prompt 编排、运营、数据集管理等功能。这些功能使得开发者能够在数天内完成 AI 应用的开发，或将 LLM 快速集成到现有应用中，并进行持续运营和改进，创造一个真正有价值的 AI 应用。
13.大型互联网公司技术架构
地址
GitHub - davideuler/architecture.of.internet-product: 互联网公司技术架构，微信/淘宝/微博/腾讯/阿里/美团点评/百度/OpenAI/Google/Facebook/Amazon/eBay的架构，欢迎PR补充
说明
该项目的主要内容就是一线互联网公司的一些架构设计与解决方案，比如说微博、百度、淘宝、微信、网易、美团点评，前面几项主要是以公司分类，后面的是以技术栈分类。
14.本地大模型应用架构
地址
GitHub - mudler/LocalAI: :robot: The free, Open Source OpenAI alternative. Self-hosted, community-driven and local-first. Drop-in replacement for OpenAI running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. It allows to generate Text, Audio, Video, Images. Also with voice cloning capabilities.
说明
帮助开发者在本地环境中快速搭建和运行人工智能应用，无需云端依赖。该项目由Mudler发起，提供了一套简单易用的接口和工具，使得非AI专业人员也能轻松地将AI功能集成到自己的项目中。
AI Agent (人工智能代理)
AI未来重要的主流发展方向。
1.MetaGPT:面向编程的多智能体框架
地址
GitHub - geekan/MetaGPT: The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming
说明
一个可以替代小型软件开发团队的配备齐全的软件开发GPT，产品经理、系统设计、代码实现一条龙。是一个全新的AI Agent项目，它基于GPT-4提供了专注于软件开发的自动代理框架，几乎可以理解为配备了产品经历、系统设计师、程序员的一个小团队，可以基于原始的需求直接生成最后的代码项目。
2.Agent驱动的虚拟软件公司
地址
GitHub - OpenBMB/ChatDev: Create Customized Software using Natural Language Idea (through LLM-powered Multi-Agent Collaboration)
说明
ChatDev 拟作一个由多智能体协作运营的虚拟软件公司，在人类“用户”指定一个具体的任务需求后，不同角色的智能体将进行交互式协同，以生产一个完整软件（包括源代码、环境依赖说明书、用户手册等）。这一技术为软件开发自动化提供了新的可能性，支持快捷高效且经济实惠的软件制作，未来将有效地将部分人力从传统软件开发的繁重劳动中解放出来
文章来源
您阅读本篇文章共花了：
发表评论