自托管AI
自托管AI 把部署方式作为选题维度:把模型、应用或 Agent 平台装进自己的服务器,权衡数据控制、成本与运维代价,判断值不值得折腾。
自托管AI 把部署方式作为选题维度:把模型、应用或 Agent 平台装进自己的服务器,权衡数据控制、成本与运维代价,判断值不值得折腾。
Tabby 是不少团队在找“代码不出内网”的编程助手时先看的一个名字。它是一个自托管的 AI 编程助手,主打代码补全,也提供问答和聊天能力,常被看作 GitHub Copilot 的可本地部署替代方案。吸引力很直接:服务装在自己的服务器上,代码在内网完成推理,离线也能用,也没有遥测上传。对合规严格的...
Nous Research 的开源智能体 Hermes 拿到了一笔能改变打法的钱。2026 年 10 月 7 日,Nous Research 宣布完成 9000 万美元 B 轮融资,《华尔街日报》报道本轮估值达 15 亿美元。本轮由 Robot Ventures 领投,公司点名的参与方包括英伟达、微...
Docling 解决的是把 PDF 喂给大模型之前最容易被低估的一关:版式。普通提取工具把 PDF 按字符顺序倒出来,双栏读串行、表格塌成一片、标题和正文混在一起,下游模型再聪明,也只能在一堆乱序文本里猜。Docling 的做法是先理解页面结构,再输出干净的 Markdown 或 JSON,在 Gi...
Crawl4AI 是一个把网页转成干净 Markdown 的开源 Python 库,专门解决把网页喂给大模型之前的那步脏活:页面抓回来满是导航、广告和脚本,直接塞进 RAG 或提示词里既费额度又带噪声。它在开源社区热度很高,用之前值得先把三笔账算清——装起来要付出什么、跑起来慢在哪、抓回来的内容能不...
Khoj 想做的事很清楚:把你散落在电脑里的文档、笔记和网页,变成一个能随时提问的个人知识库,你问它答,答案来自你自己的资料,而不是模型凭空编。它在 GitHub 上有约 3.5 万星,是个人知识管理方向最受关注的开源项目之一。热度之外更要紧的是另一件事:它需要你自己部署、自己维护,这笔账算不清,装...
LibreChat 把分散在各家的模型入口收进同一个界面,解决的是同时要用多家模型时反复切换网页、账号和对话记录的问题。它定位为增强版的 ChatGPT 式界面,可以在一个界面里接入 OpenAI、Anthropic、Google 等多家模型服务,也能接入本地模型,个人和团队不必再为每家服务单独开一...
whisper.cpp 适合想在自己电脑上离线转录音、又不想折腾 Python 环境的人,尤其适合处理会议录音、访谈和课程等不方便上传云端的素材;但如果你完全没碰过命令行,或者必须分清谁在说话,它并不是装上就能省心的工具。 它是做什么的 whisper.cpp 是 OpenAI Whisper 模型...
MarkItDown 是微软推出的一款开源文件转 Markdown 工具,专门解决大模型吃不进杂乱文档的问题。PDF、Word、PowerPoint、Excel、图片、音频、HTML、EPub、电子邮件、ZIP 压缩包,甚至 YouTube 链接,都可以先被它转成结构相对干净的 Markdown 文...