操作系统
MacOS
最近更新
2024年05月03日
使用许可
开源
语言
不支持中文
开发者
Mudler
文件大小
171.05 MB

注意,该版本需要CPU支持AVX2指令集。


LocalAI是由mudler开发的一款软件,它是一款用于本地推理的与OpenAI API规范兼容的REST API。


LocalAI的主要特性和功能包括:

  1. 兼容性:LocalAI设计用于与OpenAI API规范保持兼容,这意味着它可以与各种使用OpenAI标准的应用程序和工具无缝集成。
  2. 本地推理:与依赖于云端计算资源的许多AI解决方案不同,LocalAI专为在本地硬件上运行而设计。这允许用户在消费级硬件上直接运行和测试AI模型,从而降低了对外部网络连接的依赖,并提高了数据安全性。
  3. 多模型支持:LocalAI支持多种AI模型,包括但不限于llama.cpp、alpaca.cpp、gpt4all.cpp、rwkv.cpp、whisper.cpp、vicuna、koala和gpt4all-j等。这种广泛的模型支持使得用户可以根据其特定需求选择合适的模型。
  4. 优化性能:为了提高推理速度和整体性能,LocalAI在第一次加载模型后会将其加载到内存中。此外,它还使用C++绑定来实现更快的推理和更好的性能。
  5. 社区驱动:LocalAI是一个社区驱动的项目,专注于让所有人都能访问和使用AI技术。

2.14.0 版本更新说明:

Bug 修复

修复:config_file_watcher.go - 为安全起见,对所有文件读取进行根路径处理,由 @dave-gray101 完成

修复:github bump_docs.sh 正则表达式,以去除表情符号和其他文本,由 @dave-gray101 完成

修复:在导入 torch 时出现未定义的符号:iJIT_NotifyEvent(问题编号##2153),由 @fakezeta 完成

修复:安全扫描器的警告噪音:错误处理器(第二部分),由 @dave-gray101 完成

修复:确保 GNUMake 的作业服务器被传递给 whisper.cpp 构建,由 @cryptk 完成

修复:将所有内容迁移到相同的 GRPC 版本以修复测试,由 @cryptk 完成


令人兴奋的新功能

功能(gallery):在导航期间也显示作业状态,由 @mudler 完成

功能:清理 Dockerfile 并使最终镜像变得更小,由 @cryptk 完成

修复:根据 whisper.cpp 的弃用消息,切换到 WHISPER_CUDA,由 @cryptk 完成

功能:仅保留 grpc 构建的构建工件,由 @cryptk 完成

功能(gallery):支持模型删除,由 @mudler 完成

重构(应用):引入应用全局状态,由 @dave-gray101 完成

功能:将 Dockerfile 组织成不同的部分,由 @cryptk 完成

功能:在 transformer 后端为嵌入提供 OpenVINO 加速,由 @fakezeta 完成

琐事:将 go-stablediffusion 更新到最新提交,包含 Make jobserver 修复,由 @cryptk 完成

功能:用户为 CUDA 和 OpenVINO 定义推理设备,由 @fakezeta 完成

功能(用户体验):在 WebUI 中添加聊天、tts 和图像生成页面,由 @mudler 完成

功能(all-in-one):将 LLM 切换到基于 llama3 的模型,由 @mudler 完成

功能(用户界面):支持多行和样式化的无序列表,由 @mudler 完成


模型

模型(gallery):添加 Einstein v6.1,由 @mudler 完成

模型(gallery):添加 SOVL,由 @mudler 完成

模型(gallery):添加 average_normie,由 @mudler 完成

模型(gallery):添加 solana,由 @mudler 完成

模型(gallery):添加 poppy porpoise,由 @mudler 完成

模型(gallery):添加 Undi95/Llama-3-LewdPlay-8B-evo-GGUF,由 @mudler 完成

模型(gallery):添加 biomistral-7b,由 @mudler 完成

模型(gallery):添加 llama3-32k,由 @mudler 完成

模型(gallery):添加 openvino 模型,由 @mudler 完成

模型(gallery):添加 lexifun,由 @mudler 完成

模型(gallery):添加 suzume-llama-3-8B-multilingual-gguf,由 @mudler 完成

模型(gallery):添加 guillaumetell,由 @mudler 完成

模型(gallery):添加 wizardlm2,由 @mudler 完成

模型(gallery):添加 Hermes-2-Pro-Llama-3-8B-GGUF,由 @mudler 完成

其他版本
最近更新软件 - MacOS 软件更新列表
Opera GX [网络] Opera GX 114.0.5282.139 Intel/Silicon
今天 17:30
Opera [网络] Opera 114.0.5282.144 Intel/Silicon
今天 17:25
Waterfox [网络] Waterfox 6.5.0 Intel/Silicon
今天 15:17
Todoist [应用软件] Todoist 9.9.0 Silicon
今天 14:21
Todoist [应用软件] Todoist 9.9.0 Intel
今天 14:19
Apifox [开发] Apifox 2.6.27 Intel
今天 13:47
Apifox [开发] Apifox 2.6.27 Silicon
今天 13:47
爱思助手 [系统软件] 爱思助手 3.11.005 Silicon/Intel
今天 13:38
Android Studio [开发] Android Studio 2024.1.2.12 Silicon
今天 11:09
Android Studio [开发] Android Studio 2024.1.2.12 Intel
今天 11:00
新软件 - MacOS 新软件列表
Proton Mail [网络] Proton Mail 1.2.4 Intel/Silicon
昨天 19:05
Proton Drive [网络] Proton Drive 1.11.0 Intel/Silicon
昨天 17:46
微信 [网络] 微信 4.0.0 Silicon
10-30
仓颉工具链 [开发] 仓颉工具链 0.53.13 Silicon
10-30
仓颉工具链 [开发] 仓颉工具链 0.53.13 Intel
10-30
腾讯文档 [应用软件] 腾讯文档 3.8.10 Silicon
10-28
腾讯文档 [应用软件] 腾讯文档 3.8.10 Intel
10-28
ppsspp [游戏工具] ppsspp 1.17.1 Intel/Silicon
10-28
Betterbird [网络] Betterbird 115.17.0 Silicon
10-28
Betterbird [网络] Betterbird 115.17.0 Intel
10-28