操作系统
Linux
最近更新
2024年05月03日
使用许可
开源
语言
不支持中文
开发者
Mudler
文件大小
211.70 MB

注意,该版本需要CPU支持AVX512指令集。


LocalAI是由mudler开发的一款软件,它是一款用于本地推理的与OpenAI API规范兼容的REST API。


LocalAI的主要特性和功能包括:

  1. 兼容性:LocalAI设计用于与OpenAI API规范保持兼容,这意味着它可以与各种使用OpenAI标准的应用程序和工具无缝集成。
  2. 本地推理:与依赖于云端计算资源的许多AI解决方案不同,LocalAI专为在本地硬件上运行而设计。这允许用户在消费级硬件上直接运行和测试AI模型,从而降低了对外部网络连接的依赖,并提高了数据安全性。
  3. 多模型支持:LocalAI支持多种AI模型,包括但不限于llama.cpp、alpaca.cpp、gpt4all.cpp、rwkv.cpp、whisper.cpp、vicuna、koala和gpt4all-j等。这种广泛的模型支持使得用户可以根据其特定需求选择合适的模型。
  4. 优化性能:为了提高推理速度和整体性能,LocalAI在第一次加载模型后会将其加载到内存中。此外,它还使用C++绑定来实现更快的推理和更好的性能。
  5. 社区驱动:LocalAI是一个社区驱动的项目,专注于让所有人都能访问和使用AI技术。

2.14.0 版本更新说明:

Bug 修复

修复:config_file_watcher.go - 为安全起见,对所有文件读取进行根路径处理,由 @dave-gray101 完成

修复:github bump_docs.sh 正则表达式,以去除表情符号和其他文本,由 @dave-gray101 完成

修复:在导入 torch 时出现未定义的符号:iJIT_NotifyEvent(问题编号##2153),由 @fakezeta 完成

修复:安全扫描器的警告噪音:错误处理器(第二部分),由 @dave-gray101 完成

修复:确保 GNUMake 的作业服务器被传递给 whisper.cpp 构建,由 @cryptk 完成

修复:将所有内容迁移到相同的 GRPC 版本以修复测试,由 @cryptk 完成


令人兴奋的新功能

功能(gallery):在导航期间也显示作业状态,由 @mudler 完成

功能:清理 Dockerfile 并使最终镜像变得更小,由 @cryptk 完成

修复:根据 whisper.cpp 的弃用消息,切换到 WHISPER_CUDA,由 @cryptk 完成

功能:仅保留 grpc 构建的构建工件,由 @cryptk 完成

功能(gallery):支持模型删除,由 @mudler 完成

重构(应用):引入应用全局状态,由 @dave-gray101 完成

功能:将 Dockerfile 组织成不同的部分,由 @cryptk 完成

功能:在 transformer 后端为嵌入提供 OpenVINO 加速,由 @fakezeta 完成

琐事:将 go-stablediffusion 更新到最新提交,包含 Make jobserver 修复,由 @cryptk 完成

功能:用户为 CUDA 和 OpenVINO 定义推理设备,由 @fakezeta 完成

功能(用户体验):在 WebUI 中添加聊天、tts 和图像生成页面,由 @mudler 完成

功能(all-in-one):将 LLM 切换到基于 llama3 的模型,由 @mudler 完成

功能(用户界面):支持多行和样式化的无序列表,由 @mudler 完成


模型

模型(gallery):添加 Einstein v6.1,由 @mudler 完成

模型(gallery):添加 SOVL,由 @mudler 完成

模型(gallery):添加 average_normie,由 @mudler 完成

模型(gallery):添加 solana,由 @mudler 完成

模型(gallery):添加 poppy porpoise,由 @mudler 完成

模型(gallery):添加 Undi95/Llama-3-LewdPlay-8B-evo-GGUF,由 @mudler 完成

模型(gallery):添加 biomistral-7b,由 @mudler 完成

模型(gallery):添加 llama3-32k,由 @mudler 完成

模型(gallery):添加 openvino 模型,由 @mudler 完成

模型(gallery):添加 lexifun,由 @mudler 完成

模型(gallery):添加 suzume-llama-3-8B-multilingual-gguf,由 @mudler 完成

模型(gallery):添加 guillaumetell,由 @mudler 完成

模型(gallery):添加 wizardlm2,由 @mudler 完成

模型(gallery):添加 Hermes-2-Pro-Llama-3-8B-GGUF,由 @mudler 完成

其他版本
最近更新软件 - Linux 软件更新列表
TeamSpeak Server [开发] TeamSpeak Server 3.13.7 64位
刚刚
TeamSpeak Server [开发] TeamSpeak Server 3.13.7 32位
刚刚
Reaper [媒体] Reaper 7.27 ARM64
昨天 19:53
Reaper [媒体] Reaper 7.27 ARM
昨天 19:53
Reaper [媒体] Reaper 7.27 64位
昨天 19:53
Reaper [媒体] Reaper 7.27 32位
昨天 19:53
Synology Drive [网络] Synology Drive 3.5.1.16101 64位
昨天 19:35
Opera [网络] Opera 114.0.5282.144 64位
11-01
Waterfox [网络] Waterfox 6.5.0 64位
11-01
Todoist [应用软件] Todoist 9.9.0 64位
11-01
新软件 - Linux 新软件列表
TeamSpeak Server [开发] TeamSpeak Server 3.13.7 64位
刚刚
TeamSpeak Server [开发] TeamSpeak Server 3.13.7 32位
刚刚
Synology Drive [网络] Synology Drive 3.5.1.16101 64位
昨天 19:35
Proton Mail [网络] Proton Mail 1.2.4 64位
10-31
仓颉工具链 [开发] 仓颉工具链 0.53.13 ARM64
10-30
仓颉工具链 [开发] 仓颉工具链 0.53.13 64位
10-30
腾讯文档 [应用软件] 腾讯文档 3.8.10 ARM64
10-28
腾讯文档 [应用软件] 腾讯文档 3.8.10 64位
10-28
Betterbird [网络] Betterbird 115.17.0 64位
10-28
Wave Terminal [开发] Wave Terminal 0.9.0 ARM64
10-30