操作系统
Linux
最近更新
2024年05月10日
使用许可
开源
语言
不支持中文
开发者
Mudler
文件大小
409.09 MB

注意,该版本需要GPU支持CUDA11。


LocalAI是由mudler开发的一款软件,它是一款用于本地推理的与OpenAI API规范兼容的REST API。


LocalAI的主要特性和功能包括:

  1. 兼容性:LocalAI设计用于与OpenAI API规范保持兼容,这意味着它可以与各种使用OpenAI标准的应用程序和工具无缝集成。
  2. 本地推理:与依赖于云端计算资源的许多AI解决方案不同,LocalAI专为在本地硬件上运行而设计。这允许用户在消费级硬件上直接运行和测试AI模型,从而降低了对外部网络连接的依赖,并提高了数据安全性。
  3. 多模型支持:LocalAI支持多种AI模型,包括但不限于llama.cpp、alpaca.cpp、gpt4all.cpp、rwkv.cpp、whisper.cpp、vicuna、koala和gpt4all-j等。这种广泛的模型支持使得用户可以根据其特定需求选择合适的模型。
  4. 优化性能:为了提高推理速度和整体性能,LocalAI在第一次加载模型后会将其加载到内存中。此外,它还使用C++绑定来实现更快的推理和更好的性能。
  5. 社区驱动:LocalAI是一个社区驱动的项目,专注于让所有人都能访问和使用AI技术。


2.15.0 版本更新说明:

WebUI 升级:动力升级!

视觉API集成

聊天WebUI现在与视觉API无缝集成,使用户能够更轻松地直接通过浏览器界面测试图像处理模型——这是一个非常简洁且易于修改的界面,使用Alpine.JS和HTMX编写,代码量少于400行!


聊天中的系统提示

可以在WebUI聊天中设置系统提示,以更直观地引导用户进行交互,使聊天界面更加智能和响应迅速。


欢迎页面焕然一新

新加入LocalAI或尚未安装任何模型?不用担心!更新后的欢迎页面现在将引导用户完成模型安装过程,确保您无需任何麻烦即可设置并准备就绪。这是新用户的绝佳第一步——感谢您的宝贵反馈!


后台操作指示器

不要迷失在我们新的WebUI后台操作指示器中,它会显示后台正在运行的任务。


按标签和类别筛选模型

随着我们的模型库不断扩大,您现在可以通过标签和类别轻松筛选模型,使查找所需内容变得轻而易举。


单一二进制版本发布

LocalAI正在扩展到提供单一二进制版本发布,简化部署过程,使在任何系统上运行LocalAI变得更加容易。目前,我们已经精简了禁用AVX和SSE指令集的构建。我们还计划包含cuda构建。


扩展的模型库

本次发布向我们的库引入了几个令人兴奋的新模型,如“Soliloquy”、“tess”、“moondream2”、“llama3-instruct-coder”和“aurora”,增强了我们AI产品的多样性和能力。我们的一键安装模型选择正在增长!

其他版本
最近更新软件 - Linux 软件更新列表
TeamCity [开发] TeamCity 2024.12.1 64位
01-19
Opera [网络] Opera 116.0.5366.35 64位
01-19
NSMusicS [媒体] NSMusicS 1.1.9 64位
01-19
滴答清单 [应用软件] 滴答清单 6.0.20 ARM64
01-19
滴答清单 [应用软件] 滴答清单 6.0.20 64位
01-19
Install4j [开发] Install4j 11.0.2 64位
01-19
FireFox [网络] FireFox 134.0.1 64位
01-18
FireFox [网络] FireFox 134.0.1 32位
01-18
Tixati [网络] Tixati 3.32 64位
01-18
Tixati [网络] Tixati 3.32 32位
01-18
新软件 - Linux 新软件列表
NSMusicS [媒体] NSMusicS 1.1.9 64位
01-19
DevSidecar [网络] DevSidecar 2.0.0 RC2 ARM64
01-11
DevSidecar [网络] DevSidecar 2.0.0 RC2 64位
01-11
浩辰CAD机械 2025 [设计] 浩辰CAD机械 2025 25.1 龙芯
01-02
浩辰CAD机械 2025 [设计] 浩辰CAD机械 2025 25.1 MIPS64EL
01-02
浩辰CAD机械 2025 [设计] 浩辰CAD机械 2025 25.1 ARM64/飞腾,鲲鹏,麒麟
01-02
浩辰CAD机械 2025 [设计] 浩辰CAD机械 2025 25.1 64位/兆芯
01-02
浩辰CAD机械 2025 [设计] 浩辰CAD机械 2025 25.1 龙芯
01-02
浩辰CAD机械 2025 [设计] 浩辰CAD机械 2025 25.1 MIPS64EL
01-02
浩辰CAD机械 2025 [设计] 浩辰CAD机械 2025 25.1 ARM64/飞腾,鲲鹏,麒麟
01-02