博客 👾

利用 mlx-lm 和 mlx-vlm 在 LM Studio 的 mlx-engine 中实现统一多模态 LLM 推理。

在 Mac、Windows 或 Linux 上的 LM Studio 中本地运行精简版 DeepSeek R1 0528 模型 (8B)，最低只需 4GB 内存。支持工具使用和推理。

社区预设的公开预览、自动删除最近最少使用的运行时扩展包，以及将 LLM 用作文本嵌入模型的方法。

支持 CUDA 12、新的系统提示编辑器 UI、改进的工具使用 API 支持以及社区预设的预览。

多 GPU 设置的高级控制：启用/禁用特定 GPU、选择分配策略、限制模型权重到专用 GPU 内存等。

LM Studio 0.3.13 支持 Google 最新的多模态模型 Gemma 3。可在您的 Mac、Windows 或 Linux 机器上本地运行。

RAG 的错误修复和文档分块速度改进

支持 LM Studio SDK (Python, TS/JS)、高级推测解码设置和错误修复

适用于 Python 和 TypeScript 的开发者 SDK 现已发布 1.0.0 版本。这是一个用于本地 AI 软件的可编程工具包。

使用推测解码加速 llama.cpp 和 MLX 的推理

空闲 TTL、运行时自动更新、HF 仓库中嵌套文件夹支持以及聊天完成响应中独立的 reasoning_content

在您的电脑上本地离线运行 DeepSeek R1 模型

DeepSeek R1 的思考 UI、LaTeX 渲染改进和错误修复

DeepSeek R1 支持和 llama.cpp 模型的 KV Cache 量化

Tool Calling API 进入测试阶段，新的安装程序/更新器系统，以及支持 Qwen2VL 和 QVQ (GGUF 和 MLX 均支持)

一个开源工具，用于将 Python 应用程序及其所有依赖项打包成基于 Python sitecustomize.py 的可移植、确定性格式。

无头模式、按需模型加载、服务器自动启动、从终端下载模型的 CLI 命令，以及支持使用 Apple MLX 的 Pixtral。

使用 MLX 为 Apple Silicon Mac 实现超快速高效的设备端 LLM 推理。

配置预设回来了！用户输入和系统提示的实时 token 计数也回来了。修复了许多错误。此外，感谢社区贡献者，增加了多种新的应用语言。

LM Studio 0.3.2 发布说明

LM Studio 0.3.1 发布说明

LM Studio 0.3.0 来了！内置（朴素）RAG、浅色主题、国际化、结构化输出 API、网络服务等更多功能。

使用 LM Studio 在您的电脑上本地运行 Llama 3.1。

一个用于脚本编写和自动化本地 LLM 工作流程的命令行工具。