库:
跨平台本地AI SDK
LM Studio SDK:无需处理依赖项即可构建本地AI应用
LLM 聊天
代理工具
结构化输出
管理模型
import lmstudio as lms llm = lms.llm() # Get any loaded LLM prediction = llm.respond_stream("What is a Capybara?") for token in prediction: print(token, end="", flush=True)
常见问题
简而言之:该应用程序不收集数据或监控您的行为。您的数据保留在本地机器上。
不会。使用本地LLM的主要原因之一是隐私,LM Studio正是为此而设计的。您的数据将保持私密并存储在您的本地机器上。访问离线操作页面了解更多。
是的!请访问我们的职业页面查看空缺职位。
LM Studio兼容M1/M2/M3/M4 Mac,以及支持AVX2处理器的Windows (x86或ARM) 和Linux PC (x86)。访问系统要求页面获取最新信息。
您可以运行来自Hugging Face的任何兼容大型语言模型 (LLM),支持GGUF
(llama.cpp) 格式,以及MLX
格式 (仅限Mac)。您可以运行GGUF
文本嵌入模型。某些模型可能不受支持,而其他模型可能过大而无法在您的机器上运行。图像生成模型尚不支持。请查看模型目录以获取推荐模型。
llama.cpp
是一个出色的开源库,它提供了一种强大而高效的方式,可以在边缘设备上运行LLM。它由Georgi Gerganov创建并领导。LM Studio利用llama.cpp在Windows、Linux和Mac上运行LLM。
MLX
是Apple推出的一种新的机器学习框架。MLX在M1/M2/M3/M4 Mac上高效且速度极快。LM Studio利用MLX在Apple芯片上运行LLM,充分发挥Mac统一内存、CPU和GPU的强大性能。LM Studio的MLX引擎 (mlx-engine
) 是开源的,并在GitHub (MIT) 上提供。如果您能给我们点赞,我们将不胜感激!我们也在寻找社区贡献者。
请填写LM Studio 职场应用请求表,我们将尽快与您联系。