在 terminal 中直接提问 LLM!

最近要赶毕设开题和比赛路演的事情了,今天可能是近期最后更新一下 m 的东西。今天新加了最基本的 ask 的功能和 config 命令,长话短说,现在你可以这样使用pip install muspi-merol[all] -U m config chat.options.model Qwen/...

最近要赶毕设开题和比赛路演的事情了,今天可能是近期最后更新一下 m 的东西。今天新加了最基本的 ask 的功能和 config 命令,长话短说,现在你可以这样使用

pip install muspi-merol[all] -U

m config chat.options.model Qwen/Qwen2.5-7B-Instruct
m config chat.openai_base_url https://promplate-api.free-chat.asia
m config chat.openai_api_key from-blog

m --help | m ask "介绍下怎么用这个 CLI"

这是个用自己解释自己的例子。

  1. 第一行是安装这个库,muspi-merol[all]会安装今天新发布的子包 mm-chat,其中目前只有 ask 这一个基本的调用 llm 的命令,目前不包含任何提示工程
  2. 后面是帮你设置了一些配置项,使用我搭建的免费 OpenAI API,使用 Qwen 2.5 7B 作为默认模型
  3. 然后把 m --help 的结果 PIPE 给 m ask,你运行下就知道是什么效果了

只要你提供 base_url 和 api_key 就可以支持任何 OpenAI API,所以 Ollama 啊 vllm 什么的本地模型都是可以直接使用的!

很多时候,用某些命令行工具遇到问题的时候,没时间看文档,只想直接解决。通常需要自己复制到某个 AI Chat 的网站去问,现在只需要 ... | m ask 就可以直接提问了