タイトルが技術用語いっぱいで騒がしい感じですいません。FastChatのバージョンアップで、OpeAI 互換のAPIサーバー機能が追加されてOpenAI SDKからローカルPCで動くLLMを使えるようになったので、早速ためしてみました。 1. APIサーバーの起動 FastChatの ...

In this package, you can use MT-bench questions and prompts to evaluate your models with LLM-as-a-judge. MT-bench is a set of challenging multi-turn open-ended questions for evaluating chat assistants ...

OpenAIがDevDayで新機能の発表を行い、界隈では大騒ぎになっています。何でも出来てしまうわけで、「ローカルLLMを続ける意義はあるのでか」と問われると、色々理由をつけて「ある」と答えるのがロカールLLMを諦めずに触り続けている私達です。理由は ...