こんにちは!秋ノ原窓也です!
皆さん、最近のAIチャットサービスでは、AIの作業用にコンテナが割り当てられていることをご存知ですか?例えばコードを簡単に実行したり、一時的に調べてきた画像を保持するためなどに、使い捨てのコンテナが割り当てられます。
そのことを知って私はひらめきました。
「kimiのagent swarm機能を使用するときに生成される使い捨てコンテナに、llama.cppをぶち込んで、その中でqwen3.5 0.8bと会話することも可能ではないか?」と
早速検証していきます
検証
早速このブログを投げて、まずはkimi agent swarmのコンテナのスペックを確認しました

2c4tにメモリ4GBと、最低限は使えそうですね
では最新のllama.cpp cpuビルドを取ってきて解凍してもらいます。


意外と簡単にできましたね
agent swarmはk3だからなのか遂行能力が高いです。
では本番、qwen3.5 0.8bとの対話をしてみましょう。
まずモデルを落としてきます

モデルを落とせました。ただやけに時間がかかったな、、、?まあいいでしょう。
では実際にチャットを試してみます。


うおすっげえ!!!!!!!!!!!!!!!!!!!!!!本当にAIの中でAiが動いてる!!!!ふぉおおおおおおおおおおお!!!!!!!!!!!!!!!

間違えて二重起動したり、コンテキストを絞ったりした関係で途中までしか推論できませんでしたがそれでも動いてる!!!!実に面白い。(なんかのドラマ並感)
生成速度も10tok/sと、使い捨てコンテナであることを踏まえれば意外に動いていますね!!
ではもう一度、今度は最終回答まで行ってみましょうか。

と指示を出したらなぜかコンテナの中身がすべてリセットされてしまったっぽい。pkillでセッションごと落としてしまったかららしいですが、もう一度ファイルを集めてくれそうです。


実行結果は画像の通り。
AIのコンテナって、手軽に使い捨てレンタルサーバーを確保できると考えたら(本来の用途とは違うが)かなり色々なことで遊べるのではないでしょうか!?
みなさんもAIのコンテナを遊び尽くしてみてください!それでは!!



コメント