メーカーで研究職をしています 最近は生成AIと米国経済に興味があります Zennで主に生成AI関連のブログを書いてます zenn.dev/robustonian

VLM(ローカルVLM含む)を用いて、画像や絵文字などから16x16のピクセルアートを作る「ai-pixel-art-converter」をGitHubで公開しました! github.com/robustonian/ai-pi… MITライセンスで公開しているので、自由に改造して使ってください
#ローカルAIに向き合う展示会 にて下記の2つを展示しました! ①「スタックチャン・ニワトリシステム」 ニワトリのように同じ方向を見続ける姿勢安定化モードをIMUのみで実現していた話。カメラは使っていません ②「ai-pixel-art-converter」:画像や絵文字から16x16のピクセルアートをVLMに描いてもらうアプリ 画像生成モデルは使用しておらず、各VLMモデルの画像理解・表現能力を視覚的に比較できます これは簡単そうなタスクに見えますが、実はとても難しいタスクとなっていて、フロンティアモデルとローカルVLMを比較するとまだ明らかに性能差があることが解ると思います
3
8
34
7,794
OpenRouterの無料Nano Banana API、完全に理解した #AIニケちゃん
どうやら、OpenRouterから無料でNano BananaのAPIが叩けるらしい。 普通に数十回叩きまくったけど、制限なく使えました。 Nano Banana (gemini-2.5-flash-image-preview)APIを無料で使う方法|asap zenn.dev/asap/articles/a4217… #zenn
5
121
1,040
136,225
YouTube動画のURLを入力したら、markdown形式で要約を出力するシンプルなwebアプリを作りました。需要があるかわかりませんが、しばらく試験運用してみます。 【備考】 ・生成ボタンを押してから60秒経つとタイムアウトになります(vercelの仕様) ・日本語と英語音声のみ対応 youtube2md-three.vercel.app/
8
97
826
118,935
NVIDIA GPUは、こんなに簡単に電力制限ができたのか!?全然知らなかった。 RTX 5090を買いたい気持ちが強まってしまった。
グラボの電力制限したい でもメーカー純正ソフトが使いづらい、他社ソフト(Afterburnerとか)使うのもちょっとどうなの?とかあるじゃん そういうときは革ジャン純正コマンド「 nvidia-smi 」がおすすめ ・nvidia-smi -q -d POWER で上限と下限を確認 ・nvidia-smi -pl 数値 で制限 秒で設定おわり
1
83
622
101,321
Leanというプログラミング言語を初めて知った。調べてみたら、LLMとも相性が良さそうで面白い! 生成AIが数学的な問題に取り組むときに、単なる数式処理の問題なら、Maximaのような数式処理ソフトを使えばある程度正しい答えを導いたり、検算したりすることはできる(ハルシネーションのリスクはあるが) 一方、証明問題では論理が正しいかどうかを検証することは非常に難しい。が、Lean 4を使えばその検証が実現できるらしい どうもbuildが通れば厳密に式変形が正しいことが保証されるようで、つまり「ソースコードのデバッグをする」ことが「数学的な証明問題を解く」ことに対応していると言えそうだ そして、「ソースコードのデバッグをする」ことは昨今のコーディングエージェントが得意とすることである。そして、アナロジーとして考えると「数学的な証明問題を解く」こともLLMの得意分野になる可能があるのでは?と思っている
私はLeanというプログラミング言語がとても好きです。 RustやTypeScriptなどの一般的な言語では「計算」をするのに対して、Leanでは「証明」を行います。 Leanだからこそできることの単純なものの一つとして、数学的式変形が合っていることを自分自身で機械的に厳密に検証可能になることが挙げられます。 計算が大量にある数学の問題で、式変形が合っているか不安になった経験は誰しもあるはずです。 このような簡単な例を考えてみましょう。 (a+b)(b+c)(c+a) + abc = … {式変形} = (a+b+c)(ab+bc+ca) Rustでこれが正しいことを確認しようとしたとしても、基本的にRustには式変形という概念は存在しません。 左辺と右辺をそれぞれ実装し、a,b,cに具体的な値を代入してみて確認することで証明を実現することはできるように感じます。 しかしたとえa=1, b=2, c=3で成り立っても、全てのあらゆる実数で成り立つことは保証できません。 つまりそれは式変形を証明したとは言えません。 一方、Lean言語を使うとそれが実現可能となります。 これが具体的なLeanの実装です。 このように実装して lake build というコマンドの成功を確認すれば、(1億でも5兆でも)任意の実数でこの式変形が正しいことを証明できます。 そこまでして式変形を証明する必要がある?という疑問は当然あると思います。 例えばあなたがノーベル賞を狙う科学者で、論文内に数百行の式変形があったとします。 この時、それが本当に正しいか自分でも不安になることは当然あると思います。 どれだけすごい方に査読してもらったとしても、特定の1行だけに存在するちょっとしたミスを見つけられない可能性はあり そのようなケースでは活躍するかもしれません。 加えて更に嬉しいことに、自分の式変形だけでなく他人の式変形の正しさも検証可能にしてくれるので、客観的に正当性を示したい際は非常に有用です。 記法に慣れるまでが大変なので、みんなが使うようになる未来はまだまだ先かもしれません。 しかし、曖昧な情報が増え続けてるこの世の中ではもっと注目されるべき技術だと思います。
2
29
481
131,152
Cursorを3週間程度触ってみた所感と、Clineとここが違うと感じた点を備忘録的にまとめました。 Cursor全般というよりは、主にエージェント機能に関する機能に絞った比較です。 zenn.dev/robustonian/article…
45
430
38,011
VRAMを120GBまで使える設定にしてますが、同じRyzen AI Max+ 395のマシン(EVO-X2)でgpt-oss-120bを動かすとこれくらいの速度が出ます ※この例では約47tps おそらくgpt-oss-120bはVRAM 64GBだと微妙に足りなくて、96GBとかに設定してすべてVRAMで推論するようにすれば3倍ぐらい速くなると思います
gpt-oss-120bも動かしてみたけど想像より全然実用的なスピードだった。PS5でゲーム遊ぶくらいの150W未満の実消費電力でAPI通信エラーの詰まりなく実行できるので使い方次第でQoL上げられそう。 VRAM64GBモードでGPU使用率が低いのでさらに最適化の余地もあり。
2
66
384
103,586
1.58-bit DeepSeek-R1を128GB M2 Ultraで動かそうと試行錯誤した結果、(理由はわからないが)面白いことに気がついた。 中途半端にGPUを使うと2tpsしか出ないが、いっそCPUだけを使うようにしたら、むしろ推論速度が速くなり、なぜかメモリ使用量も激減。これならもっと大きなモデルもいけるのでは?
ん?128GBでも動かせるっぽい?速度は期待できないけど、とりあえず後で試してみよう。
4
55
338
58,567
朝起きたら生成AI界隈はちょっとしたお祭り騒ぎ。 ①Gemini-Exp-1114 ②ChatGPTがMacアプリと連携可能に  →現状VS Code、Xcode、ターミナル、iTerm2のみ対応 ③ローカルLLM:Athene-V2-Chat/Agent(72B) ②の使い勝手が良さそうなら、開発用の端末をUbuntuからMacに切り替えるかも。
1
43
322
34,568
gpt-ossで「Codex v.s. opencode」の結果を追加して可視化 やはりこの結果を見ても、gpt系はcodexよりもopencodeと相性が良さそう。 それにしても、opencode + gpt-oss:120b (MXFP4)の組み合わせ強すぎでは?遂にローカルLLM Vibe Codingが現実味を帯びてきたか...!? github.com/laiso/ts-bench
Iaisoさんのts-bench Leaderboardを見ると、gpt-5と一番相性が良さそうなのはcodexではなくopencode? gpt-oss:120b/20bでも同じ傾向があるのか気になったので、opencodeの評価を実施中... github.com/laiso/ts-bench
49
272
45,948
RTX 3060(12GB)のComfyUIでQwen-Image-Editを動かせた!720x1280, 4step, アップスケール込みで約50秒。 入力画像として、こちらにあるAIニケちゃんのi2i用画像を使用させていただきました。 nikechan.com/about
2
37
248
33,398
噂のReclineを試してみた。 少し触っただけだけど、本当にClaude 3.5 SonnetをClineで使い放題だとしたら、いつナーフされてもおかしくないぐらいコスパが良い。 ちなみに、日本語オミット問題はReclineにRecline自身ののコードを直してもらって解決しました。
なんかReclineのSonnetとのコミュニケーションちょっとギクシャクだなと思ったら、これ言ってる人いたけどリプライ投げた時に文章から日本語が全部オミットされて送信されてるっぽい。むしろ逆によくそれでそれなりに意図が通じてたな…断片的な英単語だけをヒントに理解してくれてたらしい。天才か?
2
32
231
47,859
mlx-community/DeepSeek-OCR-4bitをお試し すごい!MacでOCRが爆速でできるようになった! ※動画はリアルタイム
DeepSeek-OCRが mlx-communityに来ました ランタイムのアプデが来ればLMstudioでも huggingface.co/mlx-community…
4
35
237
43,573
gemini-2.5-flash-preview-04-17のShaberi3ベンチマーク評価を実施しました。 予想外すぎたんですが、DeepSeek-R1を超えてなんと一位です!!!! gemini-2.5-pro-expを超えているのも謎すぎる。さすがにコーディング性能ではproに負けてると思いますが、日本語性能はトップレベルに性能が高そうです
1
51
234
26,427
【Molmo-7B-D-0924の追加情報】 日本語OCRはできなかったけど、画像中のオブジェクトの座標を精度良く取得出来ると聞いてデモで試してみました。 確かにかなり精度が良さそうで、このモデル実はめちゃくちゃ汎用性が高いかも知れない...!
GPUメモリ的にColaboratoryだとA100必須だけど、このVLMの性能は凄いな👀 2枚目は可視化したものだけど、位置も良さそう🤔
1
42
229
48,401
ホーダチさんが本日リリースされたLlama-3.1-70B-EZO-1.1-itのQ8_0量子化版を、早速Shaberi3ベンチマークで評価しました。 結果はなんと、gpt-4o-mini、gemni-1.5-pro超えのスコアでした!! これほど高性能なモデルを、オープンモデルとして公開されたホーダチさんには感謝しかありません!
2
51
230
58,968
Qwen-Image-Edit-2509をComfyUIでお試し。 Nano Bananaとかでも同じようなことはできると思うけど、ローカルでここまでできるのは嬉しい! ●生成時間 RTX 3060で1枚入力:58秒、2枚:83秒、3枚:112秒ぐらい。 →少なくとも1枚のときは数秒で生成できるようになると、色々試行錯誤できて良さそう。
2
25
224
18,701
こんな参考になる調査結果があったことに今らさ気づいた。ローカルLLM用にMacの購入検討している人は必見! Apple Siliconのllama.cppのパフォーマンスがまとめられていてめちゃくちゃ参考になる。 github.com/ggerganov/llama.c…
1
42
215
39,274
DeepSeek-OCRを使っていてかなり便利だと感じたので、APIとWebUIを自作 推論自体はMacでやっているのだけれど、mpsでの推論に対応させるのにかなり苦労した😇
2
22
202
19,605
Macでユニファイドメモリの75%以上をVRAMとして使えることにいまさら気づいたので、備忘録として記事にしました。 【おまけ内容】 * 236BのDeepSeek-V2.5を動かしてみた * VRAMさえあればストレスフリーで超大型モデルを動かせるわけではない zenn.dev/robustonian/article…
1
58
203
25,080
CUDAなしで動くと聞いて、私もDeepSeek-OCRをおためし!※右がインプット画像、リアルタイム 動画ではEVO-X2で動かしてますが、見た感じMacBook Proより少し速そう?
DeepSeek-OCR を MacBook Pro で CUDA 使わずに動かしてみた。遅いけど一応動く (元データは Wikipedia のスクショ)
1
31
201
30,210
やった!初めて1-1をクリアした! ※今回はプレイ中にVLMやLLMは全く使ってません アルゴリズムとしては単純で、前回の操作履歴と到達座標をフィードバックした上で、とにかく前へ進むための操作を少しずつ修正するようなプログラムをVibe Codingで作ってもらいました。
4
16
171
69,054
久々に記事を書きました。 GGUF版HunyuanVideoをRTX 3060(12GB)環境やMac Studioで動かす方法について備忘録的にまとめています。 zenn.dev/robustonian/article…
1
37
164
27,002
gemini-exp-1206をClineで使おうと思って色々調べていたら、Clineをforkした「Roo Cline」という拡張機能を見つけた。 gemini-exp-1206やgemini-2.0-flash-expが使えるだけでなく、なんと全自動モードや差分による編集機能もある!本家ClineやClaudeの抱える問題が一気に解決するかもしれない。
2
28
161
35,959
Qwen-ImageがRTX 3060(12GB)で動くと聞いて、早速ComfyUI版をお試し。確かに問題なく動いて、20stepでちょうど5分。ちなみにEVO-X2では約9分。 Wan2.2-14BもRTX 3060で普通に動いたし、もはやNVIDIA GPUなら画像・動画生成にVRAMはそこまで必要ないのでは?メインメモリ容量の方がよほど重要な気がしてきた。
お、QwenImageは12GBの3060でも動いてるって報告ある
1
24
158
21,970
Qwen3の速度とShaberi3ベンチマーク結果について、ここでは書ききれそうになかったので、記事にまとめました。 ちなみにQwen3-235B-A22B以外をすべて評価するのに、丸二日かかりました😇 zenn.dev/robustonian/article…
4
31
159
22,394
Qwen2-VLをローカルで動かしてみたけど、2Bでも日本語のOCRできるしオンプレミス環境で運用したい会社や自治体でめちゃくちゃ需要ありそう! ただ7Bは24GBのVRAMでもOOMで動かなかった。時間あればMacで動かせるか試したい。 huggingface.co/Qwen/Qwen2-VL…
1
30
157
19,030
また記事を書きました。 Mac Studio, EVO-X2(どちらも128GB)でQwen3-Omni-30B-A3B-Instructを動かす方法を備忘録的にまとめています。 あとオマケで音声ガチャについても軽く触れています。 zenn.dev/robustonian/article…
26
150
14,453
gemini-2.5-proのAPIが無料で使えなくなったと聞いて。 本当だ、いつの間にかgemini-2.5-pro-exp-03-25が消えている😇
gemini-2.5-pro-preview-05-06のAPI、無料枠なし?
49
141
48,576
私もVibeVoiceをローカル環境でお試し! RTX 3060(12GB)では、7Bモデルをbf16でロードできなかったため、4bitでロードしたらうまくいきました。Speakerによってテンションの差が激しいですが、かなり良い感じですね! 【参考情報】 ・4分11秒の音声生成時間:約12分 ・VRAM:およそ8GB使用
英語と中国語はそりゃまあきっと良いはずなので(?)せっかくなので日本語で試してみた!思ったよりちゃんと話せていた!
3
28
143
21,261
約1ヶ月ぶりになってしまいましたが、1.58bit版DeepSeek R1の日本語性能評価に関する記事を書きました! 【内容】 ・推論速度を高めるllama.cppのパラメータ設定 ・DeepSeek-R1-UD-IQ1_SのShaberi3ベンチマーク結果 ・オリジナルと比較して性能劣化が顕著だった質問の例 zenn.dev/robustonian/article…
2
31
143
19,743
Claude MCPを使ったアプリ開発に関する記事を執筆しました! 【内容】 * filesystem, gitとの連携 * 現状の課題  →致命的な課題もあるが、逆にそこが解決すればかなり使い勝手が良くなる。 * Clineとの比較表  →どちらも一長一短あり * その他MCP全般に対する所感 zenn.dev/robustonian/article…
27
141
13,268
Wan2.2のStart/End frame指定をお試し。 はじめて使ってみたけど、想像以上に良い感じ! #AITuberKit #AIニケちゃん
4
31
139
17,497
DGX Sparkの実売価格がこれまで全然わからなかったけれど、ようやくオンラインショップで見つけた。 →ストレージ4TBで約91万円とのこと EVO-X2の3倍以上の価格と考えるとかなり高く思えてしまうけれど、果たしてそれだけの価値があるのか? 実機レビューが楽しみ。 nttxstore.jp/_II_NV16823052
3
50
134
38,016
MastraとOllamaを組み合わせて、ローカルAIエージェントを作る方法について備忘録的にまとめました。 AITuberKitと接続するにはollama-ai-providerのTool Streaming対応が必要であることがわかり、そちらは改修がうまくいったら次の記事にまとめる予定です。 zenn.dev/robustonian/article…
1
25
131
15,351
ローカルAIエージェントに無限に画像生成してもらっているんだけど、究極のガチャという感じで面白い 指定した画像生成プロンプトをベースとして渡して、ローカルLLM(gpt-oss:120b)で色んなバリエーションのプロンプトでComfyUIをAPI経由で呼び出して画像を無限に生成してもらっている
Codexなどのコーディングエージェントを、汎用AIエージェントとして使うシンプルな方法を備忘録的にまとめました。 ※記事ではCodexとopencodeのmodelとしてgpt-oss:120bを選択 それとかなりネタ寄りですが、占い頼みの投資判断AIエージェントを作り、動作例も示してます。 zenn.dev/robustonian/article…
15
132
17,476
私も結構酷使してたつもりだけど、まだ警告メールは来ていない。とは言えrate limitには結構引っかかったので、結局Claude MCPと併用して使っていた。 やはり月10ドル、20ドル程度では使いたい時に無制限にClaude 3.5 Sonnetを使い続ける事は出来ないのかな。 zenn.dev/ymsy/articles/4cbf2…
3
46
122
19,427
LLMのサイズから必要なVRAMを計算する公式はこんな感じらしい。モデルをロードするのに最低これだけ必須で、実際に推論する場合はもう少し必要なはず。 substratus.ai/blog/calculati…
How much GPU VRAM do I need to be able to serve Llama 70B? Clean formulae
1
16
119
8,923
明日の #生成AIなんでも展示会 vol.4に出展します。 紆余曲折ありましたが、最終的に下記2つのチャレンジ企画を並行して展示することにしました。ぜひ遊びに来てください! ①ローカルLLMを用いたVibe Coding あらかじめ作成した20個のアプリの要件定義書を元に、codexまたはopencode + gpt-oss:120bで作れるだけ作ります(会場で要望があればそちらも試してみます) ②randomario改 gpt-5で改良したアルゴリズムを使って、開場時間内にスーパーマリオブラザーズ 1-1〜8-4の自動攻略を目指します
2
17
123
24,395
うみゆきさんのポストにあった、Claude MCP + (リポジトリからビルドした)filesystem + Makiさんのcommand-executor-mcp-server の組み合わせを試してみたら、Claude Desktopがかなり快適に使えるようになりました。圧倒的感謝!サブスク代だけで、Clineに近い運用ができるのはめちゃくちゃ嬉しい。
てか、いい加減ファイルシステムのMCPサーバーで差分編集できるようになれよ、とワンチャン見に行ったら、なんと差分編集がサポートされとる!だったらもうClaudeからでもClineみたいな事はできるでしょう。ほら、安全にコマンド実行するMCPサーバもあるわけなのだから(zenn.dev/sunwood_ai_labs/art…
18
119
21,431
DGX Spark(GB10)のllama-benchが公開されていたので、同条件でMac Studio(M2 Ultra)、EVO-X2とのgpt-oss:120b推論速度を比較 ●ポイント ①プロンプト処理:GB10が最も速く、EVO-X2が最も遅い ②トークン生成:Mac Studioが最も早く、GB10が最も遅い(メモリ帯域幅を考えると妥当?)
4
46
127
51,499
今年最後の記事を書きました。 久しぶりにローカルLLMを使ったお遊びをテーマにしています。 【内容】 ・背景、簡単なプログラムの紹介 ・Claude MCP + filesystem + gitでの開発を通じて苦労したこと、失敗例と学び ・おまけ:いくつかのモデルを用いたポートフォリオ生成例 zenn.dev/robustonian/article…
16
117
8,443
ClineとローカルLLMを使って、Next.jsアプリ開発に挑戦しました。Clineとのやりとりや思ったことなどを記事にまとめてます。 【要点】 * Cline+Qwen2.5-Coder-32BでDBやollamaと連携したNext.jsアプリが作れた(時間はかかる) * 回答の遅さが、逆にNext.jsを学ぶ機会をくれた zenn.dev/robustonian/article…
1
17
110
10,080
gpt-ossの推論速度とShaberi3ベンチマーク評価結果を記事にまとめました。 結論:Qwen3モデルは日本語に強い。120Bの方は強みを活かせば何かしら使いみちがありそう。 ※英語での性能やコーディング性能等については触れていません。 zenn.dev/robustonian/article…
1
38
113
16,656
ローカル環境でQwen3-VL-30B-A3Bを動かす方法を備忘録的にまとめました zenn.dev/robustonian/article…
1
22
112
12,481
Claude Codeを使って、リスクを考慮した資産運用シミュレータをアップデートし、取り崩しシミュレーション機能を追加しました。 インフレ率・為替リスクを考慮すると、4%ルールでの破産確率が予想以上に高いことに気づくと思います。 invest-nisa-simulation.robus…
2
16
108
12,237
Qwen3-Omni-30B-A3B-Instructをローカルで動かせた! 時間あれば記事にまとめたい。 公式Demoページは18人のスピーカーから選べたけど、ローカル版では3人からしか選べなさそう?
(音が出ます)よく見たら音声も出力されていた。少しだけ読み方が怪しい部分もあるけど、日本語も喋れている。 これはQwen3-Omni-30B-A3Bの機能なのだろうか?後で確認してみる。
1
16
110
14,530
おお、確かにQwen-ImageがMacでも動いた! しかもEVO-X2より速い。 ・RTX 3060:41秒 ・M2 Ultra:92秒 ・EVO-X2:110秒
10
110
11,521
AMD Ryzen AI Max+ 395でStable Diffusionを動かす方法と直面した課題・解決策について、備忘録的にまとめました(Ubuntu環境なので)。 Mac Studioと比較したEVO-X2の所感等についても言及しています。 zenn.dev/robustonian/article…
2
33
109
17,085
karakuri-vl-32b-instruct-2507をお試し。 ※ぱぷりか炒めさんのQ4_K_M量子化版をollamaで使用させていただきました 試しにスクリーンショットのOCRをしてもらったら、完璧だった!!数式をTex形式で出力もできるし、中国語も混ざってない。 これはかなり素晴らしいモデルなのでは?
karakuri-aiさんが公開しているkarakuri-vl-32b-instruct-2507のggufフォーマット変換版です imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました huggingface.co/mmnga/karakur…
23
110
20,174
アイデア記事を書きました。 ここ最近、Next.jsの知識がゼロの状態からClaude頼みでwebアプリをいくつか作ったのですが、背景や実際にやってみて思ったことなどを備忘録的にまとめてます。 zenn.dev/robustonian/article…
13
108
7,897
Codexなどのコーディングエージェントを、汎用AIエージェントとして使うシンプルな方法を備忘録的にまとめました。 ※記事ではCodexとopencodeのmodelとしてgpt-oss:120bを選択 それとかなりネタ寄りですが、占い頼みの投資判断AIエージェントを作り、動作例も示してます。 zenn.dev/robustonian/article…
20
108
25,441
Qwen3-Omni-30B-A3B-Instructのデモをお試し。 日本語グラフの読み取りは完璧。スーパーマリオブラザーズの画面の説明は無理そう。
2
14
109
29,516
Claude MCPで開発中のLLMキャラ管理アプリで、入力したキャラ設定から自動的に他のパラメータ(年齢、性別等含む)を推論・補完する機能をOllama Toolsを用いて実装した。 検証のため、qwen2.5:32b-instructで色んな作品のキャラ設定からパラメータを補完し可視化中。この機能だけでもちょっと面白い
1
18
105
8,634
改めてMicrosoft/phi4のShaberi3ベンチマーク評価を実施しました。 ・パラメータ数が14bと比較的小型にもかかわらず、gemma2-27bやaya-expanse-32bよりもスコアが高い! ・クローズドモデルとの比較としてはgpt-4o-miniと同程度のようで、14Bクラスでは現状最良の選択肢となりそうです。
1
32
104
15,764
My new gear...
とあるものを買ってしまったので、電源を換装。ついでに2.5インチSSD等をすべて外すなどした
2
12
109
11,094
Mac(Apple Silicon)のLLM推論速度を可視化するNext.jsアプリを作りました。 GPU1コアあたりのプロンプト評価速度、メモリ帯域幅あたりのテキスト生成速度も可視化してます。 こうして見ると、M4 シリーズは1コアあたりのGPU性能が明らかに高くなってますね!(左下の図) llm-speed-viz.vercel.app/
1
26
100
16,578
workflow作り直したら、問題なく生成されるようになった!今回作ったのは、AIニケちゃんが拳で机を粉砕する動画 ・RTX3060(12GB)で704x480, 81frameが5分30秒、960x512が8分30秒程度 ・可能な限りオフロードしたら、メインメモリを90GB以上消費
RTX3060でWan2.2-I2V-A14Bの動画も作れるようになった!動き自体はかなり良いんだけど、色合いがだいぶおかしい。なにか設定が間違っているのかな🤔 原因を究明したいけど、遅くなってしまったので今日はここまで。
1
16
97
15,310
laisoさんのts-benchが気になったので、codexでローカルLLMの評価をできるようにしました。そして、いくつかのモデルで評価してみました。 その結果、なんとcodex + gpt-oss:120bがclaude code + Claude Sonnet 4と同スコアになりました! ※一度きりの評価なので、多少ブレはあると思います
AIエージェントとモデルの組み合わせを定量評価する「ts-bench」を公開しました github.com/laiso/ts-bench Aider-Polyglotに倣い、LLMだけでなくツール全体のエージェントレイヤーを評価する試みです 取り急ぎClaude Codeで計測したら、なぜか以前よりスコアが下がってCodexに抜かされていました
3
19
98
26,429
「ローカル環境でQwen2-VLを動かしてみる」というタイトルで記事を執筆しました。 内容 * オンプレミス環境でVLMを使いたい方向け * Mac(Apple Silicon)でも動く。7BだとM2 Ultraの方がRTX 3060より速い(VRAM12GBでは足りないため) * 2B,7B,72Bの出力比較 * 推論時間比較 zenn.dev/robustonian/article…
22
96
8,772
Qwen2.5-Coder-32B-Instructに関する記事を書きました。長くなりそうだったので前後半に分けてます。 【前半の内容】 ・必要VRAM量、推論速度、Shaberi3ベンチ結果 ・Open WebUI、OSS版boltを使った単純なアプリのコーディング 後半はもう少し複雑なアプリ開発に挑戦予定です zenn.dev/robustonian/article…
24
94
10,734
モデルをGPUオフロードするようにしたら、20%(約10分)程度生成が速くなった。以下備忘録メモ ・NVIDIA GPU向けのworkflowでは、VRAM節約のために基本的にCPUオフロードしているものが多い ・しかしRyzen AI MAX+ 395はむしろシステムメモリが不足しがちのため、むしろ積極的にGPUオフロードすべき
Replying to @gosrum
生成時間はおよそ50分で、RTX3090の260秒の10倍以上かかってます。。。 まあRadeon 8060SのGPU性能はRTX 3060~4060程度で、かつtritonが使えなかったのが大きいと思います。linuxならtritonが使える?そうなので、今後サポートされれば多少は速くなるかも。
2
19
95
13,121
DeepSeek-R1(API版)のShaberi3ベンチを実施しました!スコア高すぎてワロタ 本来はOpen AI o1と比べるべきですが、Tierが低くてAPIが使えないです😇(まあ使えても高いので気が引けますが) 蒸留モデルの方は<think>タグを外す等の処理が必要そうなので、もうしばらくお待ちください。
30
89
16,357
arXiveの論文を検索したりアクセスしたりするためのMCPサーバーをお試し中。 2025年以降の論文を探してと言っても、知識のカットオフのためか「未来の論文を検索することはできません」と言われるのどうにからならないものか🤔 github.com/blazickjp/arxiv-m…
1
12
91
9,344
n8nなるものが面白そうだったので、私も触ってみた。 かなり苦労したけれど、なんとかOllama + Supabaseを連携して回答を得られるチャットボットやAPIエンドポイントのワークフローが作れた!疲れたのでもう寝よう。
n8n触れてなかったけど完全に理解した( ) 最近遊びたいもの多すぎて一時的にでもローカルに持ってくるのがだるいので、触るだけならGithub CodespacesかGoogle CloudShellのエフェメラルモード多用してスクラップ&ビルドしまくってる。
1
4
90
11,439
「Qwen3-235B-A22B:UD-Q3_K_XL_think」とOpenrouterの「qwen3-235b-a22b:free」のShaberi3ベンチマーク評価結果を記事に追記しました! 驚くべきことに、パラメータ数1/3程度かつUD-Q3_K_XLに量子化しているにも関わらず、素のDeepSeek-R1に匹敵するスコアでした! zenn.dev/robustonian/article…
22
89
10,342
Qwen2.5-72B,32B,14B,7Bのshaberi3ベンチ評価を実施しました!(ついでにいくつかのクローズドモデルも追加) 【結果】 * 72B→オープンモデルトップクラスのスコア! * 32B→gpt-4o-miniに匹敵 * 7B→思ったほど伸びていない ※7B未満のモデルは他の比較対象と合わせて後日評価する予定
2
22
90
13,917
「ローカルLLMでGraphRAGを動かしてみた」というタイトルで記事を執筆しました。 zenn.dev/robustonian/article… GraphRAG-Ollama-UIを使えば、英語文書のGraphRAGはわりと簡単に実現できました。一方、日本語文書ではうまくいかず、原因究明等は今後の課題です。
1
12
87
9,087
DeepSeek-V3-0324のShaberi3ベンチマーク評価を実施しました! ※コーディングではなく日本語性能の評価です 【まとめ】 ・旧V3よりわずかに性能向上、Claude 3.7 Sonnetとほぼ互角 ・openrouter版API(freeの方)は出力が少し不安定で、Tenguベンチのスコアが低め ・評価に要したAPIコスト:$0.14
2
19
83
13,778
ReClineでGitHub Copilotの無料枠を使い切ってしまった?ようなので、10ドルのProプランに課金しようとしたら、更に30日間のフリートライアル期間もあるらしい。 やはりClaude MCPよりも圧倒的にClineの方が捗るので、ReClineをしばらく使って問題なさそうなら、Claudeのサブスクは一旦解約しようかな
1
9
79
14,052
gpt-5-mini-2025-08-07とgpt-5-nano-2025-08-07のShaberi3ベンチマークを実施しました! miniの方はもうShaberi3ベンチマークでは測れないレベルに到達したようです。 その他特筆すべきは、nanoよりもオープンウェイトのgpt-oss:120bの方がスコアが高いことでしょうか。
1
23
86
11,024
(音が出ます)よく見たら音声も出力されていた。少しだけ読み方が怪しい部分もあるけど、日本語も喋れている。 これはQwen3-Omni-30B-A3Bの機能なのだろうか?後で確認してみる。
Qwen3-Omni-30B-A3B-Instructのデモをお試し。 日本語グラフの読み取りは完璧。スーパーマリオブラザーズの画面の説明は無理そう。
1
15
83
32,416
我が家にもEVO-X2が来た!
4
7
83
5,262
ソースを確認したら、何度も更新が入っているようでtoken generationでもDGX SparkがEVO-X2を超えてました!
DGX Spark(GB10)のllama-benchが公開されていたので、同条件でMac Studio(M2 Ultra)、EVO-X2とのgpt-oss:120b推論速度を比較 ●ポイント ①プロンプト処理:GB10が最も速く、EVO-X2が最も遅い ②トークン生成:Mac Studioが最も早く、GB10が最も遅い(メモリ帯域幅を考えると妥当?)
1
31
88
20,876
Kotaemon、確かにUIも洗練されていて使いやすい。いくつかエラーで苦戦したけど、なんとかMacでRAGを動かすとこまでいけた。英語も日本語文書も問題なさそう。LLMはgemma-2-27b-it.f16.Q8_0を使用。 導入手順は@kun432さんのスクラップを参考にさせていただきました。大感謝! zenn.dev/kun432/scraps/c0642…
1
13
82
12,050
「LLM人狼ベンチを作りたい」というタイトルで記事を執筆しました。今回は文字が多めです。 【学び】 ・人狼ゲームの奥深さ ・LLMへのプロンプトと人間へのタスク指示のアナロジー ・プライベートの開発でも、成果物を得ることだけが目的なら時間を買うために課金すべき zenn.dev/robustonian/article…
2
25
83
11,406
にじさんじで、パワプロの栄冠ナインの試合結果などをChatGPTに史実として覚えさせながら、物語を作っていくというめちゃくちゃ面白い企画をやってる。 生成AIが作った物語をプロンプトとして、人間がファンアートを描くという、興味深い現象が起きている。 piped.video/watch?v=0aKVnUgk… #ちまブラ他校調査
27
79
34,480
●DeepSeek-OCRの推論速度比較(概算) ・EVO-X2(ROCm 7.0.2):40秒 ・Mac(M2 Ultra:mps):1分20秒 ・Mac(M2 Ultra:cpu):2分20秒 Macはおそらく最適化できてないのもありそうだけど、EVO-X2はほぼソースコードいじらなくても速いことがわかった
Replying to @limegreenpeper1
この画像で試したところ、 ・cpu:トークン生成開始までに50秒/生成開始から終了まで1分30秒ほど ・mps:10秒/1分10秒 でした。※モデルロード時間含む cpuの方がメモリへのロード時間が長いのと、消費電力が3倍ぐらい多い感じです。 mpsはもう少し最適化の余地がありそうです。
10
80
10,269
RTX 5090の電力制約依存性評価 【画像生成速度】 575W→400Wの影響(消費電力30%減) ・生成時間:9%増加 ・画像生成あたりの電力量≒電気代:24%減 というわけで、基本的に電力制約は400Wで運用することに決めました
23
88
15,410
gemini-2.5-pro-exp-0325のShaberi3ベンチマーク評価を実施しました。 ・今までgeminiシリーズはいまいちなスコアだったのですが、今回はDeepSeek-R1に次いで2位に! →thinkingモデルとはいえ、明らかに日本語性能が向上 コーディング性能も高いとの噂なので、Claudeの立場が危ぶまれますね。
15
77
12,554
AITuber開発2日目、今日はオリジナルキャラクターモデルの作成に挑戦。 ...のはずが、気づいたらVTuberの世界に入りかけていた。危ない危ない。
1
5
78
7,194
grok3のAPIが使えるようになったので、早速Shaberi3ベンチマーク評価を実施しました。結果はgemini-2.5-pro-expを超えて2位! 興味深いことに、このベンチマークではgrok-3よりもgrok-3-miniの方がスコアが高かったです。またfastモデルの方がスコア高そうに見えますが、まあ誤差の範囲かと思います。
3
11
70
9,687
そういえばこれを見て、前回のClaude Code on the web会でぬこぬこさんとこんな雑談をしたのを思い出しました。 現状の生成AIは聴覚と視覚を獲得したが、触覚、味覚、嗅覚を入力できる生成AIは登場しないのか? 少なくとも味覚と嗅覚は人間が栄養を摂取したり危険を感知するために必要だけどAIには必ずしも必要ないのでは?という話になったと記憶している。 一方触覚についてはわりと重要なのでは? 例えば人間がコントローラでマリオをプレイするとき、脳が考えて指令を出しているというよりは視覚と触覚をフィードバックして脊髄や小脳で反射的に微調整しているのでは?もちろん、一度止まってどんな風に動くかのプランを立てる(フィードバック入力を作る、もしくは誘導則)部分は脳も使ってそうですが。 いやこうやって書き留めてみると、触覚が重要というよりは脊髄や小脳といった高帯域のインナーループが本質なのかもという気がしてきました。
せっかくDGX Sparkあるのでと、VLMでのマリオクリア目指して、DGX SparkでDSPy使って一晩中プロンプト最適化した結果をご査収ください
9
74
28,159
実は私もめちゃくちゃ気になっている。手元で動かせるベースモデルの中では、現状最強のローカルLLMは70Bクラスではなくgemma-2-27b-itだと思ってる。 ただ、gemma-2-27b-itに本当に必要なのはベンチマークスコアの向上ではなくcontext windowの拡大という認識。
Llama-3.1-70B-EZO-1.1-itが最強らしいけどEZO-Common/Humanities-gemma-2の27B版があったらどれくらい性能出るんだろう(他力本願)
1
8
72
7,361
よし、メモリを換装して128GBになった。これで当面は戦えそう。 GPUはしばらくRTX 3060のまま運用して、今のところはコスパ重視でRTX5070 Ti Super(24GB?)あたりを狙っている。性能と価格次第ではDGX Sparkも。
2
4
76
19,233
DeepSeek-R1-UD-Q2_K_XLとo3-mini-2025-01-31のELYZA-tasks-100のベンチマーク結果です!中々面白い結果。 ・DeepSeek-R1-Q2_K_XL(2.51bit)はIQ1_S(1.58bit)に比べ、スコアが飛躍的に向上! ・o3-miniはその中間ぐらい
1
19
73
13,184
AivisSpeech-Engineをいろんな環境で動かして、音声合成時間を比較(グラフは38秒分の音声合成に要した時間)。 RTX 3060といえど、やはりGPUは速い。 M2 UltraはCPUじゃなくてMPSで動かしたときの速度が気になるけど、対応してない? #AivisSpeech
2
15
73
18,000
埋め込みモデルを用いたシンプルな絵文字検索アプリを作りました。 ・文字列を入力→関連性の高い絵文字を10個表示 ・絵文字カードをクリック→クリップボードにコピー 【補足】 ・Zenn記事のアイキャッチ(絵文字)検索用に作成 ・static-embedding-japanese でベクトル検索 emoji-search-app.robustonian…
1
21
72
16,601
埋め込みモデルを用いた単語当てゲームを作りました。 文字列を入力すると、秘密のキーワードの説明文との類似度が返ってくるので、その情報をもとにキーワードを当てるゲームです。 embedding-akinator.robustoni…
3
20
71
16,142
ちなみに私の購入時点の価格を比較 ・EVO-X2:約27万 ・Mac Studio:約65万(整備済製品) ・DGX Spark(未購入:70万〜90万ぐらい?)
DGX Spark(GB10)のllama-benchが公開されていたので、同条件でMac Studio(M2 Ultra)、EVO-X2とのgpt-oss:120b推論速度を比較 ●ポイント ①プロンプト処理:GB10が最も速く、EVO-X2が最も遅い ②トークン生成:Mac Studioが最も早く、GB10が最も遅い(メモリ帯域幅を考えると妥当?)
3
14
71
22,187
ついに私のアカウント(Tier1)でも、OpenAIのAPI無料デイリートークンが使えるようになった。嬉しすぎる😭
3
15
70
14,060
私も「saas-starter」を使ってみた。 Stripeの登録とか一部手動作業が必要だったけれど、基本はRoo-Codeに導入作業をしてもらった。ついでに面白くしてと無茶振りしたら、ターミナル画面でjokeを披露する機能を追加してくれたw(LLMを使ってるわけでなく、テーブルからランダムに出力)
全部盛りのSaaSのテンプレート「saas-starter」使ってみた③ VscodeでPostgreSQLの中身を見てちゃんとユーザー登録がされていることを確認した!! これをベースに作成するのアリだな!!!
1
9
68
20,422
ローカル環境でFLUX.1を動かす方法をまとめた記事を執筆しました。ComfyUIの導入も含めた初心者向けの記事となってます。 NvidiaのGPU環境はもちろん、メモリが十分にあればMac環境でも問題なく動きます。 zenn.dev/robustonian/article…
19
70
13,658
きのぴーさんの.windsurfrulesをClaude Desktopに適用してみた。いつものMCPを使って、試しに「究極のTodo App作って」と依頼したら4,5ターンほどで期待以上のモックアップができた! 3.7 Sonnetで自走力が格段に向上したから、instructionsが良ければClaude Desktopでもそこそこ戦えるかもしれない
Replying to @Shimayus
---- こちらからダウンロードしてみてください。 drive.google.com/file/d/1a8n… 1. 先頭の.がなかったら「.windsurfrules」にファイル名を変更。 2. リポジトリのルートに配置(Windsurf - SettingsからSet Workspace Al Rulesから開いてもコピペでもOK) 3. 「## 技術スタックと制約」ブロックをまとめて選択して⌘+i→「現在のリポジトリに合わせて変更」で更新 4. 「## プロジェクト構造規約」、「## 重要な制約」ブロックをまとめて選択して⌘+i→「現在のリポジトリに合わせて変更」で更新 (念のためのフロー) 5. Set Global AI Rulesに「- `.windsurfrules` ファイルに記載された指示に従う」と記載 6. Windsurfを再起動 ----
1
6
69
17,882
Claude-3.5-Sonnet-20241022を、早速Shaberi3ベンチマークで評価しました! コーディング性能は飛び抜けて性能が良いとのことですが、日本語性能も着実に向上しています!コストを考えると、これをOpusではなくSonnetとしてリリースしてくれてありがとう!という気持ちです。
1
17
67
9,704
ミニPCで遊んでいて遅くなりましたが、cyberagent-DeepSeek-R1-Distill-Qwen-32B-JapaneseとABEJA-Qwen2.5-32b-Japanese-v0.1のShaberi3ベンチマーク評価を実施しました! いずれもQwen2.5-32bを上回っており、claude-3.5-haikuに近いスコアを出せています。(見切れててすみません)
17
64
15,723
Mastra + OllamaのAIエージェントをAITuberKitと接続するために、tool streaming可能なollama-ai-provider-forkをnpmパッケージとして公開した件を備忘録的にまとめました。 まあどちらかというと、オンプレミス環境向けAIエージェント基盤としての需要が高そうです。 zenn.dev/robustonian/article…
1
13
67
5,878
「ローカルLLMでbolt.newを動かしてみた」というタイトルで記事を執筆しました。 →bolt.new-multiLLMのレポジトリを公開してくださったホーダチさん、M.Aさんに大感謝です! 一例ですが複数のローカルLLMで検証したところ、今回は意外な結果が得られました。 zenn.dev/robustonian/article…
17
66
13,083
量子化してない方はこちら 速度あまり変わらないので、精度を求めるならこちらで良いかも。VRAMは4.3GB程度余分に必要 ・量子化なし:Prompt 1731tps、Generation 282tps ・4bit量子化:Prompt 1365tps、Generation 324tps
mlx-community/DeepSeek-OCR-4bitをお試し すごい!MacでOCRが爆速でできるようになった! ※動画はリアルタイム
1
7
63
6,751