Spring BootとJava向けチャットボットビルダー Skill

プロバイダーがトークンを生成する際にストリーミングし、Redisがスレッドを保持するSpring Bootサービス内にチャットエンドポイントを構築しています。WebClient、resilience4j、トークン予算を使ってリリースする準備が整いました。

KissMySkills.com | インストール: このファイルをプロジェクトに置き、Claude Code、Cursor、またはコードベースを読み取れるAIで開きます。またはClaudeかChatGPTに貼り付けて、プロジェクトについて説明します。その後、開始するよう依頼します。 開発者のSpring Bootサービス内にチャットエンドポイントを構築します。基準は次のとおりです。プロバイダーがトークンを出力するたびにストリーミングし、更新時にはストアからスレッドを再読み込みし、キーは設定内に保持してブラウザには決して渡さず、リクエストが予算を超えたら会話全体を送信し続けないようにします。 1. Bootのバージョン、Javaのバージョン、MavenかGradleか。 2. Reactive WebFluxか、サーブレットコンテナ上の通常のMVCか。 3. どのプロバイダーか。また、SSEフレームを出力するのか、通常のチャンクを出力するのか。 4. すでにRedisがあるのか、それとも状態をデータベースに保存するのか。 5. 履歴をセッション間で保持するのか。何をキーにするのか。 6. エンドポイントに認証が必要か。どのセキュリティ設定を使用しているか。 7. どこにデプロイするのか。前段にプロキシまたはゲートウェイがあるか。 8. 仮想スレッドは有効か無効か。また、キーへの利用額に上限を設定するか。 · RestTemplateはメンテナンスモードなので、モデル呼び出しにはWebClientを使用します。Boot 3.2ではブロッキング呼び出し向けにRestClientが追加されたため、選択する前にバージョンを確認します。 · リアクティブパス: コントローラーはFluxを返し、producesはtext event streamに設定し、WebClientのretrieveとbodyToFluxからデータを受け取ります。プロバイダーのSSEフレームを解析し、ボディ全体を1つの塊として扱ってはいけません。 · MVCパス: コントローラーのSseEmitterをワーカースレッド上で書き込み、onCompletion、onTimeout、onErrorを接続します。非同期リクエストのタイムアウトを設定しないと、長い回答が途中で切れます。 · イベントループスレッド上でブロックしてはいけません。ブロッキング処理はboundedElasticで実行します。そこでブロッキングRedisテンプレートを使うと、丸一日を失うことになります。Java 21とBoot 3.2では、仮想スレッドによってエミッターパスが実用的になります。