長いチャットはなぜ愚かになるのか(最初からやり直さずに改善する方法)

わかるでしょう。最初は鋭かったチャットも、40通目のメッセージになる頃には、指示の半分を無視したり、10通前に自分が言ったことと矛盾したり、1時間前に修正した一般的なデフォルトへ戻ったりする回答を返すようになります。「何かが壊れた」わけではありません。モデルの性能が落ちたわけでもありません。変わったのは、あなたに応答する前にモデルが読まなければならないテキストの山です。

長いチャットの内部で実際に起きていること

AIモデルがあなたに返すすべての応答は、その時点までの会話全体を読み取って生成されます。元の指示、すべての追加質問、すべての修正、すべての脱線、すべての「そういえば、これもできますか...」を読み、次に何が来るべきかを予測するのです。この会話全体の記録はコンテキストウィンドウと呼ばれ、会話が長くなっても小さくはなりません。最初よりはるかに多くのテキストを抱えるまで、メッセージごとに大きくなっていきます。

チャットの早い段階では、あなたの指示がコンテキストのほぼすべてを占めています。モデルの仕事は簡単です。明確な概要を読み、それに従えばよいのです。30通目のメッセージになる頃には、元の概要ははるかに長くなった文書のごく一部となり、特定の編集、特定の数字、特定の一度限りの依頼についての何十ものやり取りに埋もれています。モデルは依然として、技術的にはコンテキスト内に元の指示を「持って」います。しかし今やそれらは薄まり、より大量の、より新しく、より具体的で、しばしば矛盾するテキストと注意を奪い合っています。

これが、長いチャットが一度に失敗するのではない理由です。徐々に劣化していくのです。モデルは、初期のメッセージよりも最近のメッセージに大きな重みを置き始めます(これは多くの場合、正しい判断です。通常、最近の情報ほど関連性が高いからです)。しかし、基盤となるルールが同じく古くなっていくスレッドに置かれていると、「最近」と「重要」が混同されます。5分前の何気ないコメントが、単にトランスクリプト上の位置が新しいというだけで、1時間前に示された基準設定の指示より優先されることがあるのです。

もう1つ、より気づきにくいコストがあります。モデルは、毎回より複雑になった文書から、あなたの意図を再導出しなければなりません。「あなたは、常にXの形式で出力を構成し、常にYを避けるシニアグロースストラテジストです」と明確な指示として読む代わりに、言い換え、会話の途中で認めた例外、特定のタスクにしか適用されなかった編集を通した、同じ考えを読み取ることになります。すり合わせるテキストが増えるほど、モデルが内容を平均化したり、曖昧な表現にしたり、繰り返し示されなかった制約をひそかに落としたりする余地が増えます。

人々が頼りがちな2つの修正方法 - そして、どちらも情報を失う理由

修正方法その1: 上にスクロールして、元の指示をもう一度貼り付ける

これは最も一般的な応急処置です。最初のメッセージまで戻って元の依頼文をコピーし、40番目のメッセージあたりで「念のためのリマインダーです。これに従ってください」といった文言を添えて貼り付けます。5回ほど返信が続く間はうまくいきます。しかし、コンテキストウィンドウの仕組み自体は何も変えておらず、膨らみ続ける記録に指示のコピーをもう1つ追加しただけなので、また同じずれが起こります。チャットはさらに長くなり、シグナル対ノイズ比は改善せず、プロジェクトの残りの期間も、しばらくするとこの作業を繰り返すことになります。

対策2:まったく新しいチャットを始めて、すべてを入力し直す

もう1つのよくある方法は、より思い切ったものです。スレッドを捨てて、新しく始めることです。これで希薄化の問題は解消されます。新しいチャットはコンテキストが短く整理されているため、指示が再び明確に読み取られるからです。しかし、ノイズと一緒に貴重なものまで捨てることになります。そのAIをこの特定のプロジェクトで優れたものにしていた、タスク固有の有用なコンテキストです。教え込んだ例、すでに説明したエッジケース、一緒に決めた判断事項など、すべてが失われます。ゼロから作り直すことになり、しかも、チャットの外に保存していなかった可能性のある指示を、記憶や古いメッセージの検索に頼って再構成することになります。

どちらの対策も症状には対処しますが、根本的な問題は解決しません。つまり、ROLE、FORMAT、STANDARDSが、増え続けるやり取りの山の中以外にはどこにも存在していないという問題です。

長期プロジェクト向け
Sofia - グロースマーケティングストラテジスト AI Skill
Sofia - グロースマーケティングストラテジスト AI Skill
$29このSkill $250グロースコンサルタント/時給

シニア・グロースストラテジストの役割、出力形式、基準を固定する、コンパクトで再利用可能なSkillファイル。これにより、新しいチャットを白紙の状態から始めるのではなく、最初から明確な状態で始められます。

Sofia - グロースマーケティングストラテジストを見る →

より良い解決策:シグナルとノイズを分ける

本当の解決策は、スクロールの工夫でも、やり直すことでもありません。指示を置く場所を構造的に変えることです。増え続けるスレッドの最初のメッセージ内にROLE、FORMAT、STANDARDSを置く代わりに、小さな独立ファイルであるSkillに記述します。必要なときにそのファイルを新しいチャットやClaude/ChatGPTのプロジェクトに読み込めば、その後の会話は目の前のタスクだけに集中できます。

会話を、以前は絡み合っていた2つの層に分けるようなものだと考えてください。

  • シグナル - 決して変わったり薄まったりしてはいけない内容。AIが何者として振る舞うのか、出力をどのようにフォーマットするのか、常に適用される基準や制約など。これはチャットの外にあるスキルファイルに記述します。
  • ノイズ - このタスク、この週、この1回のやり取りに特有の内容。「もっと短くして」「このクライアントの数字を使って」「いや、もう一方のバージョンで」など。これはチャット内にあり、長くなっても問題ありません。モデルの注意を中核となる指示と奪い合うものではないからです。

この2つの層を分離すると、長期プロジェクトは1つの長く劣化していくチャットではなくなります。それぞれがSkillファイルから読み込んだ、まったく同じ明確な指示セットで始まるクリーンなチャットの連続になり、何が「良い」状態かを何度も議論し直すことなく、実際の作業については自由に長く進められます。修正2の新しいチャットとクリーンなコンテキストの新鮮さを、修正2のコストである記憶からのすべての再入力なしに得られます。そもそも指示が古いスレッドに閉じ込められていなかったからです。

これにより、どちらの悪い対処法でも解決できない問題も解決します。それは、セッション間の一貫性です。基準が頭の中にあり、毎回少しずつ異なる形で入力し直していると、品質は1つのチャット内だけでなく、プロジェクトごとにもぶれていきます。Skillファイルは毎回同じファイルです。一度バージョン管理し、新しいことを学んだら改善すれば、今後のすべてのチャットにその改善がすぐ反映されます。

ぶれない測定業務
Rafa - マーケティング分析スペシャリスト AI Skill
Rafa - マーケティング分析スペシャリスト AI Skill
$29このSkill $200分析コンサルタント/hr

分析スレッドは長くなります - ダッシュボード、イベントスキーマ、レポートの実施頻度などです。RafaはSkillファイルで分析基準を固定しているため、プロジェクトの6週目も初日と同じ厳密さに従います。

Rafa - マーケティング分析スペシャリストを見る →

実際には次のようになります

数週間にわたる案件 - 成長監査、継続的な分析基盤の構築、クライアントとのコンサルティングプロジェクトなど - を進めているとします。徐々に本筋を見失う1つの長大なチャットではなく、次のような形になります。

  • あなたのROLE/FORMAT/STANDARDSはSkillファイル(短く構造化された文書で、システムプロンプトやClaude/ChatGPTのプロジェクト指示として貼り付けるようなもの)に記載します。
  • 各作業セッション、またはプロジェクトの新しいフェーズごとに、そのSkillファイルを読み込んだ新しいチャットを開始します。
  • チャット自体は、実際のタスクに必要なだけ長く、複雑になって構いません。基盤となる指示が同じ記録の中で一緒に流れて、より新しいテキストに押し負けることがないからです。
  • 今後のすべてのセッションに適用すべきこと - 書式設定の好みや、何度も繰り返し伝えなければならない制約など - を学んだら、今後のすべてのチャットではなく、Skillファイルを一度編集します。

その結果、長期プロジェクト全体で品質が右肩下がりにならず、一定に保たれます。コンテキストウィンドウと戦う必要はありません。そもそも、それに恒久的な記憶としての役割を担わせるという、決して得意ではなかった仕事を求めていないだけです。

1つのスレッドではなく、数週間にわたる案件のために
Thomas - ビジネスコンサルタントAI Skill
Thomas - ビジネスコンサルタントAI Skill
$29このSkill $300戦略コンサルタント/人事

マッキンゼーで培った構造化思考を、すべてのセッションに新たに読み込みます。長期のコンサルティング案件が、過負荷になった1つのチャットスレッドのドリフトを引き継ぐことはありません。

Thomas - ビジネスコンサルタントを見る →
無料ツール · 個人またはチームモード
自分の数字を見る:AIトークンコスト計算ツール

あなたやチームが実際にAIチャットをどう使っているかを入力し、再度promptを入力する場合と、永続的なSkillファイルを使う場合の、毎月のトークン浪費量と金額を現実的に見積もれます。登録もメールアドレスも不要です。この投稿の計算式をあなたの数字に適用するだけです。

計算ツールを試す →

よくある質問

同じチャットの earlier な段階で伝えた指示を、AIが「忘れた」ように見えるのはなぜですか?

文字どおり忘れたわけではありません。テキストは依然としてコンテキストウィンドウ内にあります。しかし会話が長くなるにつれて、元の指示がモデルの判断対象全体に占める割合は小さくなり、より最近のメッセージが回答に大きな影響を与えやすくなります。結果は忘れたように見えますが、実際には希薄化です。

新しいチャットを始めるのが一番簡単な解決策ではありませんか?

希薄化の問題は解決しますが、新たな問題が生じます。このプロジェクトでAIを役立てていたタスク固有のコンテキストを失い、元の指示を覚えているか、掘り起こして、もう一度入力しなければなりません。Skillファイルなら、常設指示がチャットの外に完全に保存されるため、記憶の負担なしに、新しいチャットのクリーンなコンテキストというメリットを得られます。

Skillファイルと、単に長くて詳細なpromptとの違いは何ですか?

長いpromptは依然としてチャット内に存在し、他のメッセージと同じように時間とともに古びていきます。つまり、長いスレッドでは同じ希薄化の影響を受けます。Skillファイルは特定の会話とは別に存在します。新しいチャットやプロジェクトの開始時に毎回新たに読み込むため、モデルの注意を最近のメッセージと奪い合うことも、特定のタスクのノイズを蓄積することもありません。

要約:

長いチャットが愚かになるのは、モデルが劣化するからではありません。増え続けるタスク固有のやり取りの山に、あなたの常設指示が埋もれてしまうからです。ROLE/FORMAT/STANDARDSを、SofiaRafaThomasのような、簡潔で再利用可能なSkillファイルにまとめましょう。それを新しいチャットごとに新たに読み込み、会話には本当に必要なノイズだけを持たせます。

~/get-started

役立つSkills。無駄なし。

ストア内のすべてのスキル、promptパック、agentを閲覧する。

すべてのスキルを見る →または無料ツールを試す