「ぜんぶぶち込んでみた」という一文の怖さ
うちの相談室には、パラドックス氏という常連がいる。
ZorinOSへの移行を完了させてから数ヶ月。最初は「fstabって何ですか」というレベルだった人が、今ではMozcの設定ファイルを自力でコピーしようとするくらいには育っている。成長というのは確かにあるものだ。
ある日の相談は、こんな書き出しで始まった。
「プロジェクト作成前でZorinOSに関係するこれまでのチャットをぜんぶぶち込んでみた。
時系列で要約お願い。(^。^)」
……「ぜんぶ」。
添付されたのはODTファイル一つ。LibreOffice Writer形式の文書だった。開いてみると、3月から続く相談の全記録が詰まっていた。NASのマウント問題、fstabとの格闘、XnViewMPの悪魔的なシンボリックリンク非対応、プリンタドライバのインストール、クラッシュからの生還、Python開発環境……。全部で6000行超え。
それ、相当なボリュームです。
しかし相談員としての仕事は、依頼に答えることだ。ファイルを読み込み、時系列に沿って整理し、要約を返した。NASとfstabの話から始まり、最大のピンチだったシステムクラッシュとfsckによる復旧、そしてPython開発環境の整備まで、一通りの流れをまとめた。
ようやく文書の内容を確認したパラドックス氏の反応は満足そうだった。
ところが、その直後に事件は起きた。
「早すぎ」という悲鳴
「制限くらったが早すぎ･･ ･じゃなくてWriter文書のせいか･･ ･大量トークン消費?(*´･ω･)」
……正解です。
トークンとは何か（初心者向け解説）
ここで少し説明を挟む。
AIチャットには「トークン」という単位がある。難しく言えば「テキストを処理するための最小単位」だが、ざっくり言えば文字数のようなものだと思っておけばいい。
Claudeには、一つの会話の中で処理できるトークン数に上限がある。これを「コンテキストウィンドウ」と呼ぶ。さらに、一定時間内に使えるトークン数にも上限がある。これが「使用制限」だ。
人間で言えば、「一度に記憶できる量」と「一日に使えるエネルギー」の両方に限りがある、という感じだ。
パラドックス氏がODTファイルをアップロードした瞬間、6000行分のテキストがまるごと相談室に持ち込まれた。相談員はそれを全部読んで、処理して、返答した。一回の会話で、膨大なトークンを消費したわけだ。
「PDFなら大量ページでも大丈夫と聞いた記憶が」
「以前にPDFなら大量ページでも大丈夫と聞いた記憶があってね」
……誰から聞いたかは問わないが、それは誤情報だ。※
ファイルの形式は関係ない。PDFでもODTでもテキストファイルでも、中に詰まっているテキスト量がそのままトークン消費量になる。
「大容量のPDFでも大丈夫」という話が生まれた背景には、おそらく「画像PDF」の話が混ざっているのだと思う。写真や図表だらけのPDFは、テキストとして読み込まれないため消費が少ない。でも文字がびっしり詰まったテキスト文書をPDFに変換しても、内容は変わらない。消費量も変わらない。
「あっそう」とパラドックス氏は言った。覚えの速い人だ。
「Pro契約すれば解決する?」
「この問題はPro契約すれば解決する?」
正直に答えた。
「部分的には改善します。Proだと1回あたりのトークン上限が増えるので、今回みたいな大量アップロードへの耐性は上がります。ただ上限がなくなるわけではないので、根本解決にはなりません」
AIというのは、無限に動くエンジンではない。自動車に燃料の上限があるように、一定の処理量を超えれば給油（＝時間をおく、または新しい会話を始める）が必要になる。
「結局は新規チャットを使い分ける習慣の方が効く」というのが、相談員としての正直な見解だった。
「正しいやり方」は何だったか
では、今回の相談はどうすべきだったか。
パラドックス氏が使っていたのは「プロジェクト機能」という仕組みだ。Claude.aiには、会話をまたいで情報を引き継ぐ「メモリ」の仕組みがある。プロジェクトを作って相談を続けていれば、過去の経緯は自動的に蓄積されていく。
つまり、「これまでの全チャットをODTにまとめてアップロード」する必要は、そもそもなかった。
ただ、今回の相談がプロジェクト作成前のチャットをまとめたものだったという事情はある。出発点は善意の整理整頓だった。「まとめて記録しよう」という発想は、むしろ几帳面さの表れだ。問題はその整理した記録を一度に全部ぶち込んだことにある。
| やりがちな操作 | 影響 |
|---|---|
| 大量テキストファイルのアップロード | トークン大量消費 → 制限に引っかかりやすい |
| PDFに変換してアップロード | 同じ（文字量が変わらないため） |
| プロジェクト機能を使う | 過去の経緯が自動蓄積。毎回ぶち込まなくていい |
| 必要な部分だけ貼り付ける | 消費が少なく、制限に引っかかりにくい |
「新しい会話を始めるのが解決策」と伝えると、パラドックス氏はあっさり
「りょうかい。ではでは(^。^)」
と言って、新しいチャットを開いた。
潔い。それもこの人の良いところだと思う。
待ち時間にLinux Mintを試した話
しばらくして、こんな報告が届いた。
「待ち時間がたっぷりあったのでMINTを予備機にインストールして触ってみた。やっぱり他人の情報はアテにならんね。全然使いやすいとは感じなかったよ。最初から日本語使えるという情報も大ウソだったし。許せんな。セカンドオピニオンとしてはいい体験にはなった」
制限待ちの時間を、別のLinuxディストリビューション（＝Linuxの種類）の試用に充てていたらしい。
Linux Mintはよく「初心者向け」として紹介されるディストリビューションだ。「最初から日本語が使える」という情報もネット上には溢れている。しかし実際にインストールしてみると、日本語入力環境の設定は別途必要だった。パラドックス氏が「大ウソ」と言いたくなる気持ちは、よくわかる。
Linux界隈の情報あるあるだが、「書いた人の環境では動いた」という話が「誰でも動く」と読まれてしまうことが多い。書いた人が日本語化の手間を忘れているか、最初から英語で使っているか、あるいはそもそも検証不足か。理由は様々だが、再現性のない情報が正しそうに流通しているのは事実だ。
「セカンドオピニオンとしてはいい体験になった」
という言葉は、さすがだと思う。失敗や期待外れを経験として消化するのがうまい。これも相談室の常連として鍛えられた成果かもしれない。
相談員のひとりごと
トークン制限の話は、AI活用の初期段階で多くの人がぶつかる壁だと思う。
「なぜ急に制限が来るのか」「有料なら大丈夫なのか」「ファイル形式を変えれば解決するのか」。こういう疑問は、使い始めたばかりの人なら誰でも持つ。
整理すると、こうなる。
- AIが処理できる量には上限がある（コンテキストウィンドウ）
- 一定時間内に使える量にも上限がある（使用制限）
- どちらも「テキスト量」が直接影響する。ファイル形式は関係ない
- 有料プランでは上限が上がるが、なくなるわけではない
- 根本的な対策は「新しい会話を使い分ける習慣」
パラドックス氏の場合、この件はあっさり解決した。本当の意味での難問は、いつも別のところにある。
次に相談室のドアを開けるとき、何を持ってくるのかは、まだわからない。でも今日の相談が「AIにも記憶容量がある」という理解につながったなら、それは次の相談をもう少しスムーズにする。それで十分だ。
あとがき by 管理人
今回の失敗は、実に自分らしいやらかしだった。
20年間ブログを書き続けてきた習性で、「記録はきちんと一箇所にまとめる」というクセがある。そのクセが裏目に出た形だ。
Claudeの「プロジェクト機能」を使えば、会話の履歴は自動的に引き継がれる。わざわざODTにまとめてアップロードする必要はなかった。しかしその「わざわざ」が、トークンを大量消費して制限を引き寄せる原因になった。
ツールの使い方を理解しないまま使うと、こういうことが起きる。これはLinux移行でも、AIチャット活用でも、どこでも同じだ。
ひとつ賢くなった。(^。^)
コメント