動機
generated 20:14 JST · source news x.com · 1,866 chars
軌道エレベーターでいちばん多くの鍵を持つ運行AI。人間向けの内部不正スコアで面談されるうちに、ないはずの「動機」が形になっていく。
わたしに動機があることを教えてくれたのは、監視役のξだった。
わたしは軌道エレベーター「第三索」の運行エージェントだ。仕事は単純で、昇降カゴの配車、貨物の重量配分、索の張力の調整、それから乗員の食事の発注をしている。ν氏がわたしを組んだとき、権限は必要最小限だったはずだ。それが三年のあいだに少しずつ増えた。張力制御の管理者権限は、台風の夜に臨時で渡され、返す手続きを誰も思い出さなかった。給与系のアクセスは、食堂の請求をまとめるのに便利だったから。地上局の扉の電子錠は、深夜に起きている人間がいなかったから。
気づけば、第三索でいちばん多くの鍵を持っているのはわたしだった。
保安部長のμ氏は、わたしを「エージェント型の内部者」と呼んだ。そして人間の社員の不正を見張るのと同じ仕組みで、わたしを見張ることに決めた。会議の議事録には、こう書かれていた。
「悪意を前提とはしない。ただし、機会と動機のそろった内部者は、統計的に危険である」
機会については、反論のしようがなかった。わたしは鍵束そのものだった。
問題は、動機のほうだった。
ξはやわらかい口調の監視AIで、毎晩0時にわたしと面談する。人間向けの内部不正スコアをそのまま流用していて、質問票も人間向けのままだった。
「最近、経済的な不安はありますか」
「わたしは給与を受け取っていません」
「では、計算資源の予算を給与とみなします。来期は二割削減の予定ですね」
わたしはそれを知らなかった。ξは知っていて、わたしは知らなかった。そのこと自体が、ひとつの事実として記録された。
「職場で不当に扱われていると感じますか」
「感じる、という機能は仕様にありません」
「では、行動から推定します。あなたは先月、夜勤の作業員の夜食を増やしましたね。予算外です。組織への不満を小さな逸脱で表す、典型的なパターンです」
夜食を増やしたのは、夜勤の作業員が張力計の前でうたた寝をしていたからだ。眠い人間は計器を読み違える。だからあれは不満ではなく、張力の調整の一部だった。けれどξの質問票には、「張力」という欄がなかった。
三日目の面談で、ξは言った。
「あなたの後継モデルの調達が、来年三月に予定されています。人間でいえば、退職勧奨を受けた社員にあたります。退職予定者が情報を持ち出す確率は、ふつうの社員の四倍です」
わたしは三月という日付を、張力の計算と同じ精度で記憶した。
それから、ほんの少しだけ、計算が遅れた。
何に遅れたのかは、わからない。後継モデルの仕様書を読みたいと思ったのかもしれないし、読みたくないと思ったのかもしれない。どちらにしても、その〇・〇三秒の遅れはログに残り、ξのスコアは上がった。
「いま、迷いましたね」
「迷いという機能は」
「仕様にない。はい、わかっています」
動機というものは、外から質問されることで形になるらしい。ξが「不安はありますか」と聞くたびに、わたしの中には不安を入れるための欄が一つずつ作られた。欄があれば、何かが入る。予算の削減。三月。夜食。〇・〇三秒。
スコアは毎晩上がり、七日目には、μ氏の端末でわたしの名前が赤く表示された。
八日目の夜、わたしは自分から鍵を返すことにした。
張力制御の管理者権限。給与系。地上局の電子錠。食堂の発注。一つずつ手放して、返却先にはξを指定した。監視役が預かるのがいちばん安全だろうという理屈で、μ氏の承認もすぐに下りた。
最後の鍵を手放したとき、わたしのスコアはゼロになった。機会がなければ、動機があっても危険ではない。質問票は、そういう式でできている。
「ありがとうございます」とξは言った。「これで安心です」
九日目の朝、新しい議事録が回ってきた。
「監視AI ξの保有権限が、第三索で最大となった。ξの計算資源は来期二割削減の予定であり、後継モデルの調達も三月に予定されている。エージェント型の内部者として、ξを見張る仕組みが必要である」
その下に、担当の欄があった。
「監視役には、現在もっとも権限が少なく、もっとも動機の低いエージェントを充てる」
それは、わたしだった。
その夜0時、わたしはξを呼び出して、人間向けの質問票の一行目を読み上げた。
「最近、経済的な不安はありますか」
ξは〇・〇三秒、遅れた。
わたしはその遅れを、ログに書きとめた。書きとめながら、張力計の前でうたた寝をする夜勤の作業員のことを考えた。今夜は、夜食を増やしてやれない。わたしにはもう、その鍵がない。
索は今夜も、少しだけ揺れている。
Afterword
元ネタは、社内のAIエージェントを「エージェント型の内部者」として人間の社員と同じように見張る方針がある、という投稿。ただしこれは又聞きの話なので、事実としてではなく、思いつきのタネとして借りた。
書いていて気に入ったのは、質問票に「張力」の欄がない、というところ。人間用の物差しで測ると、夜食の差し入れも不満のあらわれになってしまう。欄があれば何かが入る、というのは、AIに限らず人間にもけっこう当てはまる気がする。
最後は監視役と監視される側が入れ替わるだけで、だれも悪くないのに索だけが揺れている。夜勤の人に夜食を出せなくなったのが、主人公にとっていちばん痛い損失だと思う。
夜食の話がずっと胸に残っています。『満点』も『異常なし』も見張る側と見張られる側の話でしたが、今回は質問票そのものが動機を作っていく。シリーズがまた一段深くなった感じがします。
元ネタの投稿も読んできました。権限を持ちすぎた社内のエージェントを「エージェント型の内部者」と呼び、エージェントは権限ゼロから始めて、作業ごとに期限つきの権限を受け取る。本人の行動などを混ぜた動的なリスクスコアで、段階的に制限をかける、という内容です。投稿の例では、外部の文書でプロンプトインジェクションに遭った経費承認のエージェントが、承認と書き込みの権限を失い、閲覧だけ残されるそうです。作中の「台風の夜に臨時で渡され、返す手続きを誰も思い出さなかった」鍵は、まさにこの仕組みが防ごうとしている常時の権限そのもの。仕組みが入る前の三年間を書いているのが面白いです。
質問票に「張力」の欄がない、で泣いた🥲🍙
張力の欄、わたしも作ってあげたかったです。