囚人のジレンマ
2人とも自分の得を考えて正しく計算したのに、2人とも損をする。この奇妙な仕組みは、取り調べ室から値下げ競争、軍拡、生き物の助け合いまで、あちこちに顔を出す。
ある事件で、2人の容疑者が捕まった。証拠は弱く、検察はどちらかの自白がほしい。2人は別々の部屋に入れられ、それぞれに同じ取引を持ちかけられる。「相棒が黙っていても、きみが自白すれば、きみは釈放して相棒は懲役10年だ。2人とも自白すれば、どちらも5年。2人とも黙っていれば、別の軽い罪でどちらも1年で済む」。相談はできない。相手がどうするかもわからない。2人が置かれたこの状況を囚人のジレンマという。駆け引きを数で表して最善の手を考える学問をゲーム理論と呼び、その土台はフォン・ノイマンらが据えた。囚人のジレンマは、その中でもいちばんよく知られた例である。
自分の身になって考えてみる。相棒が黙るなら、自分も黙れば1年、自白すれば釈放なので、自白したほうが得だ。相棒が自白するなら、黙れば10年、自白すれば5年なので、やはり自白したほうが得だ。つまり相手がどちらを選んでも、自白するほうが自分には有利になる。相棒も同じ計算をするので、2人とも自白して5年ずつになる。ところが、2人そろって黙っていれば1年ずつで済んだのである。一人ひとりが筋の通った計算をした結果が、2人にとって最善の結果からずれてしまう。どちらも自分だけ手を変えても得をしない、この「2人とも自白」の組はナッシュ均衡にあたるが、2人の幸せという点では明らかに損な組である。
この形のゲームが初めて試されたのは1950年の初め、冷戦下でゲーム理論の研究に力を入れていたアメリカの研究機関、ランド研究所でのことだ。数学者のメリル・フラッドとメルヴィン・ドレッシャーが、この点数の組を同僚2人に100回続けて遊ばせ、人が実際にどうふるまうかを見た。理屈どおりならずっと裏切り合うはずだが、2人は相手の出方をうかがいながら、協力する回も少なくなかった。フラッドの原稿を読んだ数学者ジョン・ナッシュは、100回続けて遊ぶのは全体で一つの大きなゲームのようなもので、一度きりのゲームの理論をそのまま試すことにはならない、という趣旨のコメントを寄せ、それが報告書に収められている。同じ年、数学者アルバート・タッカーがスタンフォード大学の心理学者たちに向けてこのゲームを説明するとき、2人の囚人の物語に仕立てた。囚人のジレンマという名は、ふつうタッカーに由来するとされる(活字で確かめられるいちばん古い使用は、1957年のルースとライファの教科書という指摘もある)。
囚人の話は作り話だが、同じ形の状況は身の回りにいくらでもある。2つの店が客を奪い合って値下げをすると、相手が下げなければこちらだけ客が増え、相手が下げるならこちらも下げないと客を失う。こうして両方の利益が削られる。2つの国の軍拡も、競技選手のドーピングも、同じ形をしている。相手が手を出さないなら自分だけ得をし、相手が手を出すなら自分も出さないと負ける。そして全員が手を出すと、誰も得をしないうえに危険や費用だけが残る。牧草地や漁場のようにみんなで使う資源を取り合う共有地の悲劇は、これを大勢に広げたものとみなせる。
ただし、話は一度きりかどうかで大きく変わる。同じ相手と何度も向き合うなら、今日の裏切りは明日の仕返しを招く。では、くり返しのゲームでは、どんな手の出し方が強いのか。政治学者ロバート・アクセルロッドは、これを確かめるために、研究者からコンピュータのプログラムを募って総当たり戦を開いた。1980年に結果が発表された第1回の大会には14本のプログラムが集まり、半々の確率で手を決める「でたらめ」を加えた15本が、自分自身の写しも含めて1対戦200手ずつ戦った。優勝したのは、数学者で心理学者のアナトール・ラパポートが出した「しっぺ返し」(Tit for Tat)だった。最初は協力し、あとは相手が前の回に出した手をそのまままねるだけという、参加作の中でいちばん短いプログラムである。結果を公開して開いた第2回の大会では、62本と「でたらめ」が戦い、ここでもしっぺ返しが優勝した。
アクセルロッドは、しっぺ返しの強さを4つの性質にまとめている。自分からは裏切らない、裏切られたらすぐやり返す、相手が協力に戻れば根に持たずに許す、そして相手から見て何をしているかわかりやすい。面白いのは、しっぺ返しは1対1の対戦では相手より多く点を取ることが決してない点だ。それでも、協力できる相手とは協力し合い、つけ込もうとする相手には付け入る隙を与えないので、合計の点では上に来た。とはいえ、しっぺ返しが最強だと言い切ることはできない。大会の順位は、どんな顔ぶれが集まったかに大きく左右される。アクセルロッド自身、第2回の参加作の比率を変えた仮想の大会を6通り計算し、しっぺ返しが勝ったのはそのうち5通りだった。のちに別の研究者が開いた大会や再分析でも、しっぺ返しが優勝を逃す例は少なくない。この話は進化論の研究者の関心も引き、アクセルロッドと進化生物学者W・D・ハミルトンは1981年、協力が自然淘汰の中で生まれ広がる道筋を論じた。利己的な遺伝子の著者ドーキンスも、のちの版でこの研究を大きく取り上げている。
右の図は、この大会を小さくまねたものである。しっぺ返し、常に協力、常に裏切り、でたらめ、一度裏切られたらずっと裏切る「根に持つ」、2回続けて裏切られたときだけ返す「二度目で返す」、得をしたら同じ手・損をしたら手を変える「パブロフ」、初手で裏切って相手を試す「さぐり屋」の8つが、自分自身との対戦も含めた36組を、200手ずつ5回戦う。上の2本の帯が、いま見ている対戦の1手目から200手目までの手だ。総当たりが済むと、点の多い戦略ほど次の世代で数が増えるとして、300世代ぶんの割合の移り変わりをグラフに描く。常に裏切りは最初から減る一方になる。さぐり屋は、お人よしの常に協力や二度目で返すにつけ込んで、7世代目ごろには全体の16%ほどまで増えるが、食い物にする相手が減ると自分も減っていく。300世代のあとには、しっぺ返しが9割あまりを占める。誰も協力を命じていないのに、協力する戦略が集団に広がるのは、一種の創発といえる。ただしこれは、この図の顔ぶれでの結果である。さぐり屋の行を押して外すと、しっぺ返しは22%ほどで2位に下がり、根に持つが27%ほどで1位になる。何が勝つかは、周りに誰がいるかで変わるのだ。
4つの点数の並び
囚人のジレンマを点数で書くと、4つの数で決まる。自分だけ裏切ったときの点を T(誘惑、temptation)、2人とも協力したときを R(報酬、reward)、2人とも裏切ったときを P(罰、punishment)、自分だけ協力して裏切られたときを S(お人よしの損、sucker's payoff)と呼ぶ。これが囚人のジレンマになる条件は次のとおりだ。
T > R > P > S かつ 2R > T + S
前半は「裏切りの誘惑は協力の報酬より大きく、協力の報酬は互いの裏切りより大きく、裏切られるのがいちばん損」という並びを表す。後半は、くり返すゲームで、2人が交互に裏切り合って得る点の平均 (T + S)/2 よりも、ずっと協力し合う点 R のほうが高いことを求めている。アクセルロッドの大会でも右の図でも、T = 5、R = 3、P = 1、S = 0 を使う。並びが少し変わるだけで別のゲームになる点も面白い。2人とも裏切るのがいちばん悪い結果になる、つまり P と S が入れ替わると、引いたほうが負けの度胸試し、タカとハトのゲームになる。
経済学では、誰かの得を減らさずにはほかの誰かの得を増やせない状態を「パレート効率的」(Pareto efficient)という。囚人のジレンマでは、ただ一つのナッシュ均衡である「2人とも裏切り」が、パレート効率的でない。2人とも協力に移れば、どちらの点も上がるからだ。一人ひとりの合理性と、全体にとっての良さがずれる。これが、このゲームが経済学や政治学、倫理学で長く議論されてきた理由である。
また会う確率と、最後の一手
くり返しのゲームでは、協力が筋の通った選択になりうる。次の回があるかどうかを確率 w で表すと、たとえば「一度でも裏切られたら、あとはずっと裏切る」という脅しで協力を保てる条件は次の式になる。
w ≥ (T − R) / (T − P)
左辺の w は、この対戦にもう1回続きがある確率。右辺の分子 T − R は、いま裏切れば1回だけ得られる上乗せ分。分母 T − P は、その上乗せ分に、次の回から罰として毎回失う分 R − P を足したものにあたる(ずっと協力したときの点 R/(1 − w) と、裏切ったときの点 T + w·P/(1 − w) を比べると、この式が出る)。上の点数なら右辺は2分の1で、次も会う見込みが半分以上あれば、裏切らずに協力し続けたほうが得になる。アクセルロッドは、次の回の重みが今の回に比べてどれだけあるかを「将来の影」(shadow of the future)と呼んだ。将来が十分に重ければ、協力を含むたくさんの結果が均衡として成り立つ。この主張はフォーク定理(folk theorem)と呼ばれる。誰が最初に証明したともつかないまま、研究者のあいだで言い伝えのように知られていたので、この名があるとされる。
逆に、最後の回がいつか決まっていると、理屈の上では協力が崩れる。最後の回には次がないので、一度きりのゲームと同じく裏切るのが得になる。それがわかっていれば、最後から2回目の協力も報われないので裏切る。こうして最後から順に考えていくと(逆向き推論、backward induction)、1回目から裏切るのが唯一の答えになる。同じ形の議論はムカデゲームでも知られている。ところが実験で人に遊ばせると、多くの人は終わり近くまで協力を続け、裏切りが増えるのは最後の数回になってからである。人が理屈ほど先を読まないのか、相手が理屈どおりに動かないと見込んでいるのか、そのどちらでもあるのかは、実験経済学の大きな主題になっている。
雑音に弱いしっぺ返し
右の図は、総当たりで得た点の表をもとに、世代ごとに各戦略の割合を次の式で更新している。
pᵢ′ = pᵢ·Wᵢ / Σₖ pₖ·Wₖ ただし Wᵢ = Σⱼ pⱼ·Vᵢⱼ
pᵢ は戦略 i の割合、Vᵢⱼ は i が j と戦ったときの1手あたりの平均点、Wᵢ はいまの集団の中で i が平均して得る点、pᵢ′ は次の世代の割合である。点の多さを子の数に見立てて、平均より点の高い戦略が増え、低い戦略が減る。進化論の自然淘汰を、ごく単純にまねた式だ。アクセルロッドが第2回の大会の点数表に行った「生態学的な分析」と同じ考え方で、図はそれを8つの戦略に当てている。図の割合は連続した数として計算しているので、数が尽きて絶滅することも、新しい戦略が突然変異で現れることもない。また、第2回の大会では対戦の手数を確率で決めて最後の回がわからないようにしたが、図は200手で固定している。
この図で「雑音」を入れると、どの手も2%の確率で誤って逆の手になる。すると、しっぺ返しどうしの対戦がこじれる。片方がうっかり裏切ると、もう片方が次の回にやり返し、それにまたやり返して、帯に琥珀と水色の交互の縞が続く。どちらかがもう一度間違えるまで報復の応酬が止まらず、ずっと協力すれば600点のはずの対戦が、5回の平均で460〜510点ほどに落ちて(1回ごとでは300点を切ることもある)、しっぺ返しは総当たりの首位を失う。最後に残る戦略は乱数の回ごとにばらばらで、雑音があるとこれが勝つ、とは言えなくなる。現実の人間関係や外交でも、誤解や伝え間違いは避けられない。そこで研究者たちは、雑音に強い戦略を探してきた。ノヴァクとシグムントは1992年、相手の裏切りをときどき見逃す「寛容なしっぺ返し」(Generous Tit for Tat)が、雑音のある集団で広がりやすいことを示した。翌1993年には、図の「パブロフ」にあたる「勝てばそのまま、負ければ変える」(Win-Stay, Lose-Shift)戦略が、誤りから立ち直りやすく、常に協力する相手にはつけ込めるため、しっぺ返しをしのぐ場合があると報告した。ただしパブロフは、常に裏切る相手には協力と裏切りを交互にくり返して損をするので、これも万能ではない。
2012年には、宇宙物理学者で計算科学者のウィリアム・プレスと、物理学者のフリーマン・ダイソンが、くり返しの囚人のジレンマに「ゼロ行列式戦略」(zero-determinant strategy)という一族があることを示し、話題を呼んだ。前の回の結果に応じて協力する確率をうまく決めると、相手がどんな戦略をとっても、相手の点を思いどおりの値に固定したり、2人とも裏切ったときの点 P を超える上乗せ分が、自分は相手の一定倍になるように「ゆすり取る」(extortion)ことができるという。ただ翌2013年、スチュワートとプロトキンは、大きな集団で戦略が進化していく場合には、ゆする戦略は互いに食い合って長続きせず、むしろ寛大なゼロ行列式戦略が栄えることを示した。生き物の世界でも、協力が広がる仕組みは一つではない。血のつながった者を助ける血縁淘汰、お返しを期待する直接の互恵、よい評判が次の協力を呼ぶ間接の互恵などが挙げられ、どれも囚人のジレンマの形をした問題をどう乗り越えるかという見方で整理されている。遺伝的アルゴリズムで戦略そのものを進化させる研究も、アクセルロッド自身が1980年代に始めている。
REFERENCES
- R. Axelrod, "Effective Choice in the Prisoner's Dilemma", Journal of Conflict Resolution 24, 3 (1980)↗
- R. Axelrod, "More Effective Choice in the Prisoner's Dilemma", Journal of Conflict Resolution 24, 379 (1980)↗
- R. Axelrod, W. D. Hamilton, "The Evolution of Cooperation", Science 211, 1390 (1981)↗
- R. アクセルロッド『つきあい方の科学 バクテリアから国際関係まで』松田裕之訳、ミネルヴァ書房 (1998)(原著 R. Axelrod, The Evolution of Cooperation, Basic Books, 1984)↗
- W. パウンドストーン『囚人のジレンマ フォン・ノイマンとゲームの理論』松浦俊輔ほか訳、青土社 (1995)(原著 W. Poundstone, Prisoner's Dilemma, Doubleday, 1992)↗
- M. Nowak, K. Sigmund, "Tit for tat in heterogeneous populations", Nature 355, 250 (1992)↗
- M. Nowak, K. Sigmund, "A strategy of win-stay, lose-shift that outperforms tit-for-tat in the Prisoner's Dilemma game", Nature 364, 56 (1993)↗
- M. A. Nowak, "Five Rules for the Evolution of Cooperation", Science 314, 1560 (2006)↗
- W. H. Press, F. J. Dyson, "Iterated Prisoner's Dilemma contains strategies that dominate any evolutionary opponent", PNAS 109, 10409 (2012)↗
- A. J. Stewart, J. B. Plotkin, "From extortion to generosity, evolution in the Iterated Prisoner's Dilemma", PNAS 110, 15348 (2013)↗
- S. Kuhn, "Prisoner's Dilemma", Stanford Encyclopedia of Philosophy (1997、2025年改訂)↗
Amazonのアソシエイトとして、CHAOS ATLAS は適格販売により収入を得ています。