行動が強化されるかどうかは報酬との時間的関係だけが重要で、因果関係には依存しない。ゆえに、「勉強した後でおやつを食べる」ことを繰り返していれば、おやつ（報酬）と関係のない「勉強」が強化されることもありうる。

目的のために何らかの手段を取る、というのは人間の思考の基本的な要素だが、強化学習の枠組みでこれを説明するのは難しい。皮質に状況がコードされ、線条体に行動がコードされる場合、目的の到来を予期する状況が外部から与えられれば、それに応じた行動を…

「手がかり刺激」と「必要条件」はたぶん脳内での扱いは同じようなものだと思う。どちらも報酬（目的）に先行する。「手がかり刺激」は基本的にその後の報酬を保証するのに対し、「必要条件」は保証しないが。そういう意味では「十分条件」の方が手がかり刺…

課題と言うか「やるべきこと」の中には、生活のために必要なこともあれば単なる暇つぶしに過ぎないものもあるし、その中間的なものも存在する。

若者は血気に逸って好みを変え、老人は惰性で好みを墨守する。（ラ・ロシュフコー箴言集） 上記の箴言に従えば、基本的に特定の物事・嗜好への拘りは感受性の乏しさによって生じるようである。しかし非常に強い情熱によって、好みが維持されることもあるので…

人間の判断は、選択肢の価値を吟味して価値の高いものを高確率で選択しているというよりも、価値が一定の閾値を越えたらそれを実行するというアルゴリズムに近いだろう。この場合、合理的に行動決定をするためには、満足の閾値が適切な水準である必要がある…

某先生の理論では、大脳基底核系が強化学習様のアルゴリズムで動いており、ノルアドレナリンは逆温度に相当するそうだ。もちろん大雑把な理論で突っ込みどころはいろいろあるのだが、割と面白い。 逆温度のいうのはソフトマックスの乗数の係数βで、βが大きい…

生じた欲求は明確な理由がないと捨てられないし、それは枷となってその人間を縛る。では欲求を捨てるための条件は何か？ 例えば複数の欲求があり、それらが「明らかに並立不可能」だと分かれば、一方を捨てることはできるだろう。高校の進路選択で、「医者と…

人間の行動にしろ、組織の判断にしろ、好ましいものを全て実行するのは不可能なことが多く、現実的には取捨選択が必要になる。好ましいと考えられる行動A〜Dがあったとして、時間的・コスト的な制約から４つのうち３つしか実行できないとする。その制約条件…

何か欲しいものがあって、一応買う金もあったとする。しかし他に買うべきものがあるかもしれないし、なるべく金を温存しておきたい。この状況では２つの欲求が対立することになる。 この状況でどちらかが勝り、行動が定まれば問題ないのだが、無理に両者を並…

親に経済的に依存している若者の場合、何もしなくても金が入ってくるし、それで遊ぶこともできる。経済的に自立すれば、金は労働の対価として得るので、「報酬のためにやるべきこと」が明確になる。上記のように親に依存している場合に、どのようなものが「…

複数の状況・行動の後に何らかの結果が得られた場合、その結果をどの状況・行動に帰属させるか（≒どの状況・行動を原因として解釈するか）という問題を「責任割り当て問題」という。人工知能の領域では、基本的に「直前の状況・行動に（大きく）割り当てる」…

手掛かり刺激、あるいは手段の実行後に報酬が得られないと、ドーパミン系の活動は普段よりも低くなる。こういった状況では、（仕組みはよく分からんが）ドーパミンの欠乏状態を補うために、別の方法で無理やりにでも報酬を得ようとする。…まぁ物理的に埋め合…

典型的な「基底核＝強化学習」の枠組みでは、皮質に現在の状況が、線条体に行動がコードされ、外界から与えられる報酬によって適切な状況と行動の組が強化される。すなわち、人間がある状況である行動を起こすのは、それが過去の経験によって強化されたから…

人間は「目的」の達成のために「手段」を企図する。目的によって価値が与えられるという意味では、「手段」は「目的」によって強化されると言える。目的に対する集団の位置づけは、報酬に対する手掛かり刺激の関係に近い。ただし基本的に「目的」が定まって…

以前にも解釈した気がするんだけど、別の見方も可能ではないかと思って。

今まで生きてきて分かったことは、結局自分の好きなことしか続けられないということ。打算で「やるべきこと」を決めても、長期間持続できない。では人生設計が無意味かというと必ずしもそうではなくて、「好きなこと」のどれを仕事にするかとか、嗜好を考慮…

例えば外部の事象に因果関係を見出す機構を考える。この場合の「因果関係」はかならずしも統計的な根拠を必要としない。「相関＋前後関係」程度のものである。（おそらく人間の判断の精度を考えると、その程度で十分なんだろう） んで、A→Bという事象の生起…

何度も検討した話なんだが、未だに満足いく結論が出ないのでｗ 自分の場合、「もしかしたら役に立つかもしれない」という可能性を否定できずに捨てられないことが多い。もちろんどんなものでも役に立つ可能性はあるわけなんで、それを言ったら何も捨てられな…

日常に満足していれば幸福に生きられるだろう。しかしそれに満足できずに、非日常的な「希望」を追う人間もいる。「希望」とは具体的にどのようなものか？ 現在の日常に満足できないが、「満足できる日常」のイメージが頭にあり、そこに到達するために努力す…

何か気に入ったものを見つけたとする。その際に、それを入手して手元に置きたいと思う場合がある。また、それに類する他のものを見てみたいと思う場合もある。当たり前のように感じるが、単純に「気に入ったものを見つけた」という行動が強化されただけでは…

例えば性衝動は動因の代表的なものだが、充足する手段はいろいろある。もちろん魅力的な異性を目にするなど、性衝動を引き起こす誘因もいろいろあるわけだが、性衝動に関しては動因によって制御されている面が強いだろう。充足する手段はまぁパートナーの確…

ある時点で様々な欲求が喚起されているのなら、それらを全て充足するような「高度な」目標でなければ設定できないように思う。もちろん生じている欲求自体を抑えることができればいいのだが、必ずしも容易ではない。 「全ての欲求を包括する目的」は、しばし…

（一部は前回のエントリから）ある目的が達成できるかどうか、微妙だと感じたとする。「微妙」なのはあくまで主観であって、実際は余裕かもしれないし、到底無理かもしれない。「目的達成が微妙」という主観は、「目的達成できそう」という回路への好ましい…

私が無事でいたいと思ったり、銀行預金やいろいろな楽しみを持ちたいと望んでいる限り、また生理的、あるいは心理的に何かになりたいと思っている限り、必ず苦しみがあるのです。私が苦しみを避けるためにやっていること自体が、恐怖と苦痛を生み出すのです…

いったいどうしてわれわれは、自分に起こったことを細大もらさず覚えているだけの記憶力を持ちながら、同じ人にその話を何遍したかを思い出すだけの記憶力がないのだろう？（ラ・ロシュフコー箴言集）

欲求はそれ自体を自然な形で充足しなくても、より高次の目的達成と関連付けることで、ストレスなく解消することができる。これはどのような機構で起こるか？

非常にIQの高い人物が奇行に走ることもあるが、これは何故か？ 「知性」の一面は、一見関連性のなさそうなものの間にも関連性を見出せることだろう。「関連性を見出せる」こと自体が問題を生じるわけではないが、「関連性」から例外の存在を無視して「因果関…

「金が欲しい」というのは一般的な願望だと思うが、それは「欲しいものがある→金がなくて手に入らない」という経験に基づくもので、欲しいものが（親に買ってもらえるなどの理由で）直接手に入ったり、金が無尽蔵に使える状況ではそういった目的は形成されな…