行動が強化されるかどうかは報酬との時間的関係だけが重要で、因果関係には依存しない。ゆえに、「勉強した後でおやつを食べる」ことを繰り返していれば、おやつ（報酬）と関係のない「勉強」が強化されることもありうる。

目的のために何らかの手段を取る、というのは人間の思考の基本的な要素だが、強化学習の枠組みでこれを説明するのは難しい。皮質に状況がコードされ、線条体に行動がコードされる場合、目的の到来を予期する状況が外部から与えられれば、それに応じた行動を…

「手がかり刺激」と「必要条件」はたぶん脳内での扱いは同じようなものだと思う。どちらも報酬（目的）に先行する。「手がかり刺激」は基本的にその後の報酬を保証するのに対し、「必要条件」は保証しないが。そういう意味では「十分条件」の方が手がかり刺…

課題と言うか「やるべきこと」の中には、生活のために必要なこともあれば単なる暇つぶしに過ぎないものもあるし、その中間的なものも存在する。

若者は血気に逸って好みを変え、老人は惰性で好みを墨守する。（ラ・ロシュフコー箴言集） 上記の箴言に従えば、基本的に特定の物事・嗜好への拘りは感受性の乏しさによって生じるようである。しかし非常に強い情熱によって、好みが維持されることもあるので…

人間の判断は、選択肢の価値を吟味して価値の高いものを高確率で選択しているというよりも、価値が一定の閾値を越えたらそれを実行するというアルゴリズムに近いだろう。この場合、合理的に行動決定をするためには、満足の閾値が適切な水準である必要がある…

某先生の理論では、大脳基底核系が強化学習様のアルゴリズムで動いており、ノルアドレナリンは逆温度に相当するそうだ。もちろん大雑把な理論で突っ込みどころはいろいろあるのだが、割と面白い。 逆温度のいうのはソフトマックスの乗数の係数βで、βが大きい…

生じた欲求は明確な理由がないと捨てられないし、それは枷となってその人間を縛る。では欲求を捨てるための条件は何か？ 例えば複数の欲求があり、それらが「明らかに並立不可能」だと分かれば、一方を捨てることはできるだろう。高校の進路選択で、「医者と…

人間の行動にしろ、組織の判断にしろ、好ましいものを全て実行するのは不可能なことが多く、現実的には取捨選択が必要になる。好ましいと考えられる行動A〜Dがあったとして、時間的・コスト的な制約から４つのうち３つしか実行できないとする。その制約条件…

何か欲しいものがあって、一応買う金もあったとする。しかし他に買うべきものがあるかもしれないし、なるべく金を温存しておきたい。この状況では２つの欲求が対立することになる。 この状況でどちらかが勝り、行動が定まれば問題ないのだが、無理に両者を並…

親に経済的に依存している若者の場合、何もしなくても金が入ってくるし、それで遊ぶこともできる。経済的に自立すれば、金は労働の対価として得るので、「報酬のためにやるべきこと」が明確になる。上記のように親に依存している場合に、どのようなものが「…