解密：我的2004年-2008年AI研究笔记

=================================================================
学习和记忆基础是神经元突触的可塑性
=================================================================
其中有名的试验如低等动物--海兔的记忆试验:海兔本身具有被触摸(水管部分)后的鳃缩反射,但连续十几次的刺激后,鳃缩反应就逐渐减慢.经过研究发现,海兔的习惯化是由于神经递质发生变化所致.进一步的研究发现这种变化是突触中的感觉神经元的Ca离子门关闭,导致递质的释放量减少所致.上述试验说明简单的记忆与神经递质和突触有关.
=================================================================
习惯化则与递质释放的减少以及由此引起的突触传递效能的降低有关
习惯化的发生是由于突触传递出现了改变，突触前末梢的递质释放量减少导致突触后电位减少，从而使反射反应逐渐减弱
=================================================================
神经生长因子（nerve growth factor,NGF）
=================================================================
效应因素 效应量
激发临界值：激发所需要的效应量总和的底线
=================================================================
人工智能并非只对人类智能（语言、推理、认知、学习等高级智能现象）进行探索和研究，大千世界拥有智慧的生物很多，就连低等生物也有一套适应环境而演化出的智能，只要是拥有神经系统的生灵，或多或少拥有一定的智慧。或许我们可以从中得到些启示，创造出人造的智能生命。
=================================================================
自组织的效应不是个体单方面的就能做到的，而是要个体与环境共同作用才会产生。
=================================================================
私我，本我在弗洛伊德理论中，完全处于无意识中的心理状态，它是产生本能冲动和要求直接满足原始欲望的根源
=================================================================
能满足本我的需求的行为就是好的，不能满足的就是坏的
=================================================================
 这本我、自我和超我本是弗洛伊德对于人格结构进行分析时所提出的概念，在《自我与本我》一书中对人格的结构有详尽的介绍。
 本我（id）包含要求得到眼前满足的一切本能的驱动力，就像一口沸腾着本能和欲望的大锅。它按照快乐原则行事，急切地寻找发泄口，一味追求满足。本我中的一切，永远都是无意识的。
自我（ego）处于本我和超我之间，代表理性和机智，具有防卫和中介职能，它按照现实原则来行事，充当仲裁者，监督本我的动静，给予适当满足。自我的心理能量大部分消耗在对本我的控制和压制上。任何能成为意识的东西都在自我之中，但在自我中也许还有仍处于无意识状态的东西。
对于本我和自我的关系，弗洛伊德有这样一个比喻：本我是马，自我是马车夫。马是驱动力，马车夫给马指方向。自我要驾御本我，但马可能不听话，二者就会僵持不下，直到一方屈服。对此弗洛伊德有一句名言：“本我过去在哪里，自我即应在哪里。”自我又像一个受气包，处在“三个暴君”的夹缝里：外部世界、超我和本我，努力调节三者之间相互冲突的要求,所以说自我是永远的矛盾产物。
超我（superego）代表良心、社会准则和自我理想，是人格的高层领导，它按照至善原则行事，指导自我，限制本我，就像一位严厉正经的大家长。弗洛伊德认为，只有三个“我”和睦相处，保持平衡，人才会健康发展；而三者吵架的时候，人有时会怀疑“这一个我是不是我”？或者内心有不同的声音在对话：“做得？做不得？”或者内心因为欲望和道德的冲突而痛苦不堪？或者为自己某个突出其来的丑恶念头而惶恐？这种状况如果持续得久了，或者冲突得比较严重，就会导致神经症的产生。
原欲
=================================================================
本我（id又译伊德） 自我（ego） 超我（superego） 
 无意识在精神分析学的早年，曾是一个极为重要的概念。但是从一九二三年弗洛伊德在《自我与本我》中提出人格由本我，自我和超我组成的假设以后，无意识就只成了一种精神现象，许多以前认为是无意识的东西成了本我。本我是人格中最早，也是最原始的部分，是生物性冲动和欲望的贮存库。本我是按“唯乐原则”活动的，它不顾一切的要寻求满足和快感。
 “自我”的概念弗洛伊德在一八九五年就已提出，但直到一九二三年，才有了比较明确的阐述。自我是在个体成长过程中从本我那儿分化出来的。当本我的要求与现实相抵触而不能得到满足时，便产生了自我。自我本身没有能量，它的动力来自本我。自我的职责是在本我与外部现实之间进行调节，对本我的要求进行修改，使之在一定条件下有可能得到满足。所以自我受“唯实原则”的支配。
 超我是人格的道德部分，它代表的是理想而不是现实，要求的是完美而不是实际或快乐。超我是由自我中的一部分发展而来的。它由两部分组成：自我典范和良心。自我典范相当于幼儿观念中父母认为在道德方面是好的东西，良心则是父母观念中的坏的东西。自我和良心是同一道德观念的两个方面。
 但是必须指出的是，本我，自我和超我这三个体系之间并没有明确的分界。在人的一生中，它们既对立，又相互影响，且合成一体。这些影响，融合以及对立构成了人的整个精神活动。本我，自我和超我，实际上是说明整个人格中不同的过程，功能，机制。能量的一种简便方法。

=================================================================
 普尔D马克林的三重脑模型
 按照进化论的观点，人类是由类人猿进化而来。在这漫长的进化过程中，人类的大脑进化是整个进化过程中最重要的的一个环节，这正如普尔D马克林所言：“人类的大脑之所以是人类的，是由于大脑皮质发达的结果。”但是人类大脑的进化不是不留痕迹地将过去的脑结构完全进化掉，他继之言道：“在人类的大脑中，还并存着爬虫类脑和低等哺乳动物类脑。也正是此中缘由，人类经常会因为理智与本能之间的矛盾而烦恼。”作为一位研究大脑生理结构的学者，马克林曾有如下感慨；“人类的大脑是上帝的失败作品。”
 按照马克林的三重脑模型的观点，人类的大脑可以作如下的3层结构区分：
 *爬虫类脑，掌握睡眠、饮食、性等基本的生命活动，别名鳄鱼脑；
 *低等哺乳动物类脑，主要是为防御外敌、保护自身并处理由视觉、听觉、嗅觉捕捉到的信息，别名马脑；
 *新哺乳动物类脑，专司理性思考，别名人脑。
三重脑模型的决策机制 少数服从多数
=================================================================
对于智能，人们一般分为三个层次：最低层的操作层，表现为本能；中间层为感知层；最上层为认知层。但目前的智能计算机大约还只介于操作层和感知层之间。 
=================================================================
固定作用方式 fixedaction pattern 固定线路 hard wired
行为一旦被诱导，总是以固定和模式化的形式出现，由基因决定。
=================================================================
适应性行为 adaptive behavior
学习 learning 记忆　memory
学习是由于经验引起的行为改变，而记忆是储存和回忆学习过的经验的能力
=================================================================
 学习
 / \
 非联合型 联合型
 / \
习惯化 敏感化
联合型学习 当通常是无害或中性的条件刺激（conditioned stimulus）和有意义的非条件刺激（unconditioned stimulus）在时间上同时出现时，动物就学会对条件刺激作出和非条件刺激一样的反映。这种经典的条件反射的例子是巴甫洛夫（Pavlov）条件反射实验，所用的狗，它学会了把铃声（条件刺激）和进食（非条件刺激）联系起来，训练后，狗仅仅听到铃声就会分泌唾液。

=================================================================
inhibitory neurone 抑制性神经元
=================================================================
　　《危及的大脑》这本书告诉我们， 脑细胞有三层， 他们的作用为: 
　　1) 接受知觉刺激 
　　2)把接受到的刺激 组织成有意义的式样， 以便我们能感知外部世界 
　　3) 将有意义的式样联系起来，形成抽象类型的思维。 
　　如果没有在构建前面两个基础的脑细胞层上花费足够的时间的话，而是直接跃入最后层次（即智力）的开发，我们将错失前面两个层次脑细胞的充分发展时机。换言之，如果这样做的话，我们就错失开发人的最充分潜能的时机。 
　　“在人出生前的九个月里，胎儿的大脑长得很快，从一组细胞群发展成含有很多神经元的器官。从母亲怀孕的第四周开始，胎儿的大脑就已经开始形成一个个单独区。。。。。。” 
　　“最初的外层细胞形成的区里有很多基本功能，比如身体活动、运动反射、平衡之类的功能。稍后形成的是感受知觉刺激的‘中继站’和一些协助记忆和情感的技术性‘设备’。。。。。。他们的发展依靠孩子在不同的发展时期使用他她的大脑的方式。” 
　　“使人十分惊奇的是，所有这些能力的形成是激烈竞争的结果，通过激烈竞争，大脑逐渐地‘剪除’和处理掉多余的神经元。因为只有一些有限的、可用的神经元连接点，神经元的死亡率是惊人的；甚至在人出生前，高达40-60%的神经元因为不能找到永久性的连接点而死掉。在怀孕期间，每个细胞都努力在外脑皮层上找到一个预置在6个脑皮层的连接点上，但是并不是都能到达预置的点上。最处的外层细胞优先排列起来，较内层的和后至的会逐步攀越它们或介入其中，累积到全部六个皮层的最终形成。最后形成的细胞层拥有最高层次的潜能 即发展智力，但是它还在寻求生活的适当位置时承担着最为艰巨的任务。” 
　　“在波士顿儿童医院的简。 霍姆斯。伯恩斯坦博士是一位临床神经心理学家，她做的是‘学习障碍’孩子的研究工作。 她试图从脑结构和脑功能方面来理解行为---主要是学习行为。她不但确信大脑塑造着行为， 而且认为社会经验也塑造着正在成型的大脑， 她称这个过程是"联结之竞争" 。这种机制是在人出生前神经元‘本能的’‘过剩生产’就开始了。" 
　　“那些因不能连接而损失死亡的细胞很明显是“联结之竞争”的很自然的结果。理论上讲，这个过程将会致使一个高效的脑结构，但也有向坏的方向变异的。有时，在诞生前某个正在成熟部位的损伤会导致不正常的联结；如果先到达的细胞先占有了应该属于后来的连接，后者会无处可去；尽管在孩子出生后的早期的开发教育看似很正常，其实，一些基本的联结已经完成了。然而，以后的发展会有一个十分不同的故事----成熟的较高层次上的思维技能的发展根基没有了。”

=================================================================
难道构架好神经网络就会有智能行为产生吗？还要建立本能的连接，让行为有目的性和驱动力，为了满足本能的需要，智能才会在此基础上产生。
=================================================================
人性本恶,欲望无极
=================================================================
虽然生后脑内神经元数目不再增加，但神经元及其突起形成的突触回路一直处于持续的被修饰状态。
=================================================================
本能就是导师，因为它让我们得以生存
=================================================================
对人工智能的探索：仿佛是在捡拾海滩上的贝壳，拼凑出大海的模样
=================================================================
海马区与记忆有关 一直到了70年代初期，Bliss和Lomo才在海马区内记录到一种突触可塑性的现象，定名为长时程增强（long term potentiaton，简称LTP）。

-<2006/06/18>--------------------------------------------------------------------
神经网络模型和底层规则：
1.上一级神经元通过轴突与下一级神经元连接，连接处为突触。一个神经元可以通过连接，作用于成千上万的神经元，但信号输出永远是单向传递的。一个神经元也可以接受成千上万的神经元的信号输入。
2.神经元分为兴奋性神经元和抑制性神经元两类，兴奋性神经元突触输出兴奋性递质，抑制性神经元突触输出抑制性递质。
3.在任何时刻把输入神经元的所有兴奋性递质加起来，并减去所有抑制性递质的总和，如果净值结果达到神经元激活临界值，则神经元就会被激活，激活后神经元会把它突触上带有的神经递质传递到下一个神经元中。
4.彼此相连的(兴奋性)神经元同时处于被激活状态，它们之间的突触连接和传递递质的效率将加强。神经元突触的可塑性是“学习和记忆”的最底层规则和机制。
5.抑制神经元在被其他神经元激活的情况下，才去巩固自身突触与其它神经元的连接强度。
6.在神经网络中，通过学习记忆机制而产生的突触连接是可塑的(条件反射是可塑的)，本能的神经网络突触连接是不可塑的(非条件反射是不可塑的)。
7.神经网络的学习和记忆的过程就是条件反射(后天性反射)建立的过程，条件反射的建立需要非条件反射(先天性反射)的参与和引导。条件反射是可以巩固和消退的。
8.神经网络具有“遗忘”机制，会随时间流逝而慢慢减弱神经元之间的连接强度。持久不发生联系的神经元之间连接强度将减弱。“遗忘”机制也是学习的一种，它能“削弱”错误的连接强度，更好地让正确的连接方式起作用。
9.在某一条件反射巩固达到一程度的情况下，参与这一反射的神经元之间的连接将不再受“遗忘”机制的影响，永久性的条件反射建立成功。
 
10.神经元被反复激活达到一定程度，会产生新的突触，和其它神经元产生彼此连接关系，连接强度开始是很微弱的。可以看作是一种“尝试”机制。
11.神经元被反复激活，突触持久释放递质，到一定程度会出现“疲劳”，递质释放将会减少，引起的突触传递效能的降低。这种现象可以看作是一种“习惯化”机制的表现。
12.神经网络的自组织是通过对外界的刺激和输入的反应，然后调节内部连接方式产生的。外界的刺激的不确定性，造成内部连接方式的不确定性。虽然神经网络初始化后内部神经元数目不再增加，但神经元的突触一直处于持续的被修饰状态。

-<2006/06/21>--------------------------------------------------------------------
反射是指在中枢神经系统参与下的机体对内外环境刺激的规律性应答。它是借用了物理学中“反射”一词来表示刺激与机体反应间的必然因果关系。它分为条件反射和非条件反射两类。
非条件反射是指在出生后无需训练就具有的反射。如防御反射、食物反射等。这类反射能使机体初步适应环境，对个体生存与种系生存有重要生理意义。条件反射是指在出生后通过训练而形成的反射。它可以建立，也可以消退，数量可以不断增加。条件反射的建立扩大了机体的反应范围，当生活环境改变时，条件也跟着改变，因此，条件反射较非条件反射具有更大的灵活性，更适应于复杂变化的生存环境。同时，由于人类还具有社会性活动，能通过劳动实践来改造环境，与动物相比又有了质的不同，人类的神经系统活动显然是更进一步发展了。非条件反射是条件反射的基础，条件反射提高了动物对环境的适应能力，大脑越发达的动物，建立的条件反射也就越复杂。
*条件反射巩固理论上神经元之间的连接强度将巩固达到一个最大值100，而“本能”的连接的值不一定是最大的。
*这里“非条件反射”等同与“先天性条件反射”，“条件反射”等同与“后天性条件反射。”

-<2006/06/24>--------------------------------------------------------------------
小球在屏幕上做任意角度直线运动，用神经网络做小球跟踪实验
可以先从静态的开始跟踪移动
机器学习之—— "十字生命"
形状类似十字的主体，有4个感觉区域。
输入：感觉区域1有物体、感觉区域2有物体、感觉区域3有物体、感觉区域4有物体、小球在主体上边、小球在主体下边、小球在主体左边、小球在主体右边
输出：上、下、左、右
主体本能：主体感觉区域如果有小球就向某一方向移动
训练：小球在屏幕上做直线运动，反复刺激4个主体感觉区域，让主体做相应的移动。同时告知小球方向的4个输入也在刺激主体，如果这一刺激与主体感觉区域刺激输入同步，就开始建立条件反射。反复刺激，使主体可以自动跟踪小球移动。

-<2006/07/01>--------------------------------------------------------------------
视觉，两个方向的输入，有重叠区域，光源刺激，有左转和右转的输出，学习正确转向到重叠区域
高级：学习移动到光源处

-<2006/07/06>--------------------------------------------------------------------
一个刺激输入端，可以作用于许多的下级神经元
-<2006/07/02>--------------------------------------------------------------------
尝试机制也许源于随机，那就需要“惩罚和奖励”机制去引导学习。

-<2006/07/07>--------------------------------------------------------------------
遗忘发生在底层的突触连接上，遗忘的好处就是修正“尝试”过程中产生的错误连接余存，更好的让正确的连接和反射起作用，但也会对有用的连接起负面作用。。。遗忘决不是简单的“彻底删除记忆”，遗忘的过程是一种缓慢而又微小的修饰过程，所以我们对很久的记忆就比较模糊，也就是对记忆连接回路比较的微弱。只有很长时间不去回忆或激活，才会被真正遗忘。
假设两个神经元之间的连接，会在它们同时被激活下强化。是因为被激活的神经元将“营养物质”通过彼此的连接反向传递到激活它的神经元中。反之，长久不能对靶神经元产生激活的神经元的连接，它因为缺少那种“营养物质”物质而渐渐萎缩，还有可能对神经元的“生存”产生影响。
 
遗忘机制可能的规则：
可能1。定期削弱神经网络中所有连接的强度，如果在一个周期内有过激活的反映，将不削弱。
可能2。时时的削弱经网络中所有连接的强度，当然这个削弱值将很微弱，如果有激活发生，将补充一定的连接强度的值

-<2006/07/08>--------------------------------------------------------------------
寻找快乐，需要快乐的满足，是所有智能产生的内在驱动力，也是最原始的，最直接的，最深层的动机。
“我们为了寻找快乐而活着，渴望得到快乐的感觉。因为kuai感会消失，所以要寻找新的快乐。”
如果持久没有kuai感的刺激或是kuai感的消失，我们就会觉得烦躁不安，空虚和恐惧，然后必定会产生寻找快乐的冲动。
寻找快乐的冲动固化到了我们的基因，
作出有利与自身生存的行为，A10 kuai感神经都能给我们一定的奖励。
生命并不能随意掌控kuai感神经产生kuai感，正因为这样的“缺陷”，才使生命的智能得以出现。
如果对kuai感神经刺激的滥用就会产生消极的影响
行为产生的内在动机
是因为满足了生理“需要”而产生kuai感？ 还是因为kuai感的缺失而产生生理的“需要”呢？
小白鼠不停按按钮，来得到kuai感刺激，结果“沉迷”其中，连身旁的食物也不能引起它的兴趣，即使精疲力尽，也再所不惜，最后在沉迷中死亡。这个实验验证了——kuai感的满足是比某些生理“需要”更高级别的需求。
只所以我们能产生智能，是因为环境是复杂而又残酷的，我们不能时刻得到我们所要的kuai感，我们靠kuai感的缺失而产生某种需要的动机，再通过学习和记忆的机制而产生智能，更好的来满足需要的渴望，满足底层kuai感的“需求”。
无限美好，无限暖味，无限快乐的世界中，将不会出现智能生命

-<2006/07/12>--------------------------------------------------------------------
欲望：想得到某种东西或想达到某种目的的要求
“欲”的右边旁是“欠”，表示有所不足,故主体产生要补完缺失的“本能动机”，主体会努力“尝试”，达到满足需要的平衡。 
[摘抄]由需要机制驱动，由奖惩机制调整。是由两种机制共同起作用

-<2006/07/14>--------------------------------------------------------------------
[摘抄]人是一部有喜怒哀乐的欲望机器。这是人的一个基态，一种不需要灵魂的基态，人按照愉悦自身为目的地不断满足自身的欲望。所以人是按照欲望生存。我们讨厌痛苦，接受并追求快乐，或忍受暂时的痛苦追求更高层次的愉悦，可以说这部机器并不是由我们自己掌控。而是按照欲望的指引。
欲望是“源动力”
补完缺失,缺失是什么：能量？知识？快乐？爱？....也许一切在模拟中只是用数字表示某个缺失的量罢了，也许这个数字本无真实意义上的解释，却非常的重要。可以是多种需要量，或者可以统一成一种的需要量。
最终目的使主体达到满足需要的平衡，达到安宁状态。
欲望的存在是所有主动性的根源，或是“源动力”。

-<2006/07/15>--------------------------------------------------------------------
如果你不存在，就不会得到什么，也不会失去什么。
因为你存在了，所以，你打破了自己的平衡，欲望就会从你“心”中产生。然后你去补完缺失，达到平衡，再进入下一次失衡的循环中...不断重复的补完。