第八章 学习控制系统.doc

第八章  学习控制系统
教学内容    本小节主要介绍目前对人工智能的几种定义,以及人工智能的各种认知观。
教学重点    1. 学习和学习控制的定义
             2. 研究学习控制的目的
             3. 介绍学习控制的发展历史
             4. 介绍几种主要的学习控制方案
             5. 分析学习控制的某些问题
教学难点    1. 学习和学习控制系统的定义
             2. 几种常见学习控制方案的基本原理
             3. 学习控制系统的建模以及收敛性和稳定性分析
教学方法    课堂教学为主,结合人类自身的学习能力,由浅入深地理解学习、学习控制、学习控制系统的基本原理以及分析存在的问题。
教学要求    掌握学习和学习控制系统的定义,理解几种常见学习控制方案的基本结构,了解反复学习控制和重复学习控制的异同点,能够简单地分析学习控制的稳定性和收敛性
  学习控制概述
教学内容    学习的各种定义,学习控制的机理,研究学习控制的目的和学习控制的发展简史。
教学重点    学习的定义、学习控制系统的基本原理及其发展历史。
教学难点    怎样理解学习的各种不同定义并归纳学习控制的机理。
教学方法    课堂讲授为主,通过提问的方式来引导学生理解学习的各种定义。
教学要求    要求重点掌握学习的普遍定义,学习控制能解决哪些问题,能简要地回顾学习控制的发展历史。
  什么是学习控制
(learning)的定义
    一个具有生存能力的动物在它的一生中能够被其经受的环境所改造。一个能够繁殖后代的动物至少能够生产出与自身相似的动物(后代),即使这种相似可能随着时间变化。如果这种变化是自我可遗传的,那么,就存在一种能受自然选择影响的物质。如果该变化是以行为形式出现,并假定这种行为是无害的,那么这种变化就会世代相传下去。这种从一代至其下一代的变化形式称为种族学习(racial learning)或系统发育学习(system growth learning),而发生在特定个体上的这种行为变化或行为学习,则称为个体发育学习(individual growth learning)(Wiener, 1965)。
    假设
    (1) 一个有机体或一部机器处在某类环境中,或者同该环境有联系;
    (2) 对该环境存在一种“成功的”度量或“自适应”度量;
    (3) 这种度量在时间上是比较局部的,也就是说,人们能够用一个比有机体生命期短的时间来测试这种成功的度量。
    对于所考虑的环境,如果这种全局的成功度量,能够随时间而改善,那么我们就说,对于所选择的成功度量,该有机体或机器正为适应这类环境而学习(C. Shannon, 1953)。
  在同类特征的重复环境中,有机体依靠自己的适应性使自身行为及在竞争反应中的选择不断地改变和增强。这类由个体经验形成的选择变异即谓学习(Osgood,1953)。
    学习是一种过程,通过对系统重复输入各种信号,并从外部校正该系统,从而系统对特定的输入作用具有特定的响应。自学习就是不具外来校正的学习,即不具奖罚的学习,它不给出系统响应正确与否的任何附加信息(Tsypkin)。
    学习表示系统中的自适应变化,该变化能使系统比上一次更有效地完成同一群体所执行的同样任务(Simon)。
    学习在于使我们的智力工作发生有益的变化(Minsky)。
    学习系统(learning system)是一个能够学习有关过程的未知信息,并用所学信息作为进一步决策或控制的经验,从而逐步改善系统的性能。
    如果一个系统能够学习某一过程或环境的未知特征固有信息,并用所得经验进行估计、分类、决策或控制,使系统的品质得到改善,那么称该系统为学习系统。
    学习控制(learning control)能够在系统进行过程中估计未知信息,并据之进行最优控制,以便逐步改进系统性能。
   学习控制是一种控制方法,其中的实际经验起到控制参数和算法类似的作用。
   如果一个学习系统利用所学得的信息来控制某个具有未知特征的过程,则称该系统为学习控制系统。
提问  你认为哪种学习和学习的定义最好?

  在有限时间域[0, T]内,给出受控对象的期望的响应,寻求某个给定输入,使得的响应,在某种意义上获得改善;其中,k为搜索次数,t∈[0, T]。称该搜索过程为学习控制过