来自老师的课程资料，请勿商用

绪论

系统和系统科学

系统的定义

现代系统研究开创者贝塔朗菲对系统的定义：

系统是相互作用的多元素的复合体。

该定义的精确说法是

如果一个对象集合中至少有两个可以区分的对象，所有对象按照可以辨认的特有方式相互联系在一起，就称该集合为一个系统。集合中包含的对象成为系统的组成部分（组分），最小的、不需要再细分的组分称为系统的元素或要素。

重点：

  1. 至少两个元素——系统的多元性
  2. 组成部分相互作用——矛盾的统一

系统的数学描述

$S=(A,R)$，其中$A$是所有系统元素的集合，$R$是所有相关关系的集合

有些系统可能无法用数学描述定义，例如元素无法界定清晰，或关系无法明确表达

关于系统科学

以动态、演化的观点，从整体上并分层次地，采用科学的方法研究系统，就构成了系统科学

  • 动态、演化
  • 整体、层次
  • 科学的方法

一般，系统学（系统论）=系统哲学+系统科学+系统工程学

关于系统的其他著名定义

钱学森的系统 定义：

系统是由相互作用和相互依赖的若干组成部分结合的具有特定功能的有机整体

美国的《 韦氏（ Webster ）大辞典 》

有组织的或被组织化的整体；结合着的整体所形成的各种概念和原理的结合；由有规则的相互作用、相互依赖的形式组成的诸要素集合。

日本的JIS （日本工业标准）中

许多组成要素保持有机的秩序向同一目的的行动的集合体。

前苏联大百科全书中：

一些在相互关联与联系之下的要素组成的集合，形成了一定的整体性、统一性。

《中国大百科全书 · 自动控制与系统工程 》

由相互制约、相互作用的一些部分组成的具有某种功能的有机整体。

系统的本质

形成系统的诸要素的集合永远具有一定的特性 或者表现一定的行为；

这些特性或行为是它的任何一个部分都不具备的；

由许多要素所构成的整体 但从系统功能来看 它又是一个不可分割的整体；

如果硬要把一个系统分割开来 那么它将失去其原来的性质；

在物质世界中 一个系统中的任何部分可以被看为一个子系统 而每一个系统又可成为一个更大规模系统中的一个部分

系统的特征

  1. 整体性：逻辑统一
  2. 涌现性：整体才具有、部分或部分综合不具有的特性
    1. 整体大于部分之和
    2. 整体不等于部分之和（正加和vs负加和）
  3. 集合性：系统要素可以是具体物质也可以是抽象的组织
  4. 层次性：层次结构，不同层次子系统之间的从属关系或相互作用欢喜
  5. 相关性
  6. 目的性
  7. 适应性：外界环境引起内部要素变化

系统的结构、子系统

系统的结构包含在关系集合$R$中

当系统元素数量众多、彼此之间差异较大时，不能按照单一的模式、关系进行整合， 需要划分为不同的部分 ，分别按照各自的模式进行组织整合或分解分析，这些不同的部分称为子系统。每个子系统都有其 独特的、与其他子系统或元素不同 的功能和结构。

若干子系统、元素的总和构成系统。

数学描述：给定系统S，如果它的元素集合Si满足以下条件，则称Si为系统S的一个子系统或分系统：

  1. $S_i$是$S$的一部分（子集），即$S_i\subset S$
  2. $S_i$本身是一个系统，满足系统的定义条件。

系统的环境和边界

系统之外的一切与它相关联的事物构成的集合，称为该系统的环境。或者说，系统$S$的环境$E$是指 $S$之外一切与之具有不可忽略的联系的事物集合。

把系统与环境分开的，称为系统的边界。所有系统都有边界。

系统的开放性与封闭性

系统能够与环境进行物质、能量、信息交换的属性称为开放性

系统阻止自身同环境进行这种交换的属性称为封闭性。

开放性与封闭性的适当统一

系统的行为和功能

系统相对于它的环境所表现出来的任何变化，或系统可以从外部探知的一切变化，称为系统的行为。

通过系统行为对环境所产生的影响，且这些影响一般对环境产生有利作用的表现，称为系统的功能。被作用的环境中的外部事物，称为功能对象。

系统的状态、演化、过程

系统状态用来刻画系统的状况、态势、特征等等，是对系统的定性表征。为了对系统进行定量表征，往往引进状态变量。

温度，压强，体积，流量等可以作为状态变量

为了全面刻画系统的定量特征，状态变量一般要选择多个 ，选择原则是

  1. 完备性：足够多，能够全面描述系统
  2. 独立性：任意两两状态变量间是相互独立的

所有有效的状态变量张成一个多维空间，称为状态空间，系统的运动可以看成是在状态空间中的状态转移

系统的结构、状态、特性、行为、功能等随着时间推移而发生的变化，称为系统的演化。

演化是系统的普遍特性 。

系统的演化如果按时间坐标展开，就形成过程。

系统的发生过程、发展过程、老化过程、消亡过程

凡是系统都应作为过程来研究，其中时间是关键因素

过程都有过程结构：每个过程都由若干子过程（阶段、步骤、程序等）组成，子过程还可以细分 。

系统的分类

  1. 自然系统与人造系统（对自然加工）
  2. 实体系统（实体要素）与概念系统
  3. 动态系统与静态系统（数学模型中不含有时间因素，动态系统的稳定极限）
  4. 开放系统（物质、能量与信息交换）与封闭系统
  5. 简单系统、简单巨系统（子系统数量多，但是关系较为简单）和复杂巨系统（多子系统，复杂层次结构）

系统方法论

  1. 还原论和整体论相结合

    整体论：强调整体地把握和研究对象\。古代科学技术受当时发展水平的限制，无法对细节精确地了解，所以古代科学的方法论本质上是整体论，但是一种朴素的、直观的、粗糙的整体论。 “只见森林，不见树木”

    还原论：把整体分解为部分，将系统从高层次还原到低层次，注重局部，强调把握细节的研究方法 ，称为还原论。

    从400 多年以前兴起的现代科学到近代，由于科学水平的提高和研究工具、仪器的大力发展，人们有能力开始研究以前无法研究的细节问题和更深刻机理，于是人们以极大热情对各领域的具体细节开展研究，整体性质的探讨受到冷落。 “只见树木，不见树林”

    系统科学方法强调整体论和还原论的相结合：在了解系统元素细节的基础上，再从整体上认识和处理问题， 真正科学地把握全局 。当然，这里的整体论已经 超越了古代朴素的整体论 ，这里的还原论也 超越了近代片面的还原论

  2. 定性研究和定量研究相结合

    由于缺乏数学理论和计算工具以前相当长时间内定性描述占据统治地位，难以令人信服，被认为缺乏科学依据

    近代，定量研究备受推崇，获得迅速发展，定性方法受到冷落。然而，现在出现的许多复杂系统和复杂现象使得单纯定量化方法力不从心， 缺乏理性指导

    综合采用定量方法和定性方法，充分发挥各自优势才是最佳选择

  3. 局部研究和整体研究相结合

    整体由局部构成并支配局部；局部支撑总体并受到整体约束。

    在系统整体的对照下建立对局部的研究，同时综合所有对局部的研究结果并在总体观的协调下，建立对系统整体的研究。

  4. 确定性研究和不确定性研究相结合

    传统的以牛顿力学 为代表的研究体系是 确定性研究方法

    以统计力学和量子力学 为代表的研究体系是 不确定性研究方法

    在系统科学及其相关领域内：

    • 一般系统论、非线性动力学确定性研究
    • 信息论完全建立在概率论的不确定性 研究框架下
    • 运筹学和控制论则首先把问题归类于确定性问题或是不确定性问题，然后分别用确定性方法或不确定性方法加以研究， 两种方法之间并无融会贯通

    现代科学的总体发展趋势：越来越要求将确定性方法和不确定性方法加以融合，形成一个统一的研究框架，自组织理论就是一个典型代表

  5. 其他的系统论方法：

    系统分析与系统综合相结合

    静力学方法与动力学方法相结合

    理论方法与经验方法相结合

    精确方法与近似方法相结合

    科学理性与艺术直觉相结合

关于系统工程

主要特点：

  • 系统工程脱胎于系统科学
  • 一门不断发展的新兴交叉学科
  • 面向工程技术领域
  • 与其他工程技术学科有很大差别 解决工程技术中的共性问题
  • 应用的领域十分广阔

宗旨：从系统观点出发 解决总体最优问题，并进行决策

系统工程的定义

钱学森

系统工程是组织管理系统的规划、研究、设计、制造、试验和使用的科学方法 是一种对所有系统都具有普遍意义的科学方法 。

系统工程是一门组织管理的技术

H.切斯特

系统工程认为虽然每个系统都由许多不同的特殊功能部分所组成，而这些功能部分之间又存在着相互关系，但是每一个系统都是完整的整体，每一个系统都要求有一个或若干个目标。系统工程则是按照各个目标进行权衡，全面求得最优解或满意解的方法，并使各部分能够最大限度地互相适应。

日本学者三浦武雄

系统工程与其它工程学不同之处在于它是跨越许多学科的科学 而且是填补这些学科边界空白的边缘科学 。 因为系统工程的目的是研究系统 而系统不仅涉及到工程学的领域 还涉及到社会 、经济和政治等领域 为了圆满解决这些交叉领域的问题 除了需要某些纵向的专门技术以外 还要有一种技术从横向把它们组织起来 这种横向技术就是系统工程 。 也就是研究系统所需的思想 、 技术和理论等体系化的总称 。

《 中国大百科全书 · 自动控制与系统工程卷 》

系统工程是从整体出发合理开发、设计、实施和运用系统的工程技术。它是系统科学中直接改造世界的工程技术。

……

综合定义

以研究大规模复杂系统为对象的一门交叉学科

把自然科学和社会科学的某些思想、 理论 、 方法 、 策略和手段等根据总体协调的需要 有机地 联系起来 把人们的生产 、 科研或经济活动有效地 组织起来

应用定量分析 和 定性分析 相结合的方法和计算机等技术工具 对系统的构成要素 、 组成结构 、 信息交换和反馈控制等功能进行分析 、 设计 、 制造和服务

从而达到最优设计、 最优控制和最优管理的目的 以便最充分地发挥人力 、 物力的潜力 通过各种组织管理技术 使局部和整体之间的关系协调配合以实现系统的 综合最优化 。

有些学者认为系统工程是一门软科学 soft science

研究内容

系统工程的主要内容包括：系统分析、 系统设计 、 系统模型化 、 系统的最优化 、 系统的组织管理 、 系统评价 、 系统预测 、 系统决策 等 。

常用的系统工程技术有：系统辨识技术、 系统组织管理技术 、 系统模型化技术、 系统优化技术 、 系统评价技术 、 系统预测技术 、 大系统的分解协调技术、系统决策技术 等等 。

主要理论基础

系统工程的主要理论基础是由一般系统科学 、 运筹学 、 控制论 、 信息论 等学

系统优化方法

系统优化方法：

  1. 系统优化方法主要来源于 《 运筹学 》 ，主要包括 线性规划、非线性规化、整数规划、动态规划 等内容，
  2. 如果考虑到最优化技术在不同应用领域中的拓展，还应包括 排队论、对策论、决策论 等，这些也都属于运筹学的研究范畴。

线性规划

线性规划问题的提法

求取线性函数在线性等式或不等式约束下达到最小或最大值的问题。

image-20220611171505418

三个基本要素：

  1. 决策变量：问题中要确定的未知量
  2. 目标函数：“何为最优”的准则和目标
  3. 约束条件：$s.t.$部分，等式或不等式方程

如果决策变量的取值是连续的，且目标函数和约束条件都是决策变量的线性函数，则称为线性规划问题。

如果决策变量的取值为整数点，则称为整数规划问题

如果部分决策变量取值连续而其余取值为整数，则称为混合整数规划问题

如果目标函数和约束条件中存在任何的非线性因子，则称为非线性规划问题。

线性规划问题的标准方程形式： $$ \displaylines{ \begin{aligned} \min~ &c_1x_1+c_2x_2+\cdots+c_nx_n\\ s.t.& a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1\\ & a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2\\ & \cdots \cdots\\ & a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m\\ & x_1,x_2,\cdots,x_n\ge0 \end{aligned} } $$ 简化为 $$ \displaylines{ \begin{aligned} \min &C^TX\\ s.t.~& AX=b\\ & X\ge0\\ 其中 &C:系数向量,\\ &X:决策向量,\\ &b:常数向量,\\ &A:约束方程组的系数矩阵 \end{aligned} } $$

线性规划问题的求解

低维线性规划（如两个决策变量）问题的图解求法

高维线性规划（三个决策变量以上）问题的单纯形求法

解的可行域：满足约束条件的决策变量向量 在 n 维空间中构成的点的集合

最优解：可行域中使目标函数达到最优的解点

最优值：相应于最优解的目标函数值

图解法举例：

image-20220611172844299 image-20220611172856964

特殊情况：多重解、无界解、无解（可行域为空）

线性规划的标准数学模型

任何形式的线性规划模型都可以转化为标准型 $$ \displaylines{ \begin{aligned} \min~ &C^TX\ s.t.~& AX=b\ & X\ge0\ \end{aligned} } $$ 标准化方法：

  1. 目标函数变为最小化问题
  2. 不等式约束加上（或减去）非负变量（松弛变量）变为等式
  3. 非正的决策变量取负号，无约束决策变量变为两个变量的差值

基本概念与基本理论

解 - 可行解、可行域、最优解

基 - 系数矩阵$A_[a_{ij}]_{m\times n}$的某个奇异子矩阵$B_{m\times m}$为一个基。基向量、非基向量、基变量、非基变量

基解 - 与基对应的解向量$X=[x_1,x_2,\cdots,x_m,0,0,\cdots,0]^T$。基可行解（满足非负约束）、可行基

基于凸集、凸组合和顶点的概念

  1. 线性规划所有可行解构成的集合为凸集，也可能是无界域；
  2. 线性规划的可行域有有限个顶点；
  3. 线性规划的每个基可行解对应可行域的一个顶点；
  4. 若线性规划有最优解，必定在某个顶点上达到，但并非只能在顶点上达到。

——单纯形法的理论基础

单纯形法

由于最优解在顶点上达到，而线性规划的每个基可行解对应可行域的一个顶点

所以，求解线性规划问题可采用下面的方法：

  1. 求一个基可行解（即对应可行域的一个顶点
  2. 检查该基可行解是否为最优解
  3. 如果不是，则设法再求另一个没有检查过的基可行解（可行域的另一个顶点）
  4. 如此进行下去，直到得到某一个基可行解为最优解为止。

现在要解决的问题：

  1. 如何求出第一个基可行解
  2. 如何判断基可行解是否为最优解
  3. 如何由一个基可行解过渡到另一个基可行解

解决这些问题的方法称为单纯形法 。

  1. 初始基可行解的确定
  2. 寻找另一个基可行解（基变换法）
  3. 最优性检验

一般用软件完成（MATLAB，Lingo）

整数规划

整数规划的提法

许多实际问题的求解中，都要求部分甚至全部决策变量取整数值，这类数学规划问题称为整数规划

其中，要求全部决策变量都必须取整数值的称为纯整数规划，部分决策变量取整数值的称为混合整数规划。有时，要求决策变量为只能取0 或 1 的逻辑变量，则称为0-1 规划。

整数规划的求解

分枝定界法

  1. 最大化整数规划问题A，对应线性规划问题B
  2. 若B最优解$Z_B^*$符合A的整数条件，则解出$Z_A^*$
  3. 若不符合，则B最优解对应A最优解的上界$\overline Z$，而A的某一任一可行解作为下界$\underline Z$，即$\underline Z\le Z_A^*\le \overline{Z}$
  4. 不断将B的可行域分成子区域（分枝的时候去除掉不满足整数要求的中间区域），在每个子区域中定界，保留范围最大的边界值，逐步缩小区间，最终得到$Z_A^*$

分枝定界法的要点

  • 分枝：不断分为多个更小的空间
  • 定界：确定每个小空间的上、下限和总的上、下界
  • 剪枝：根据每个小空间的上、下限和总的上、下界，删掉那些明显低于总下界和无可行解的小空间。

0-1规划及其求解方法

显枚举法（又称为穷举法） 是把所有可能的组合情况（共2n种组合）列举出后进行比较，找到所需要的解。这种方法对于变量个数较多时，易产生“组合爆炸”，计算量非常巨大。

隐枚举法是从实际出发，从所有可能的组合取值中利用过滤条件排除一些不可能是最优解的情况，只需考查一部分的组合就可以得到最优解。因此，隐枚举法又称为部分枚举法。

非线性规划

非线性规划的提法

如果目标函数或约束条件方程中存在任何非线性因子 ，则问题为 非线性规划 。

基本性质

非线性规划问题的求解一般通过两种途径 来实现，

一种是基于目标函数和约束条件的函数分析性质直接加以求解的解析解法，多适用于具有良好函数解析性质的少数非线性规划问题；

另一种是基于循环迭代算法的数值求解法，适用于大部分非线性规划问题。

全局最优解最小值

局部最优解极小值

梯度、Hesse矩阵

无约束非线性规划问题的求解

数值迭代的关键在于确定搜索方向$p^{(k)}$和沿搜索方向的搜索步长$\lambda_k$

最速下降法

  • 每次迭代沿着最速下降方向（负梯度方向）
  • 步长为该方向上使得目标函数下降最多的移动值
  • 缺点是接近极值点的时候步长小，要走弯路

广义牛顿迭代算法

  • 若二次可微，利用二次可微条件（Hesse矩阵）
  • 收敛快
  • 但是不一定每一点都有牛顿方向，或牛顿方向不是下降方向

有约束非线性规划问题的求解

第一种方法是将迭代点序列严格控制在可行域内 ，从而执行的迭代过程实际上为无约束优化过程；

第二种方法称为序列无约束优化方法 ，简称 SUMT 方法。该方法通过 将约束项处理成制约函数项加入到目标函数中形成新的广义目标函数 ，从而将有约束问题化为广义目标函数下的无约束问题，再利用前述的无约束优化迭代算法求解。拉格朗日乘子法就是这类方法的一个特例。

第三种是在迭代点附近的序列线性化或序列二次函数逼近方法 ，通过运用迭代点附近的台劳展开，将有约束的非线性规划近似为极易求解的线性规划或二次规化以实现迭代求解。

序列无约束优化方法中常用的制约函数基本上有两类 ，一类为罚函数，又称为外点法 ，一类为障碍函数，又称为内点法 。

罚函数：目标函数+约束函数=广义目标函数

动态规划

动态规划是解决多阶段最优决策过程的方法， 20 世纪 50 年代由美国数学家贝尔曼等创立。

在其后的五十多年中，动态规划在工程技术、经济和军事等众多领域得到了广泛应用并取得了迅速发展，成为解决多阶段决策问题的主要方法。

动态规划基于著名的“最优性原理”，根据多阶段决策问题的特点，把多阶段决策问题变换为一系列互相联系的单阶段问题，然后逐个加以解决。

动态规划问题的分类：

  • 根据多阶段决策过程的时间参量是离散的还是连续的变量，过程分为离散决策过程和连续决策过程；
  • 根据决策过程的演变是确定性的还是随机性的，过程又可分为确定性决策过程和随机性决策过程。
  • 组合起来就有离散确定性、离散随机性、 连续确定性、 连续随机性四种。

基本概念和定义

多阶段决策过程（序贯决策过程）：把一个问题可看作是前后关联、具有链状结构的多阶段过程，并对其进行决策

在多阶段决策问题中，各个阶段采取的决策一般与时间有关，故有“动态”的含义。但是，一些与时间没有关系的静态规划 （如线性规划、非线性规划等）问题，只要人为地引进“时间”因素，也可把它视为多阶段决策问题，用动态规划方法去处理。

阶段：一个阶段有若干个状态，第k个阶段所有始点的集合

状态：每个阶段开始所处的自然状况或客观条件，状态变量

决策：决定下一阶段的状态，决策变量（允许决策集合）

策略：有序的决策集合，子过程策略、允许策略集合、最优策略

状态转移方程：从k到k+1的转移规律

指标函数和最优值函数：指标函数具有可分离性，满足递推关系

求解方法

逆序方法

顺序方法

目标规划

线性规划、非线性规划、整数规划等处理的都是单目标函数的最优化问题。然而，许多实际问题都有多个优化目标，而且有些目标函数之间是相互矛盾的，因此常需要处理多目标规划

多目标优化的方法：

  • 多个目标函数加权处理得到单一目标函数
  • 保留一个主目标函数，其他目标函数处理为可接受值的约束条件
  • 目标规划

目标规划的方法思想：

目标规划在处理多目标决策问题时，并不是直接寻找满足这些目标的最优解，而是通过引入“偏差变量” 将目标转化为约束处理 ，以 “各个目标的偏差量尽可能小”为原则构造一个新的目标函数 ，继而求解基于这个新目标函数的单目标规划问题。

本质上，目标规划在“寻求最大限度地满足所有目标的解

目标规划与一般线性规划的区别：

  1. 能处理多个目标函数的最优问题
  2. 目标规划可在相互矛盾的约束条件下，找到满意解
  3. 目标规划找到的不是绝对的最优解，而是 与“人为指定目标相比较”的相对最优解
  4. 目标规划对约束条件的处理不是“不分主次”，而是 有“轻重缓急”

一般概念

单目标的目标规划——偏差量

多目标的目标规划：优先因子区分重要性

一般模型

优先因子排出等级

加权系数决定同级别的主次

软约束

系统预测方法

德尔菲定性预测方法

关于系统预测

系统预测是系统工程理论的重要组成部分，它把系统作为预测对象

  • 分析系统发展变化的规律性；
  • 预测系统未来发展变化趋势；
  • 为系统规划设计、经营管理和决测提供科学依据。

所谓系统预测，就是：根据系统发展变化的实际情况和历史数据 、资料，运用现代的科学理论方法，以及对系统的各种经验、判断和知识，对系统在未来的可能变化情况，进行推测、统计和分析，并得到有价值的系统预测结论。

系统预测方法分为三类：

  1. 定性预测方法

    定性预测方法依据人们对系统发展变化规律的把握、判断，用经验和直觉作出预测，如专家打分、主观评价、市场调查。常见的定性预测方法是特尔斐（Delphi）法。

  2. 因果关系预测方法

    因果关系预测方法以若干系统变量为分析对象，以样本数据为分析基础，建立系统变量之间因果数学模型。根据因果数学模型，预测某些系统变量的变化对其它系统变量的定量影响。因果关系预测方法主要有回归分析预测、状态空间预测等。

  3. 时间序列分析预测方法

    时间序列分析预测主要考察系统变量随时间变化的定量关系，给出系统的演变发展规律，并对未来作出预测。

第一类为定性方法，第二、三类为定量方法 。

系统预测的步骤

  1. 确定预测目标
  2. 选择预测方案
  3. 收集、整理资料和数据
  4. 建立预测模型
  5. 利用模型预测
  6. 预测结果分析

菲尔德定性预测方法

  1. 选择熟悉与所预测问题相关的领域的专家 10到 15 人 （对于重大预测问题，可适当增加人数
  2. 采用 通信往来的方式 与专家们建立联系，将预测问题的目标和任务告诉专家并提供所掌握的初步资料和数据
  3. 然后将专家关于预测分析的意见进行整理、综合、归纳
  4. 再以 第一轮预测结果 的形式匿名反映至各位专家 进行第二轮征求意见 ，供他们分析判断提出新的论证结果

如此经过多轮反复论证 调查， 各专家的意见逐轮趋向一致 ，结论的可信性也大大增加。

德尔菲法是专家会议调查法的一种发展，但其效果往往比专家会议法要好，其原因在于

  1. 克服了专家会议中常见的随大流或由某些权威一言定调的缺点，专家与专家之间 互不见面 ，各专家的意见完全独立作出，消除了心理影响；
  2. 为保证预测结果的可靠性，德尔菲法一般 要经过多轮并且在下一轮开始时让专家充分参考本轮甚至以前各轮的预测分析结果，不仅能保证过程和结果的客观性和公正性，而且能逐渐消弥个别固持已见的结论；
  3. 尽管德尔菲法本质上是一类定性预测的方法，但其非常注重 定性向定量的转化 工作，使方法不仅具有定性的优点，同时也具有部分的定量优点。

一元线性回归分析预测

回归原理

对于回归方程，人们难免会产生如下疑问：

  1. 它是否符合x和y之间的客观规律，或所拟合的回归直线在多大程度上能反映出x和y之间的真实因果关系?
  2. 预测的精度如何？

为回答第一个问题，需要构造一个能反映变量x和y之间线性关系密切程度的统计量，以便进行统计检验。通常，人们采用相关系数检验法和F检验法进行回归方程检验。

一元线性回归预测的精度分析

建立一元线性回归方程的目的是根据变量x的值来预测相关变量y的值，因此其预测精度就是衡量所建一元线性回归方程有效性的一个重要指标，直接影响到对其能否作为预测模型的取舍。

为此，采用类似于区间估计的方法，给定置信度，求出预测变量y的可能取值范围。

步骤

略

一元非线性回归分析预测

常用的非线性回归分析主要有以下两类处理方法：

  1. 将复杂的非线性关系通过某种数学变换化为线性关系，然后采用线性回归分析方法，称为线性化方法。函数变换线性化、多项式变换线性化和分段线性化均属于此类；
  2. 直接进行非线性回归分析的方法。

函数变化线性化方法

函数变换线性化处理的一般步骤是：

  1. 根据机理或测点图形判断，选择一种易于线性化的非线性函数
  2. 将自变量和因变量 通过适当的数学变换得到线性关系
  3. 对变换后的自变量和因变量数据作线性回归分析
  4. 将得到的线性回归方程通过逆变换得出自变量和因变量间的非线性关系。

幂函数、指数函数、双曲函数

多项式变换线性化方法

当已知变量间存在某种非线性函数关系、但这种非线性函数形式又无法确定时，运用非线性函数的函数逼近论原理，可以采用多项式作为近似模型

分段线性化方法

对于许多应用场合，尽管在总体的变量变化范围内呈现较复杂的非线性特征，但在若干局部区域却具有明显的线性特征

直接非线性回归方法

对于更一般的非线性对应关系，应进行直接非线性回归分析。设变量x和y服从如下的非线性函数模型： $$ y=f(x) $$ 基于非线性回归模型的因变量预测值： $$ \hat y_i=f(x_i,\hat\theta),\hat\theta=[\theta_1,\theta_2,\cdots,\theta_k] $$ 最小二乘估计

多元线性回归分析预测

一元线性回归是多元线性回归的特例

表达为矩阵的形式 $$ Y=X\beta+\epsilon $$

时间序列分析模型

回归分析预测方法本质上是一种与时间因素无关的建模方法 。例如，对于满足独立采样条件而得到的n 个样本， 不论如何打乱其样本顺序，采用回归分析所建立的预测模型总是相同的，有时称这类方法是基于稳态数据的建模方法。

实际中还有这样一大类系统，其数据与系统演变的过程本身有关或者说时间是样本数据的一个重要特征，预测模型的构造中必须包含时间因素在内，这类方法称之为基于动态数据的建模方法。

时间序列分析就是一类典型的动态建模方法，在自然、工程、经济、金融、天文气象、社会等许多领域有广泛的应用。

例如，雨季时长江的水位观测、企业的月产值、人体24 小时体温变化等等，都是时间序列的例子。

平稳时间序列与白噪声

时间序列中的每一个$x_i$均为随机变量，有均值函数$E\lbrace x_i\rbrace$，自协方差函数$\gamma_{ij}=E\lbrace (x_i-M_i)(x_j-M_j)\rbrace, M_i=\overline x_i=E\lbrace x_i\rbrace$

如果一个时间序列的期望和方差取常值且其相关函数只是时间间隔的函数，与时间起点无关 则该序列是平稳序列 。在统计理论上，平稳时间序列能保证统计指标的可估计性。

时间序列的含义非常广泛，平稳序列只是其中的一种特殊类型 ，但是，由于平稳序列具有非常普遍的实际背景，而且又有比较完善的理论基础，这使得平稳序列在时间序列分析中占有重要地位，或者说，迄今为止具有应用价值的时间序列分析方法中， 绝大多数直接或间接地与平稳序列有联系 。

在平稳序列中，最简单而又最基本的是白噪声序列，或简称白噪声$\lbrace \epsilon_i\rbrace$，满足 $$ \displaylines{ E\lbrace \epsilon_i\rbrace=0\ E\lbrace \epsilon_i^2\rbrace=\sigma^2 } $$

自回归滑动平均模型

对于零均值平稳时间序列，满足线性差分方程： $$ x_i-\phi_1x_{i-1}-\phi_2x_{i-2}-\cdots-\phi_px_{1-p}=\epsilon_i-\theta_1\epsilon_{i-1}=\theta_2\epsilon_{i-2}-\cdots-\theta_q\epsilon_{1-q} $$ 其中$\epsilon_i$为白噪声，满足$E\lbrace x_i\epsilon_j\rbrace=0,i<j$

$q=0$：自回归模型$AR(p)$

$p=0$：滑动平均模型$MA(q)$

自回归滑动平均模型$AEMA(p,q)$

参数估计方法：最小二乘估法、矩估计法

时间序列分析预测

对样本数据进行时间序列分析、建模的主要目的之一，就是解决时间序列的预测问题。

Step1：根据观测数据估计出$ARMA(p,q)$模型的参数；

Step2：再利用相应模型进行预测。

系统评价与决策方法

系统评价的基本问题

系统评价：对系统开发提供的各种可行方案，从社会、政治、经济、技术的观点予以综合考察，全面权衡利弊得失，从而为系统决策选择最优方案提供科学的依据。

具体地说：系统评价就是评定系统可行方案的价值

一般情况下，指标和方案越多，评价问题就越复杂。

系统的价值是一个综合的概念，指的是系统的效果或目标能达到的程度。一般有如下两方面的特点：

  • 一是相对性。这是由于系统总是存在于一定的环境条件下，而价值概念也只有在一定的条件下才有意义，也就是说价值都是相对的。
  • 二是可分性。系统价值包括许多组成要素（或称价值要素），它们共同决定着系统的总价值。

系统评价的原则

  1. 保证评价的客观性。评价是决策的前提，评价的质量影响着决策的正确性。因此，必须注意 评价资料 的全面性和可靠性，同时要防止评价人员的倾向性，注意 评价人员 的代表性和各类专家的组成。
  2. 保证方案的可比性。替代方案在实现系统的基本功能上要有可比性和一致性 评价指标也应基本相同。
  3. 评价指标要成体系。评价指标应能全面反映被评价问题的主要方面。在基本能满足评价要求和给出决策所需信息的前提下应尽量减少指标个数在可能的情况下 尽量定量化 以减少评价过程中的主观性和片面性 。
  4. 评价方法和手段的综合性。 系统评价要对系统的各个侧面 运用 多种方法和工具 进行全面综合评价 充分发挥各种方法和手段的综合优势 为系统的综合评价提供全面分析的手段 。

系统评价的步骤

  1. 对各个评价方案做出简要说明 ，使方案的特点清晰明了，便于评价人员掌握；
  2. 确定由所有单项和大类指标组成的评价指标体系；
  3. 确定各大类及单项评价指标的权重 并从整体上调整；
  4. 进行单项评价 查明各项评价指标的实现程度；
  5. 进行综合评价 综合各大类指标的价值和系统整体价值 。

评价指标体系的要求

系统评价的指标体系是由若干个单项评价指标所组成的整体，它反映了系统所要解决问题的各项目标要求。指标体系要实际、完整、合理、科学，并基本上能为有关人员和部门所接受。指标体系通常可考虑如下方面

  1. 政策性指标。包括政府的方针、政策、法令、法律及发展规划等方面的要求，它对国防或国计民生方面的重大项目或大型系统尤为重要。
  2. 技术性指标。包括产品的性能、寿命、可靠性、安全性等工程项目的地质条件 、 设备、设施、建筑物、运输等技术指标要求 。
  3. 经济性指标。包括方案成本、利润和税金、投资额、流动资金占有量、回收期、建设周期等。
  4. 社会性指标。包括社会福利、社会节约、综合发展、就业机会、污染、生态环境等。
  5. 资源性指标。包括人、财、物等资源的保证程度。如工程项目中的物质、人力、能源、水源、土地条件等。
  6. 时间性指标。如工程进度、时间节约、试制周期等。

评价指标体系的组成是随具体问题而异的不同的系统其组成的指标因素是大不一样的 。

评价指标的数量化

排队打分法

如果指标（例如汽车的时速 、 油耗 工厂的产值 、 利润 、 能耗等等）已有明确的数量表示，就可以采用排队打分法 。

设有m 种方案 则可采取 m 级记分制：最优者记 m 分，最劣者记 1 分，中间各方案可以等步长记分（步长为 1 分），也可以不等步长记分，灵活掌握；或者各项指标均采用 10 分制，最优者满分为 10 分 。

体操评分法

体育比赛中许多计分方法也可以用到系统评价工作中来。例如 体操计分法是请 6 位裁判员各自独立地对表演者按 10 分制评分 然后舍去最高分和最低分 将中间的 4 个分数取平均 就得到表演者最后的得分数 。

专家评分法

这是一种利用专家经验的感觉评分法。 例如 要对多台设备操作性进行评价可以请若干专家 即有经验的实际操作者来试车 专家们根据主观感觉和经验对每台设备按一定的记分制来打分 再将每台设备的得分相加 最后将和数除以操作者的人数 就得到了各台设备的平均得分数 。

两两比较法

这也是一种感觉（经验）评分法。它是将方案两两比较而打分，然后对每一方案的得分求和，并进行百分化等处理。打分时可以采用 0-1 打分法， 0-4 打分法或多比例打分法等等。

  1. 0-1 打分法

    设有n 种方案 我们排成一个方阵

    • 当方案i 比 j 优时； $a_{ij}=1$
    • 当方案i 比 j 劣时； $a_{ij}=0$
    • 若第i 方案与第 j 方案相当 分不出优劣时 则令 $a_{ij}=a_{ji}=0.5$
    • 空白，当方案 i =j 时

    $a_{ij}$求和表示第i方案得到的分数

  2. 0-4打分法 $a_{ij}=0,1,2,3,4$

  3. 多比例打分法

系统评价的主要方法

在各种系统评价理论的基础上，形成了众多的系统综合评价方法，如：加权平均法、功率系数法、主次兼顾法、效益成本法、分层序列法、层次分析法、模糊评价法……

另外，有些评价对象的数学模型本身可能就包含评价函数 ，如各种优化模型：线性规划、非线性规划、动态规划、多目标规划……

系统层析分析法

经常碰到这样的情况：有些问题难以或根本不可能建立数学模型进行定量分析， 但我们又非常需要一个定量化的分析结果以帮助决策 。

层次分析法（Analytical Hierarchy Process 简称 AHP ）是将决策有关的元素分解成目标 、 准则 、 方案等层次，在此基础之上进行 定性分析和定量分析相结合 的系统评价方法 。

层次分析法的步骤:

  1. 通过对系统的深刻认识，确定该系统的总目标，弄清规划决策所涉及的范围、所要采取的措施方案和政策、实现目标的准则、策略和各种约束条件等，广泛地收集信息。
  2. 建立一个多层次的递阶结构，按目标的不同、实现功能的差异，将系统分为几个等级层次。（方案层-准则层-目标层）
  3. 确定以上递阶结构中相邻层次元素间相关程度。通过构造两两比较判断矩阵及矩阵运算的数学方法，确定对于上一层次的某个元素而言，本层次中与其相关元素的重要性排序—相对权值。进行层次单排序。
  4. 计算各层元素对系统目标的合成权重，进行总排序，以确定递阶结构图中最底层各个元素的总目标中的重要程度。
  5. 根据分析计算结果，考虑相应的决策。

模糊综合评价法

对某一事物进行评价，若评价的指标因素为n个，记为$u_i$，构成评价因素的有限集合$U=\lbrace u_1,u_2,\dots,u_n\rbrace$

根据实际需要将评语划分为m个等级，又得到评语的有限集合$V=\lbrace v_1,v_2,\dots,v_m\rbrace$

评价因素集合实际上是U上面的一个模糊集合A，$A=[a_1,a_2,\dots,a_n],a_i\in[0,1]$

模糊综合评价问题：就是将评价因素集合 U 这一论域上的一个模糊集合A 经过模糊关系 R变换为评语集合 V 这一论域上的模糊集合 B，即模糊综合评价的数学模型 $$ \displaylines{ B=A\cdot R\ b_j=\bigcup_{i=1}^n (a_i\cap r_{ij}) } $$ 其中$B_{1\times m}$为模糊综合评价的结果，$A_{1\times n}$为模糊评价因素权重集合，$R_{n\times m}$为从U到V的一个模糊关系，$r_{ij}$表示从第i个因素来看，做出第j种评语的可能性

模糊运算：

  1. 并运算$c = a\cup b=\max\lbrace a,b\rbrace$
  2. 交运算$c=a\cap b=\min\lbrace a,b\rbrace$
  3. 模糊矩阵乘积$\cdot$，先交后并

系统决策的分类

从不同的的角度分析决策问题，可以得出不同的决策分类

  1. 按决策的重要性可将其分为战略决策、策略决策和执行决策，或称为战略规划、管理控制和运行控制三个层次。

  2. 根据人们对自然状态规律的认识和掌握程度，决策问题通常可分为确定型决策、风险型决策（统计决策）以及非确定型（完全不确定型）决策三种。

    如果决策者能完全确切地知道将发生怎样的自然状态，那么就可在既定的自然状态下选择最佳行动方案，这就是确定型决策问题，如资源的分配优化、配置等。总之，用数学规划解决的问题都属于确定型决策问题。

    如果一个决策问题对未来出现哪种自然状态决策者不能准确给定，但却对其出现的概率可以估计出来，这种决策问题就称为风险型决策。

    如果决策者不但不能确定未来将出现哪一种自然状态，甚至对于各种自然状态出现的概率也一无所知，也没有任何统计数据可循，全凭决策者的经验、态度和打算，这类决策问题就是非确定型决策问题。

  3. 按决策的性质可将其分为程序化决策和非程序化决策

    程序化决策是一种有章可循的决策，具体体现为可以重复出现，制定固定程序，如订单标价、核定工资、生产调度等。

    非程序化决策问题新颖、无结构，处理这类问题无固定答案，需要灵活处理，如开辟新的市场、作战指挥决策等。

    这类决策问题还可分为结构化决策、半结构化决策以及非结构化决策。所谓结构化是指问题的影响变量之间的相互关系可用数学形式表达，问题的结构可用数学模型表示;非结构化问题比较复杂，一般也不能建立数学模型;介于二者之间的称为半结构化决策。

  4. 按决策的目标数量可将其分为单目标决策和多目标决策。

    仅有一个目标的决策问题是单目标决策，有两个或更多的目标称为多目标决策问题。

  5. 按决策的阶段可将其分为单阶段决策和多阶段决策，也可称为单项决策和序贯决策。

    单阶段决策是指整个决策过程只作一次决策就能得到结果

    多阶段决策是指整个决策过程由一系列决策组成，而其中若干关键决 策环节又可分别看成是单阶段决策。

风险型决策方法

风险型决策是指决策者在作决策时对客观情况不甚了解，但可能通过调查，根据过去的统计资料，凭借经验或主观估计获得各种自然状态发生的概率。

期望值准则：如果将每个行动方案看成是离散型随机变量，随机变量的取值是每个行动方案在不同自然状态下的益损值，其概率等于自然状态的概率，则每个方案的期望值都可以计算出来。期望值准则是指计算出每个方案的收益和损失的期望值，并且以该期望值为标准，选择收益最大或损失最小的行动方案为最优方案。

决策树方法

应用决策树来作决策的过程，是从右向左逐步后退进行分析。根据右端的收益值和概率枝的概率，计算出期望值的大小，确定方案的期望结果。然后根据不同方案的期望结果作出选择。方案的舍弃叫做修枝，被舍弃的方案在方案枝上做“≠”的记号表示（即修剪的意思)。

image-20220612000100644

贝叶斯决策方法

风险型决策问题的典型特点是信息不充分，在决策分析过程中，需要对各种客观状态出现的概率进行事先判断和估计。这种**主观概率(先验概率)**判断往往依赖于个人的知识状况，判断结果因人而异。

在系统分析过程中，根据试验或者调查获得了一定的资料，利用这些资料对先验概率进行修正，得到新的概率叫后验概率，通常比先验概率更加可靠。

由于这种修正作用是通过贝叶斯定理完成的，因此该类决策方法被称为贝叶斯决策。

实质为条件概率

多目标决策

多目标决策问题的特点

  • 决策问题的目标多于一个
  • 目标间的不可公度
  • 各目标间的矛盾性

多目标决策问题分类

  • 有限方案多目标决策：决策变量是离散型，被选方案数量为有限个，求解的核心是对各备选方案进行评价后排定各方案的优劣次序，再从中择优；
  • 无限方案多目标决策问题：决策变量是连续型，被选方案数量有无数多个，求解这类问题的关键是向量优化，即数学规划问题

非劣解和最佳调和解

  • 多目标决策问题通常不存在使各目标都达到最优的方案 最优解
  • 非劣解（假设为 A）：再也找不到另一个方案 B ，方案 B 的各个目标值都不劣于方案 A 的相应目标值，而且 B 至少有一个目标值比 A 优。
  • 多目标问题如果没有最优解，就有一个以上非劣解。
  • 最佳调和解： 在非劣解中按照某种原则（即决策规则）来说是最好的方案，这个方案称为最佳调和解；

有限方案多目标决策

  • 决策矩阵：设问题可供选择的n个方案的集合为$X$，用向量$y_i$表示方案$x_i$的 n 个属性，当目标函数为 $f_j$ 时，$y_{ij}=f_j(x_i),i=1,2,…,m,j=1,2,…,n$，则各方案的属性值可列成决策矩阵（或称为属性值表）$[y_{ij}]_{m\times n}$

非线性动态系统

线性系统和非线性系统的描述

线性动态系统

用线性数学模型描述的系统

满足叠加原理：$f(ax_1+bx_2)=af(x_1)+bf(x_2)$

连续线性动态系统的数学模型： $$ \displaylines{ {\cases{ x_1’=a_{11}x_1+…+a_{1n}x_n\\ … …\\ x’_n=a_{n1}x_1+…+a_{nn}x_n\\ }\\ \Leftrightarrow X’=AX} } $$

  • A不随时间变化：定常系统（常系数系统）
  • A为时间函数，时变系统（变系数系统）

线性模型的来源：

  1. 许多非线性系统的非线性因素较微弱，允许忽略不计;
  2. 尽管非线性因素很强，不能忽略，但如果只关心局部性质，就可以在局部区域线性化，得到线性模型;
  3. 非线性因素很强，也不满足线性化的条件（只关心局部性质），但限于条件，非线性模型无法建立（太过复杂），或即便能建立非线性模型，也无法求解，则只好采用线性模型。

非线性动态系统

不满足叠加原理（加和性和齐次性），则为非线性的 $$ x_i’=f_i(x_1,…,x_n;c_1,…,c_m),i=1,2,…,n $$ 至少有一个函数是非线性函数

向量形式：$X’=F(X,C)$

非线性系统的演化方程

几类特殊的非线性模型：

  1. 自有系统与强迫系统（有外加作用项）
  2. 自治系统（不明显包含时间）与非自治系统（明显包含时间）

求解方法：解析方法、几何方法、数值计算

局部线性化：在连续可微处泰勒展开得到局部线性方程，将忽略的非线性项作为扰动因素（线性化+微扰）

状态空间与参数空间

  1. 状态空间：所有状态构成的集合，又称相空间，空间中每个点又称状态点或相点

  2. 状态变量：能够完整表征系统演化状态的 n 个独立变量$x_1,x_2,…,x_n$

  3. 以状态变量为坐标轴支撑起来的集合空间 ，是状态空间，状态变量的个数 n 是状态空间的维数

  4. 演化方程的每个解代表状态空间的一个点集合，称为一条相轨道；由于演化方程可以过不同的“初始点”，因此演化方程有无穷解，亦即有无穷相轨道

  5. 系统科学从系统演化角度考虑问题，不是分别研究某条具体的相轨道而是考察全部相轨道及其分布，从而整体把握系统

  6. 演化方程的参数向量也对演化行为产生重大影响，因而应严重关注

  7. 参数空间：以参数量$c_1,c_2,…,c_m$为坐标轴支撑起来的集合空间，是参数空间，参数量的个数 m 是参数空间的维数 参量空间的每个点对应一个确定的系统

  8. 在参数空间研究的是：演化方程结构相同的无穷多系统构成的系统簇

  9. 乘积空间：有时特别需要同时在状态空间和参数空间中研究系统，即以全部状态变量和全部参数量为坐标轴支撑起来的高维空间，称为乘积空间，

    S× C，S 是状态空间， C 是参数空间

系统演化过程中的定态和暂态

  • 暂态：系统在某个时刻可能到达，但不借助外力就不能保持或不能回归的状态或状态集合
  • 定态：系统到达后若无外部作用将保持不变的状态，或 反复回归 的状态集合系统的定性性质由定态决定，暂态不能表现系统的本质特征

状态空间几乎充满暂态点，定态点极少，但系统的定性性质却由定态点决定，不同的定态代表不同的定性性质

动态系统的定态点类型：

  1. 平衡态：数学上的不动点（所有导数为零）

    image-20220612002616368

  2. 周期态：演化方程的“终态”解 是一个以 T 为周期的周期函数 ，代表状态空间中的一条封闭曲线

    image-20220612002647087

  3. 拟周期态：多个不同周期、且周期比为无理数的周期运动叠加而成的复杂运动形式，往往产生于3 维以上非线性系统

    image-20220612002721483

  4. 混沌态：非周期定态，极其复杂的一种演化定态，往往产生于3 维以上非线性系统

维数 定态类型
一维空间 只有不动点
二维空间 不动点和极限环
三维及以上空间 4 种定态都有可能，也可能同时有几种

初态和终态：初态→演化轨道→终态（状态转移规律）

根据微分方程的存在唯一性定理：

  1. 每个初态出发，有且只有一条轨道
  2. 状态空间中的每一点都可以作为初态，所以 经过状态空间中的每个点都有且只有一条轨道
  3. 状态空间充满轨道，不同轨道互不相交

定态轨道

暂态轨道：发散或以某个定态轨道为极限

系统的稳定性和判别方法

系统稳定性的定义

表征系统在干扰影响下的抗干扰能力

稳定性指的是系统的结构、状态、行为的恒定性，即系统结构、状态、行为的抗干扰能力。

李雅普诺夫Liapunov稳定性定义：原有轨道$\Phi(t)$受到扰动$X_0$，对任一$\epsilon>0$，存在$\delta(\epsilon)>0$使得 $$ \left|X_0-\Phi(t_0) \right|<\delta\Rightarrow \left|X(t)-\Phi(t) \right|<\epsilon,t\ge t_0 $$ 李雅普诺夫渐进稳定：$\lim \left|X(t)-\Phi(t) \right|=0$

image-20220612003848211

李雅普诺夫稳定的含义:

  1. 只要初态的偏离足够小，两个轨道（含终态）的偏离就足够小，即小扰动只能引起小偏离
  2. 渐近稳定更严格，它要求随着演化过程走向结束，解的偏离将逐步消失，回到扰动前状态，例如单摆运动，最终回到垂直平衡点
  3. 上述定义中暗含两个初态XO和(tO)偏离的“有限”，在一定范围内，称为“局部稳定性质”；假若两个初态任意大的偏离都不影响系统的稳定性，称为“大范围稳定性质”

稳定定态的类型

  1. 焦点型不动点

    image-20220612004002802

  2. 结点型不动点

    image-20220612004028754

  3. 鞍点型不动点：两条轨道从相反方向向不动点收敛，同时另外两条轨道沿相反方向从不动点向外发散。相平面（2 维时）被分割为四部分， 每条轨道都先向鞍点逼近，后又远离鞍点而去。鞍点在整体上是不稳定的

    image-20220612004120377

  4. 中心点型不动点：不动点周围布满周期不同的闭合轨道。以附近任何点为初态，系统都将围绕不动点做周期运动；局部区域内，只要初态偏离足够小，周期轨道对中心点的偏离也足够小。所以，中心点是稳定的，但不是渐近稳定的

    image-20220612004204876

  5. 极限环

    image-20220612004327895

系统稳定性判别方法

线性系统的稳定性判别

非线性系统的稳定性判别

  • 同一系统既有稳定态，又有不稳定态
  • 基于局部线性化方法的非线性系统稳定性判别
  • 李雅普诺夫直接方法

状态空间（相空间）中的吸引子

什么是吸引子

相空间中有一类点集合 （含 1 个点或多个点或无穷个点）称为动态系统的“吸引子”，只要点集合满足三个条件

  1. 终极性 ：吸引子代表系统演化行为要达到的终极状态，处于非吸引子态的系统 “不安于现状 ”，力求离之远去；处于吸引子态的系统 “安于现状”，不再力图改变这种状态
  2. 稳定性 ：吸引子态具有抵制干扰、保持自身特性的能力，具有稳定性
  3. 吸引性 ：作为吸引子态的状态集合对于周围的其他状态或轨道具有吸引性， 牵引着系统向吸引子态运动

哪些状态点可能是吸引子？

稳定而有吸引性的定态

吸引性是吸引子的根本性质

常见吸引子：

  1. 稳定的焦点和结点：代表系统的 平衡运动
  2. 稳定的极限环：代表系统的 周期运动
  3. 稳定的环面：代表系统的 拟周期运动
  4. 奇怪吸引子：代表系统的 混沌运动， 后面介绍
  5. 混沌边缘：代表介于有序（前三类）和混沌 之间的 一类运动性状

系统的目的性

系统的“目的性”体现在“吸引子”上

凡存在吸引子的系统， 均为有目的 的系统；凡有目的的系统， 必存在吸引子

吸引域、排斥子、系统指标

每个吸引子在相空间都有自己的 “势力范围 凡是在这个范围内的轨道都趋向该吸引子 ，这个“势力范围”内点的集合称为吸引子的 “吸引域”

相空间还存在一类特殊点或点集合，他们 对于周围的所有轨道都是排斥的 ，附近任何轨道的演化随时间展开将 离开该点或点集合而远去 ，称为排斥子

复杂非线性系统的吸引子理论

对于复杂非线性系统的研究，重点不是刻画每一条具体演化轨道，而在于研究一切轨道的集合、类型、分布和运动趋势，整体上把握动态系统的运动规律和特性

非线性系统的相图轨道非常复杂，有以下特点:

  • 各种定态均可能出现，不动点、极限环、环面、奇怪吸引子、混沌边缘
  • 多个吸引子并存，各自有吸引域
  • 并存的吸引子之间存在竞争关系，导致系统演化具有多种可能前途
image-20220612005023391 image-20220612005039197

周期振荡与极限环

van der Pol方程

非线性动态方程的分岔现象

分岔的定义

在参量空间中，参量改变引起动态系统定性性质的改变，称为分岔

所谓定性性质的改变，是指

  1. 定态的 创生 （从无到有）或 消失 （从有到无
  2. 稳定性的改变（原本 稳定的失稳 ，原本 不稳定的变稳
  3. 原稳定态失稳后 变生出一个或多个新的稳定态 ，新旧定态属于同一类型
  4. 从一类定态 变生出 不同类型 新定态
  5. 相空间 定态分布的改变上
image-20220612005340870

典型分岔类型

  • 一维系统的典型分岔

    • 鞍结分岔

      image-20220612005425680 image-20220612005708565

    • 跨临界分岔

      image-20220612005718400

    • 叉式分岔

      image-20220612005623582

  • 多维系统的典型分岔类型

    • 单焦点分岔为极限环（Hopf分岔）

    • 单极限环分岔为两个极限环

    • 平面极限环分岔为高维空间极限环

    • 环面分岔：极限环分岔出环面，环面分岔处另一环面，低维环面分岔出高维环面

    • 有序吸引子分岔出奇怪吸引子

      不动点、极限环、环面都是简单有序吸引子，或称为平庸吸引子

      控制参量的进一步变化可能导致所有平庸吸引子都失稳，出现奇怪吸引子，即混沌

  • 逐级分岔

    image-20220612005949415

非线性动态方程的混沌现象

由逻辑斯蒂（Logistic ）方程产生的倍周期分岔混沌

image-20220612010049560 image-20220612010114029

由洛伦茨（Lorenz ）方程产生的分岔混沌

image-20220612010208783

关于混沌的系统学认识

  1. 非周期定态

    混沌具有非周期性，它不是一种瞬态行为（之前一直认为非周期运动是瞬态行为，直到混沌被发现），而是一种新被确认的可能定态，是一种可以与平衡点、周期运动、拟周期运动（多个周期运动的叠加)相提并论的定态。

    换句话说，非线性系统可以稳定地运动在混沌中。

  2. 奇怪吸引子上的动力学行为

    混沌都发生在奇怪吸引子这种分形结构上（只有在相空间中具有某种自相似结构的分形点集才能描述这种复杂运动）。

  3. 对初值的极度敏感依赖性

    对于给定数学方程的非线性系统，运动轨道由初值决定，称为轨道对初值的依赖性。

    对于具有混沌现象的系统，轨道不仅依赖初值，而且往往极度敏感依赖，初值的微小差别在后来的运动中被不断放大，最后导致运动轨道的显著不同。

  4. 既是稳定的，又是不稳定的

    奇怪吸引子对外部轨道有吸引力，进入吸引子就不可能再走出，因而 整体上是稳定的

    但吸引子内部的不同轨道相互排斥，极不稳定 。

  5. 确定性随机性

    一般，确定性方程产生确定性解，不确定性解则由不确定性（随机性）产生。

    但是，混沌现象中，确定性的方程（如Logistic 方程、洛伦茨方程） 却因分岔、混沌，产生了无法预知的不确定性结果 。

    这种不确定性完全由确定性系统自身的非线性因素引起，与随机因素无关 ，称为 确定性随机性

    或者说，是一种随机性，但是是由确定性系统产生的 。

  6. 长期行为的不可预测性

    一方面，由于是确定性系统，短期行为可预测；另一方面，由于对初值的敏感依赖性，只要初值稍有误差，通过混沌运动的逐步非线性放大、积累，系统走向何方不得而知，因而 长期行为同随机运动一样无法（精确）预测 。

    这是混沌运动既不同于简单有序运动 （短期行为和长期行为都可预测）， 又不同于随机运动 （短期行为和长期行为都无法预测）的一个主要特征。

    但简单宣布混沌运动不可预测也是不全面的，它具有某种统计学意义上的可预见性。

  7. “蝴蝶效应”

耗散结构和协同学

系统的自组织现象

贝纳德对流：两个恒温差薄平板之间的薄流体中形成稳定的对流循环，达到一种新的有序结构

image-20220612010911385 image-20220612010918802

产生贝纳德对流的原因分析

  1. 当两板间的温差 小于临界值 Δ Tc 时 ，流体分子实际上仍在各个方向上 做杂乱无章的热运动 通过相互间无规则的碰撞而传递能量 ，显示出整体的对称性，表现为宏观上的“静止”， 即平衡态
  2. 但当两板间的温差 大于临界值 Δ Tc 时 ，系统性质 发生突变 ：为完成与大温差相适应的大的热量传递任务， 大量的分子被组织起来，共同参加了统一的、规则的传热工作 ，形成了 贝纳德对流 。

自组织的概念、形式和主要研究分支

自组织的概念

所谓自组织，就是系统通过自身力量自发地增加它的活动组织性和结构有序度的进化过程，它是在系统不需要外界环境和其他外界系统的干预或控制下进行的，由此而形成的有序、较为复杂的系统称为自组织系统。

相反，所谓他组织（又称为被组织 ）是在外界环境施加决定性影响的情况下或作用下形成的。

也就是说，一个系统在无外界强迫时，系统内部自发形成的有序行为称为自组织。反之，一个系统在外界强迫下形成有序行为称为他组织或被组织。

不同现代科学分支的视角

  • 系统科学的观点：自组织是指一个系统在内在机制驱动下，自行从简单向复杂、从粗糙向细致方向发展，不断提高自身复杂度和精细度的过程。
  • 热力学的观点：自组织是指一个热力学系统通过与外界交换物质、能量、信息，不断降低自身熵含量、提高有序度的过程。
  • 进化论的观点：自组织是指一个系统在“遗传”、“变异”和“优胜劣汰”机制的作用下，其组织结构和运行模式不断自我完善，从而不断提高对于环境的适应能力的过程。

自组织形式

系统的自创生：在没有特定外力干预下，系统从无到有 地自我创造、自我产生、自我形成。

系统的自生长：自组织有两方面含义：一是组织的从无到有，二是组织的从小到大、从差到好 ，后者就称为“自生长”。

系统的自适应、自校正：

自适应和自校正含义相近，自适应广义一些，自校正狭义一些。

系统的“适应性”用来刻画系统与环境的相互关系 ，有两个方面的含义：从外部看，适应是指系统与环境之间的物质、能量、信息交换是以一种稳定而有序的方式进行；从内部看，适应是指系统各组分之间以一种稳定而有序的方式彼此合作与竞争、互动与互应。

一旦这种稳定而有序的关系被破坏，系统就处于不适应环境的状态，需要变革自身重新适应环境，或者被迫解体。

如果系统对环境的适应靠自己的力量建立和维持，就是自适应。

系统的自复制：系统在没有特定外作用下产生与自身结构相同的子代 ，称为自复制或自繁殖。

系统的自修复：在没有特定外部力量干预下，系统靠自身力量得以修复（在发生故障或伤害后恢复到正常），称为“自修复” 。

主要分支（新三论）

  • 耗散结构理论

    以比利时化学家普里高津为代表的布鲁塞尔学派创立了耗散结构理论 ：以化学、物理过程中的不可逆现象为研究背景，探索出从化学、物理的平衡态中产生出有序结构的途径，也即从无序状态中产生出有序结构的一种形式，最大的贡献是使人们认识到了结构产生的自组织途径。

  • 协同学理论

    “协同学”是德国物理学家哈肯创立的一种解释自组织 形成机理、或从简单到复杂机制的理论，提出了一套分析与描述自组织问题的方法。

  • 突变论

    托姆、齐曼、阿尔诺特等人，从数学描述的角度 研究结构突变的机制问题，形成了突变论，成为描述自组织过程的有利工具。

耗散结构理论简介

耗散结构理论是指用热力学和统计物理学的方法，研究耗散结构形成的条件、机理和规律的理论 。

耗散结构理论研究一个系统从 混沌无序向有序转化 的机理、条件和规律 的科学 作为以揭示复杂系统中 自组织运动规律 的一门 具有强烈方法论功能 的新兴学科，其理论、概念和方法不仅适用于自然现象，同时也适用于解释社会现象。

熵的概念

熵最初是热力学的一个概念，用来描述热力系统的 “状态、态势 ”，是热力学系统的“态函数”，称为热力学熵

之后，统计物理学建立了熵与“系统可存在的微观态数”之间的关系，称为统计物理学熵

再后来，信息论的创立者将熵引入到信息论中，用来对信息量进行定量度量 ，称为信息熵

现在，数学家和系统科学家又将其进一步扩展和规范，用熵描述“一般系统内部各子系统分布的均匀性”，是研究复杂系统状态的重要变量 $$ S=k\ln W $$ 与一个宏观态对应的微观态的数目越多，熵值就越大，这个宏观态就越均匀、越无序

系统演化方向与熵值变化的关系

  • 处于平衡态的系统具有最大的热力学几率和熵值
  • 一个系统的状态偏离平衡态越远，这个状态熵值就越小
  • 系统从非平衡态向平衡态转移的过程 ，就是一个 熵由小增大 的过程。

最小熵原理

线性区的非平衡定态是熵产生率最小的状态

其物理意义是：线性非平衡体系内不可逆过程的熵产生率 P 随时间的进行总是朝着熵产生率减小的方向进行，直到 熵产生率达到极小值，体系达到非平衡的定态，这时熵产生率不再随时间变化，这就是最小熵产生原理 。

最小熵产生原理保证了非平衡体系线性区内各点性质不随时间变化的定态是稳定的。

耗散结构的发现与自组织现象

image-20220612011936224

对于孤立系统或近平衡态的开放系统，演化总是朝着平衡态或尽可能接近平衡态的方向发展，即：演化指向均匀、无序、低级和简单的方向。

当开放系统处于远离平衡态的非线性区时，形成新的有序结构（耗散结构）

不管是什么系统，欲维持有序结构 ，都必须不断地对系统作某种形式的功（即 输入 “负熵流 系统需要不断地“耗散”能量 ，故将这种通过自组织“进化”而产生的有序结构称为 “耗散结构 。

耗散结构的主要贡献是：对远离平衡态的有序结构现象，找到了一种合理的科学解释。

协同学简介

协同学是研究协同系统 从无序到有序 的演化规律的综合性学科。

协同系统 是指由 许多子系统组成 的、能以 自组织 方式形成宏观的空间、时间或功能有序结构 的开放系统。

基本概念：竞争、协同，序参量和支配 （役使）

由众多子系统组成的大系统总有一个相对稳定的宏观结构，这个宏观结构是由各个子系统相互竞争、协同作用而形成的模式，正是由于各个子系统之间的 协同作用与竞争 决定着系统从无序到有序的演化进程。

研究对象：协同学的研究对象是由大量子系统组成的系统，只要它是一个开放系统，而且具有一定的非线性

序和对称性

系统科学中的序：系统内部元素与元素、子系统与元素、子系统与子系统之间 相互联系、相互作用的规则 。

在子系统之间可以比较有序程度的联系称为有序关系 。

  • 所谓“有序”，指事物之间和事物内部的诸要素之间有规则的联系或有规律的转化；
  • 所谓“无序”，指事物之间和事物内部的诸要素之间混乱无规则的组合其转化亦无规律。

系统科学中关心的序有两种：结构排列上的 结构序 （空间序、时间序、时空序）和实现不同功能时有一定先后的 功能序 。

对称性：除了空间结构对称性之外，常见的还有标度变换对称性、时间平移对称性、时间反演对称性，等等。

一般，具有对称性的系统更容易描述、分析，更直观地了解系统的演化机制，更深刻地把握系统的性质。

在系统科学中，可以采用对称性作为复杂事物有序程度的比较标准。

若系统演化过程中的状态发生了变化，原本具有某种对称性，后来丧失了这种对称性 称这种对称性降低的情况为对称性破缺。对称性破缺标志着系统状态有序程度的增加。

协同学的主要结论：哈肯

耗散结构理论认为，一个开放系统由无序状态转变为有序状态，远离平衡态是其必要条件。但是哈肯发现，不光处于非平衡态的系统可以从无序变为有序，处在平衡态的系统同样可以从无序变为有序。

一个开放系统能否从无序转变为有序，关键不在于是不是处于非平衡态，也不在于距离平衡态多远， 而在于系统内部是否存在着大量子系统的协同作用 （即子系统之间通过交换物质、能量、信息等方式相互作用）， 在此作用下最终能否形成一种整体效应或一种新型结构。 在系统这个层次，这种整体效应或新型结构可能具有某种全新性质，而这种性质通常在子系统层次是不具备的。

序参量：有序性的度量

在系统发生非平衡相变时，序参量的变化不仅决定了系统相变的形式和特点，同时还决定了其他快变量的变化情况。 换句话说， 序参量起着支配众多快变量变化的作用 。所以，序参量又称为命令变量。（英文 order 同时具有“命令”和“秩序”的含义）

序参量的确定：

  • 一些系统中，可以直接找出那些明显慢于其他变量的作为序参量；
  • 在另一些复杂系统中，往往无法区分序参量和一般状态变量，但有时通过变量变换，可以找出系统序参量 。

协同学的支配原理

在系统自发地向有序结构演化的过程中，少数变量形成了序参量，他们的变化要明显慢于系统的其他变量，同时，序参量在系统接近发生显著质变的临界点时，支配、役使其他状态变量。正是这些 序参量确定了系统的宏观行为，表征了系统的有序程度，决定了相变的形式和速度。

哈肯将系统在相变过程中，为数众多的快变量由序参量支配、主宰的现象称为支配原理，又称 役使原理。

协同学的方法论意义

  • 善于从矛盾的个性中把握共性

  • 巧妙运用类比的研究方法

  • 紧抓住系统演化过程中的主要矛盾

  • 正确处理统一性和斗争性的关系