首页天道酬勤2020矩阵与算子国际研讨会(求算子范数)

2020矩阵与算子国际研讨会(求算子范数)

admin 12-04 02:07 257次浏览

对称矩阵是沿对角线对称的矩阵。它是一个自伴算子(把矩阵看成一个算子,研究它的性质,确实是一件大事)。虽然我们不能直接从对称性去解读几何属性,但是我们可以从对称矩阵的特征向量中找到最直观的解释,这会让我们对对称矩阵有更深的理解。

一个常见的例子是单位矩阵。一个重要的例子是:

对称矩阵的一个例子

不过,虽然定义简单,但意义重大。在本文中,我们将了解它们的重要属性,直观地解释它们并介绍它们的应用。

埃尔米特矩阵是对称矩阵的复扩展,这意味着埃尔米特矩阵中的所有元素都满足以下要求:

埃尔米特矩阵的共轭转置与其本身相同。因此,它具有对称矩阵的所有性质。

埃尔米特矩阵的一个例子

在本文中,我主要讨论实数的情况,即对称矩阵,以便于分析。同时,在数据科学中,我们大多会遇到实矩阵,因为我们要处理现实世界的问题。

对称矩阵的最重要的性质

本节将介绍对称矩阵的三个最重要的性质。它们与这些矩阵的特征值和特征向量的行为有关,这是区分对称矩阵和非对称矩阵的基本特征。

1.对称矩阵有实特征值。

这很容易用代数方法证明(形式直接证明,而不是归纳法、矛盾法等。).首先,简要回顾特征值和特征向量。

矩阵的特征向量是一个方向在a作用后保持不变的向量。方向没有变,但是矢量大小可以变。实特征值在线性变换中为我们提供拉伸或缩放信息。与复特征值不同,它没有“大小”。向量的尺度是特征值,用表示。因此,我们有:

公式1.1

证明挺容易的,但是线性代数有一些重要的知识,还是要一步一步来。

1.1通过转换x的共轭,我们得到:

类型1.2

注意,是标量,这意味着涉及的乘法是可交换的。因此,我们可以把它移到x(x的左边(x的换位,上标h可能不显示):

公式1.3

Xx是ssdst范数(欧氏范数),定义如下:

公式1.4

在二维ssdst空间中,它是具有坐标(x_1,x_n)。那么我们可以把等式1.3写成如下:

公式1.5

因为共轭转置(算子h)不同于普通转置(算子t)

原理相同,我们可以利用xᴴA=(Ax)ᴴ的特性。

公式1.6

(Ax)ᴴ等于什么?这里我们将再次使用Ax = λx的关系,但这次(Ax)ᴴ将留给λ的复共轭,在λ上加一横表示共轭。

式1.7

我们在式1.3中见过xᴴx,代ssdst范数后得到:

式1.8

这导致了λ和它的复共轭相等:

式1.9

只有在一种情况下,式1.9才有效,即λ是实数。这样一来,我们就完成了证明。

性质2. 特征值所对应的特征向量是正交的

这个证明也是一个直接的形式证明,但很简单。首先我们需要清楚目标,即:

式1.10

考虑一个对称矩阵A,x_1和x_2是A的特征向量,对应于不同的特征向量(我们需要这个条件的原因将在稍后解释)。根据特征值和对称矩阵的定义,我们可以得到以下公式:

式1.11和式1.12

现在我们需要证明式1.10。让我们试着把x_1和x_2放在一起-。在左边用 (Ax₁)ᵀ乘以x₁ᵀ:

式1.13

在式1.13中,除了对称矩阵的特性外,还用到了另外两个事实。

矩阵乘法符合结合律(可以用结合律运算)矩阵-标量乘法是可交换的(可以自由移动标量)。

然后,由于点积是可交换的,这意味着x₁ᵀx₂和x₂ᵀx₁是等价的,所以我们有:

式1.14

其中x_1∙x_2表示点积。如果λ_1≠λ_,那么x_1∙x_1=0,这意味着这两个特征向量是正交的。如果λ_1 = λ_2,则有两个不同的特征向量对应于同一个特征值。由于特征向量在(A-λI)的零空间(表示为N(A-λI)),当一个特征向量对应于多个特征向量时,N(A-λI)的维数大于1。在这种情况下,我们对这些特征向量有无限多的选择,我们总是可以选择它们是正交的。

显然,有些情况下,实数矩阵有复数特征值。这发生在旋转矩阵上。为什么会这样呢?假设Q是一个旋转矩阵。我们知道,特征向量在被Q作用后不会改变方向。但如果Q是一个旋转矩阵,如果x是一个非零向量,x怎么可能不改变方向呢?结论是,特征向量必须是复数(好好想一想吧)。

二维空间中的旋转矩阵R(θ)如下所示:

旋转矩阵

R(θ)将一个向量逆时针旋转一个角度θ,它是一个具有复数特征值和特征向量的实矩阵。

性质3. 对称矩阵总是可对角化的(谱定理)

这也与对称矩阵的其他两个特性有关。这个定理的名字可能让人困惑。事实上,一个矩阵的所有特征值的集合被称为谱( spectrum)。另外,我们可以这样想。

特征值-特征向量对告诉我们,在给定的线性变换之后,一个向量在哪个方向上被扭曲。

如下图所示,经过变换后,在v_1的方向上,图形被拉伸了很多,但在v_2的方向上却没有很大的拉伸。

一个可对角线化的矩阵意味着存在一个对角线矩阵D(对角线以外的所有元素都是零),使得P-¹AP=D,其中P是一个可逆矩阵。我们也可以说,如果一个矩阵可以写成A=PDP-¹的形式,那么该矩阵就是可对角的。

分解通常不是唯一的,但只有D中对角线上的元素的排列和P中特征向量的标量乘法才是唯一的。另外我们需要注意的是,无论矩阵是否对称,对角线化都等同于找到特征向量和特征值。然而,对于非对称矩阵,D不一定是正交矩阵。

这两个定义是等价的,但可以有不同的解释(这种分解使得求矩阵的幂非常方便)。第二个定义,A=PDP-¹,告诉我们A如何被分解,与此同时,第一个定义,P-¹AP=D,是告诉我们A可以被对角化。它告诉我们,有可能将标准基(由单位矩阵给出)与特征向量对齐(align)。这是由特征向量的正交性决定的,这在性质2中显示。

这个 "将标准基与特征向量对齐 "听起来非常抽象。我们需要思考这个问题:矩阵变换对单位基做了什么?

由基α = {v_1,…,v_n}组成的矩阵将一个向量x从标准基变换到由基α构成的坐标系,我们用Aα表示这个矩阵。因此,在对角化的过程中(P-¹AP=D),P将一个向量从标准基送入特征向量,A对其进行缩放,然后P⁻¹将该向量送回标准基。从向量的角度来看,坐标系与标准基对齐。

这种对齐方式如图1.16所示,本例中使用的矩阵为:

式1.17

其中V是一个列向量长度为1的矩阵,每一个都对应于对角线矩阵中的特征值。至于计算,我们可以让Matlab中的eig来完成。

这个性质直接遵循谱定理( spectral theorem):

如果A是厄米特矩阵,存在一个由A的特征向量组成的V的正态基,每个特征向量都是实数。

该定理直接指出了将一个对称矩阵对角化的方法。为了直接证明这个性质,我们可以使用矩阵大小(维度)的归纳法。。

正定性

这些性质什么时候有用?甚至在正式研究矩阵之前,它们已经被用于解决线性方程组很长时间了。把矩阵看成是运算子,线性方程的信息就储存在这些运算子中,矩阵可以用来研究函数的行为。

除了对称性之外,矩阵还可以有一个更好的性质就是正定性。如果一个对称矩阵是正定的,它的所有特征值都是正的。如果它的所有特征值都是非负的,那么它就是一个半正定矩阵。对于一个正定矩阵,很明显要求它是对称的,因为性质1,因为只有当一个数字是实数时,问它是正数还是负数或有多大才有意义。

特征值、特征向量和函数行为

这方面的一个很好的应用是海赛矩阵(Hessian matrix),我们将以此为例来证明使用矩阵来分析函数行为。当我们试图找到一个局部极值时,发现海赛矩阵是正定的将非常有用。海赛矩阵是一个由实数函数的二阶偏微分组成的矩阵。形式上,海赛矩阵被定义为:

我们称H(x)为f的海赛矩阵,它是一个n乘n的矩阵。它与以下内容相同:

这对函数的行为有什么影响?我们来看看一个超级简单的例子。考虑一下函数:

海赛矩阵的计算方法如下:

式2.3

由于它是一个对角矩阵,并且迹(对角线上的元素之和)等于特征向量之和,我们可以立即看到其中一个特征值是2,另一个是-2。 它们对应于特征向量v₁ = [1, 0]ᵀ和v₂ = [0, 1]ᵀ。这个矩阵是对称的,但不是正定的。因此,在整个ℝ²上没有局部极值,我们只能在x=0,y=0点上找到一个鞍点。这意味着在特征值为正的v_1方向上,函数增加,而在特征值为负的v_2方向上,函数减少。该函数的图像如下所示:

现在我们改变符号,将函数改为:

特征向量保持不变,但所有的特征向量都变成了正数。这意味着,在v_1的方向和v_2的方向上,函数都在增长。因此,可以找到局部最小值在x=0,y=0处,f(x,y)=0,这也是全局最小值。该图为:

总结

矩阵在许多领域都有广泛的应用。在处理矩阵时,经常会遇到正定义性、特征向量、特征值、对称矩阵等概念。在这篇文章中,介绍了对称(厄米特)矩阵的三个最重要的性质,它们与矩阵的特征向量和特征值有关。这些性质是以几何学方式解释的,但也包括一些代数证明。最后,介绍了一个使用矩阵来分析函数行为的例子。

【JavaWeb】之MVC三层架构免费Windows系统/150Mbpsphp上传文件并显示上传进度的方法背景色不适用于HTML元素?为什么通过引用传递在此代码中似乎无效Windows Server 2019如何取消默认IE浏览器我脚踏祥云走来了!”JS如何解决内存泄漏页面崩溃问题怎么使用uniapp自定义弹框DeepRust匹配:有更好的方法吗?雷士灯具管理系统
网易应用(网易用户中心) 华为推出折叠屏手机(华为折叠屏幕用的是三星吗)
相关内容