Linear Equation and Linear System

 

 

Scalar: a single number

s (- R e.g, 3.8

Vector:

벡터는 크기와 방향을 동시에 나타낸다. vector indicate magnitude and direction

속도 velocity = 5mpu (힘 magnitude) + East (방향 direction)

an ordered list of numbers. (an unordered list of numbers: set)

- column vector와 row vector가 있음

A vector of n-dimension is usually a column vector n by 1.

Thus, a row vector is usually written as its transpose.

 

Matrix:  a two-dimensional array of numbers,

 

Square Matrix 정방행렬

 

Rectangular Matrix 직사각형 행렬?

 

Transpose of Matrix

 

 

Vector / Matrix Additions and Multiplication

 

C = A+B : Element-wise addition

같은 크기의 행렬에 대해, 서로 같은 위치에 있는 값끼리 더한다.

 

ca, cA : Scalar multiple of vector/matrix.

행렬이나 벡터에 상수(c)배 해준다.

 

C = AB : Matrix-matrix multiplication

size: (3x2)(2x2) = 3x2

      (1x3)(3x1) = 1x1 -> inner product 내적

      (3x1)(1x2) = 3x2 -> ?? poroduct 외적

 

AB != BA: Matrix multiplication is Not commutative

행렬곱에서는 교환법칙이 성립하지 않습니다.

 

 

A(B+C) = AB + AC: Distributive

 

A(BC) = (AB)C: Associative

 

(AB) transpose = B transpose A transpose: Property of transpose

 

(AB) inverse = B inverse A inverse

 

Linear Equation and Linear System

선형방정식과 선형시스템

 

선형방정식: 주어진 변수들

 

선형시스템 Linear System: 선형방정식의 집합 Set of Equations

A system of linear equations (or a linear system) is a collection of one or more linear equations involving same variables x.

 

From Multiple Equations to Single Matrix Equation

Multiple equations can be converted into a single matrix equations.

 

항등행렬 Identity Matrix

(0,0)부터 (n,n)까지 대각선에 위치한 값은 1 나머지는 0인 정사각 행렬.

identity matrix라 부르는 이유는, 어떤 matrix와 곱하더라도 자기자신을 결과값으로 반환하게 하기 떄문이다.

I x = x

 

역행렬 Inverse Matrix

정사각행렬일때,

A A inversed = A inversed A = I

 

항등행렬을 이용해 역행렬을 계산할 수 있다.

 

A A inversed = A inversed A = I

이 교환법칙이 성립하지 않는 경우가 있음?

 

직사각행렬일때,

항등행렬을 만들어내는 행렬 A의 역행렬을 찾을 수 있는가?

작은 쪽으로 가면 구할 수 있는데.

큰 쪽으로 가면 안된다.

-> 교환법칙 성립하지 않는다.

 

Non-Invertible Matrix A for Ax = b

If A is invertible, the solution uniquely obtained as x = A inversed b

A의 역행렬을 구할 수 있다면, 답은 유일하게 결정된다.

 

What if A is non-invertible, the inverse does not exist?

 

Does a Matrix Have an Inverse Matrix? det A

det A determines whether A is invertible (when det A != 0) or not (when det A == 0) for every squre matrix.

정방행렬 A가 invertible한지(det A != 0)) 아닌지det A == 0)를 결정하는 숫자.

 

1. det I = 1

2. Exchange row: reversed sign of det

3. determinant, linearity

 

4. 2 Equal row -> det = 0

Exchange those rows -> same matrix

 

5.  Subtract l * row i from row k

Det doesn't change.

 

6. Row of Zeros -> det A = 0

 

 

 

Rectangular Matrix A in A

x

=

b

 

under-determined system (equations<variables)

Usually, infinitely many solutions exist.

식의 갯수보다 미지수의 갯수가 더 많을때, 대게 무수한 수의 해가 존재한다.

머신러닝 approach:

data item이 엄청나게 많고 feature 개수는 그보다 적다면,

정확한 해는 찾을 수 없지만 그에 근접한 근사 해를 나타내고자 하는것 -> Least Square

over-determined system (equations>variables)

Usually, no solution exists.

만족해야하는 식이 미지수의 갯수보다 더 많을때, 대게 해가 존재하지 않는다.

ML approach:

data item의 수에 비해 feature 갯수가 엄청나게 많다면, 

정규화 Reqularization을 활용한다. 

 

 

Reference:

선형방정식과 선형시스템 - 주재걸, edwith

[LECTURE] 선형방정식과 선형시스템 : edwith

Properties of determinants - MIT OC

Lecture 18: Properties of determinants | Video Lectures | Linear Algebra | Mathematics | MIT OpenCourseWare

Determinant formulas and cofactors - MIT OC

Lecture 19: Determinant formulas and cofactors | Video Lectures | Linear Algebra | Mathematics | MIT OpenCourseWare