Neural Network Là Gì

     

Bài trước học tập về thuật toán logistic regression với mức giá trị cổng đầu ra là nhị phân. Mặc dù nhiên, logistic regression là một quy mô neural network đơn giản, bài này đã học mô hình neural network đầy đủ.

Bạn đang xem: Neural network là gì

Bạn nên hoàn thành 2 bài xích trước linear regression cùng logistic regression trước khi vào bài xích này. Trong bài bác này có nhiều kí hiệu và công thức, nên các bạn nên chuẩn bị giấy cây viết để bắt đầu.


Neural network là gì

Con chó rất có thể phân biệt được người thân trong gia đình trong mái ấm gia đình và fan lạ giỏi đứa trẻ hoàn toàn có thể phân biệt được những con vật. Mọi việc tưởng như rất dễ dàng nhưng lại rất là khó để triển khai bằng vật dụng tính. Vậy sự biệt lập nằm nghỉ ngơi đâu? Câu trả lời nằm ở bộ não với lượng lớn những nơ-ron thần kinh liên kết với nhau. Nuốm thì máy tính xách tay có bắt buộc mô rộp lại quy mô ấy nhằm giải những bài toán bên trên ???

Neural là tính trường đoản cú của neuron (nơ-ron), network chỉ cấu tạo đồ thị cần neural network (NN) là một trong hệ thống đo lường lấy cảm hứng từ sự buổi giao lưu của các nơ-ron trong hệ thần kinh.

Hoạt động của các nơ-ron


*

Để màn trình diễn gọn lại ta đã gộp hai bước trên thành một bên trên biểu đồ


*
Mô hình neural network

Layer trước tiên là input đầu vào layer, những layer trọng tâm được gọi là hidden layer, layer ở đầu cuối được điện thoại tư vấn là output layer. Các hình tròn trụ được điện thoại tư vấn là node.

Mỗi quy mô luôn có một input layer, 1 output layer, có thể có hoặc không các hidden layer. Toàn bô layer trong quy mô được quy mong là số layer – 1 (Không tính input đầu vào layer).

Ví dụ như làm việc hình trên có 1 input layer, 2 hidden layer và 1 đầu ra layer. Con số layer của mô hình là 3 layer.

Mỗi node vào hidden layer cùng output layer :

Liên kết với toàn bộ các node sống layer trước kia với những hệ số w riêng.Mỗi node có một hệ số bias b riêng.Diễn ra 2 bước: tính tổng linear và áp dụng activation function.

Kí hiệu

Số node trong hidden layer đồ vật i là l^(i).

Ma trận W^(k) size l^(k-1) * l^(k) là ma trận thông số giữa layer (k-1) với layer k, trong những số ấy w_ij^(k) là hệ số liên kết từ node lắp thêm i của layer k-1 cho node sản phẩm j của layer k.

Vector b^(k) kích cỡ l^k * 1 là hệ số bias của các node trong layer k, trong các số ấy b_i^(k) là bias của node thứ i vào layer k.

Với node lắp thêm i vào layer l có bias b_i^(l)thực hiện tại 2 bước:

Tính tổng linear: z_i^(l) = sum_j=1^l^(l-1) a_j^(l-1) * w_ji^(l) + b_i^(l) , là tổng tất cả các node vào layer trước nhân với hệ số w tương ứng, rồi cùng với bias b.Áp dụng activation function: a_i^(l) = sigma(z_i^(l))

Vector z^(k) size l^(k) * một là giá trị những node vào layer k sau bước tính tổng linear.

Vector a^(k) size l^(k) * 1 là giá trị của những node trong layer k sau khoản thời gian áp dụng hàm activation function.


*

Tương trường đoản cú ta có:

z^(2) = (W^(2))^T * a^(1) + b^(2) ewline a^(2) = sigma(z^(2)) ewline z^(3) = (W^(3))^T * a^(2) + b^(3) ewline haty = a^(3) = sigma(z^(3))
*

Do đó


*

Vậy là rất có thể tính giá tốt trị dự đoán của không ít dữ liệu 1 dịp dưới dạng ma trận.

Xem thêm: Các Ứng Dụng Hay Cho Iphone 6 Plus, Top Ứng Dụng Hay Nhất Cho Iphone 6 Plus

Giờ từ input X ta hoàn toàn có thể tính được giá trị dự kiến hatY, mặc dù việc bao gồm cần làm cho là đi kiếm hệ số W với b. Hoàn toàn có thể nghĩ ngay lập tức tới thuật toán gradient descent và việc quan trọng đặc biệt nhất trong thuật toán gradient descent là đi kiếm đạo hàm của những hệ số đối với loss function. Và câu hỏi tính đạo hàm của những hệ số vào neural network được triển khai bởi thuật toán backpropagation, đã được trình làng ở bài sau. Và vì bài này có không ít công thức sợ hãi mọi người rối phải code sẽ được để ở bài bác sau.

Logistic regression với toán tử XOR

Phần này không bắt buộc, nó giúp lý giải việc có không ít layer hơn thì mô hình có vẻ sẽ giải quyết và xử lý được những bài toán phức tạp hơn. Rõ ràng là quy mô logistic regresion bài bác trước không biểu diễn được toán tử XOR nhưng mà nếu thêm một hidden layer cùng với 2 node chính giữa input layer cùng output layer thì rất có thể biểu diễn được toán tử XOR.

AND, OR, XOR là các phép toán triển khai phép tính bên trên bit. Cố gắng bit là gì? các bạn không đề nghị quan tâm, chỉ cần biết mỗi bit nhận 1 trong những 2 cực hiếm là 0 hoặc 1.

NOT

Phép tính NOT của một bit tạo ra giá trị ngược lại.

ANOT(A)
10
01

AND

Phép tính và của 2 bit cho giá trị 1 nếu cả 2 bit bởi 1 và mang đến giá trị bởi 0 trong những trường đúng theo còn lại. Bảng chân lý

ABA and B
000
010
100
111

Giờ muốn máy tính xách tay học toán tử AND, ta thấy là hiệu quả là 0 cùng 1, nên nghĩ ngay cho logistic regression với dữ liệu

x_1x_2y
000
010
100
111

*
Hình 1: x_1 và x_2
*
Hình 2: NOT (x_1 và x_2)

OR

Phép tính OR của 2 bit cho giá trị 1 nếu một trong các 2 bit bởi 1 và mang lại giá trị bởi 0 trong số trường phù hợp còn lại. Bảng chân lý

ABA OR B
000
011
101
111

Tương trường đoản cú ta cũng kiếm được w_0 = -0.5, w_1 = 1, w_2 = 1


*
Mô hình XOR

Nhìn dường như rối nhỉ, thuộc phân tích nhé:

node NOT(x_1 và x_2) đó là từ hình 2, cùng với 3 mũi thương hiệu chỉ đến từ 1, x_1, x_2 với hệ số w_0, w_1, w_2 tương ứng là 1.5, -1, -1.node tính x_1 OR x_2 là từ hình 3 node trong output đầu ra layer là phép tính and từ 2 node của layer trước, giá bán trị thông số từ hình 1 mang xuống.

Xem thêm: Máy Tăng Âm Thường Được Dùng Để, Máy Tăng Âm Là Gì

Nhận xét: quy mô logistic regression không giải quyết và xử lý được việc XOR nhưng mà mô mình bắt đầu thì xử lý được vấn đề XOR. Đâu là sự khác nhau:

Logistic regression chỉ bao gồm từ input layer với output layerMô hình mới có 1 hidden layer gồm 2 node trung tâm input layer với output layer

=> Có vẻ càng nhiều layer cùng node thì càng giải quyết và xử lý được những bài toán phức tạp hơn.