Regularization là gì

Tổng quan

Ai khi phi vào con đường biến hóa 1 AI engineer cũng đã chạm mặt trường vừa lòng : lúc training 1 mã sản phẩm nhưng accuracy của tập train tăng mạnh ( loss giảm dần ) tuy thế accuracy của tập thử nghiệm không tăng cùng tập train mà mang đến 1 tiến trình nào đó accuracy của tập kiểm tra sẽ bớt dần ( loss tăng nhiều ).

Đó hotline là overfitting ? Liệu bao gồm cách nào sẽ giúp đỡ model né overfitting , cải thiện độ bao gồm xác. Để hiểu rằng thì họ cần phải hiểu rõ Bias, Variance là gì ?

1. Bias

Bias là sự sai lệch giữa giá trị nhưng model họ dự đoán được với cái giá trị thật ( predict - ground truth). Mô hình với low bias thì chênh lệch giữa giá trị dự kiến và cực hiếm thật nhỏ dại => mô hình tốt. Và ngược lại high bias thì chênh lệch thân predict và ground truth mập => mô hình lỗi cao hơn cả tập đào tạo và huấn luyện ( training) cùng tập kiểm test ( testing) => Underfitting

2. Variance

Variance thay mặt đại diện cho độ phân tán dữ liệu. Variance cao chứng tỏ phân tán cao, tập trung chú yếu hèn vào dữ liệu huấn luyện và đào tạo mà không mang được tính tổng quát trên tài liệu chưa gặp lúc nào => mô hình tốt nhất trên tập dữ liệu huấn luyện nhưng kết quả rất tệ bên trên tập kiểm thử => Overfitting

Underfitting, Overfitting là gì ?

Underfitting là quy mô mà high bias cùng variance low. Hiện tượng này xảy ra khi lượng tài liệu quá không nhiều hoặc ta cố gắng mô tả các dữ liệu phức hợp bằng các mô hình tuyến tính đơn giản dễ dàng như hồi quy. Khi gặp trường vừa lòng này ta cần kiếm thêm data với tăng độ tinh vi của model ( tăng thêm 1 vài layer, node).

Bạn đang xem: Regularization là gì

Overfitting là quy mô quá khít cùng với dữ liệu, nó sẽ đúng trên tập training nhưng trên tập thử nghiệm (kiểm test ) thì tác dụng rất tệ. Quy mô này thông thường có bias bé dại và variance lớn.Đặt câu hỏi vì sao này lại đúng bên trên tập giảng dạy mà không nên trên tập kiểm thử ?Bởi vày khi training model trên rất nhiều dữ liệu nhiễu dẫn đến mã sản phẩm bị quá phức tạp so với khoảng độ quan trọng => model không tổng thể hóa được đề xuất khi gặp mặt các dữ liệu chưa gặp khi nào sẽ "bỡ ngỡ" => dự đoán sai. Mẫu mã như 1 học viên ôn bài để làm kiểm tra Toán, lúc ôn bài học viên đó chỉ ôn tủ những dạng bài xích mà thầy cô vẫn dạy ( tất cả mẫu sẵn ) . Học sinh đó cho rằng mai kiểu gì rồi cũng làm bên trên 8 điểm, tuy vậy quá black cho cậu ta, cậu ta gặp thắc mắc gần giống thắc mắc tủ dẫu vậy đổi kết cấu một chút, thay là trù trừ làm cùng được 0 điểm .

Train model cũng giống như việc học vậy, họ không thể học tập qua loa là giải được một bài toán ( như underfitting), hay học tủ là có thể đạt điểm trên cao được ( như overfitting). Bọn họ cần cần học mà đề xuất hiểu, tổng quát hóa được kỹ năng và kiến thức nên chạm chán bài toán dạng làm sao cũng rất có thể giải được.

Các phương thức tránh overfitting

1. Gather more data

Dữ liệu ít là 1 trong trong những nguyên nhân khiến model bị overfitting. Vị vậy họ cần tăng lên dữ liệu để tăng cường mức độ đa dạng, đa dạng mẫu mã của dữ liệu ( có nghĩa là giảm variance).Một số phương pháp tăng tài liệu :

Thu thập thêm dữ liệu : họ phải craw thêm tài liệu hay tới thực tế để thu thập, cù video, chụp ảnh,...Tuy nhiên trong tương đối nhiều trường hợp thì việc tích lũy thêm tài liệu là infeasible nên cách thức này không được khuyến khích.

2. Simple model

Một trong những nguyên nhân khiến model của bạn trở buộc phải overfitting là: model của khách hàng quá sâu, tinh vi ( ví dụ như nhiều layer, node) trong khi chỉ có chút xíu dữ liệu. Ví như bạn chỉ bao gồm

Đại lượng này sẽ ảnh hưởng tác động đến hàm loss. Cụ thể : ví như lamda béo thì tác động của đại lượng cung cấp lên hàm loss cũng to và trái lại nếu lamda nhỏ tuổi thì ảnh hưởng của nó lên hàm loss cũng nhỏ. Mà lại lamda cũng ko được quá lớn vì nếu quá rộng thì đại lượng tiếp tế sẽ lấn át loss => quy mô xây dựng có khả năng sẽ bị sai ( underfitting).

Xem thêm: Tổng Hợp Các Tính Năng Của Iphone Xs Max Người Dùng Có Thể Chưa Biết!

l2 regularization : Suy ra loss : Việc về tối ưu hóa mã sản phẩm cũng đồng nghĩa tương quan với câu hỏi làm sút hàm mất mát ( loss ) => bớt weight . Bắt buộc norm2 regularization còn gọi là "weight decay" ( trọng số tiêu đổi mới ).l1 regularization:Về cơ bản norm1 regularization cũng tương tự như chuẩn chỉnh norm2 regularization. Cơ mà đại lượng được chế tạo là tổng trị hoàn hảo nhất của toàn bộ các phần tử.

Dropout là kĩ thuật góp tránh overfitting cũng gần giống như regularization bằng phương pháp bỏ đi random p% node của layer => giúp cho mô hình bớt tinh vi (p thuộc <0.2, 0.5>) .

Xem thêm: 1 Số Điện Thoại Đăng Ký Được Bao Nhiêu Zalo, Câu Hỏi 248335

5. Early stoping

Khi training model thì chưa phải lúc làm sao (hàm mất mats) loss của tập train cùng tập kiểm tra cũng đồng thời giảm, tới một epoch nào đó thì loss của tập train sẽ liên tiếp giảm dẫu vậy loss của tập chạy thử không giảm mà tăng trở lại => Đó là hiện tượng overfitting. Bởi vì vậy để ngăn ngừa nó, thì ngay lập tức tại thời điểm đó người ta sẽ dừng bài toán training ( bởi vì để chương trình liên tục training thì cũng không nâng cấp được gì mà lại tốn tài nguyên ).

Kết luận

Hiện tượng overfitting là hiện tượng kỳ lạ rất thịnh hành trong câu hỏi training model nên việc gặp gỡ phải ( phạm phải ) thì là vấn đề hết mức độ bình thường. Không có gì yêu cầu sợ cả, các bạn hãy demo 1 vài cách thức trên phối kết hợp lại như : Dropout + Regularization + Augmentation.Chúc chúng ta thành công !