Regularization là gì
Tổng quan
Ai khi phi vào con đường biến hóa 1 AI engineer cũng đã chạm mặt trường vừa lòng : lúc training 1 mã sản phẩm nhưng accuracy của tập train tăng mạnh ( loss giảm dần ) tuy thế accuracy của tập thử nghiệm không tăng cùng tập train mà mang đến 1 tiến trình nào đó accuracy của tập kiểm tra sẽ bớt dần ( loss tăng nhiều ).

1. Bias
Bias là sự sai lệch giữa giá trị nhưng model họ dự đoán được với cái giá trị thật ( predict - ground truth). Mô hình với low bias thì chênh lệch giữa giá trị dự kiến và cực hiếm thật nhỏ dại => mô hình tốt. Và ngược lại high bias thì chênh lệch thân predict và ground truth mập => mô hình lỗi cao hơn cả tập đào tạo và huấn luyện ( training) cùng tập kiểm test ( testing) => Underfitting
2. Variance
Variance thay mặt đại diện cho độ phân tán dữ liệu. Variance cao chứng tỏ phân tán cao, tập trung chú yếu hèn vào dữ liệu huấn luyện và đào tạo mà không mang được tính tổng quát trên tài liệu chưa gặp lúc nào => mô hình tốt nhất trên tập dữ liệu huấn luyện nhưng kết quả rất tệ bên trên tập kiểm thử => Overfitting

Underfitting, Overfitting là gì ?

Bạn đang xem: Regularization là gì
Overfitting là quy mô quá khít cùng với dữ liệu, nó sẽ đúng trên tập training nhưng trên tập thử nghiệm (kiểm test ) thì tác dụng rất tệ. Quy mô này thông thường có bias bé dại và variance lớn.Đặt câu hỏi vì sao này lại đúng bên trên tập giảng dạy mà không nên trên tập kiểm thử ?Bởi vày khi training model trên rất nhiều dữ liệu nhiễu dẫn đến mã sản phẩm bị quá phức tạp so với khoảng độ quan trọng => model không tổng thể hóa được đề xuất khi gặp mặt các dữ liệu chưa gặp khi nào sẽ "bỡ ngỡ" => dự đoán sai. Mẫu mã như 1 học viên ôn bài để làm kiểm tra Toán, lúc ôn bài học viên đó chỉ ôn tủ những dạng bài xích mà thầy cô vẫn dạy ( tất cả mẫu sẵn ) . Học sinh đó cho rằng mai kiểu gì rồi cũng làm bên trên 8 điểm, tuy vậy quá black cho cậu ta, cậu ta gặp thắc mắc gần giống thắc mắc tủ dẫu vậy đổi kết cấu một chút, thay là trù trừ làm cùng được 0 điểm .
Train model cũng giống như việc học vậy, họ không thể học tập qua loa là giải được một bài toán ( như underfitting), hay học tủ là có thể đạt điểm trên cao được ( như overfitting). Bọn họ cần cần học mà đề xuất hiểu, tổng quát hóa được kỹ năng và kiến thức nên chạm chán bài toán dạng làm sao cũng rất có thể giải được.
Các phương thức tránh overfitting
1. Gather more data
Dữ liệu ít là 1 trong trong những nguyên nhân khiến model bị overfitting. Vị vậy họ cần tăng lên dữ liệu để tăng cường mức độ đa dạng, đa dạng mẫu mã của dữ liệu ( có nghĩa là giảm variance).Một số phương pháp tăng tài liệu :
Thu thập thêm dữ liệu : họ phải craw thêm tài liệu hay tới thực tế để thu thập, cù video, chụp ảnh,...Tuy nhiên trong tương đối nhiều trường hợp thì việc tích lũy thêm tài liệu là infeasible nên cách thức này không được khuyến khích.2. Simple model
Một trong những nguyên nhân khiến model của bạn trở buộc phải overfitting là: model của khách hàng quá sâu, tinh vi ( ví dụ như nhiều layer, node) trong khi chỉ có chút xíu dữ liệu. Ví như bạn chỉ bao gồm

Xem thêm: Tổng Hợp Các Tính Năng Của Iphone Xs Max Người Dùng Có Thể Chưa Biết!
l2 regularization :




Xem thêm: 1 Số Điện Thoại Đăng Ký Được Bao Nhiêu Zalo, Câu Hỏi 248335
5. Early stoping

Kết luận
Hiện tượng overfitting là hiện tượng kỳ lạ rất thịnh hành trong câu hỏi training model nên việc gặp gỡ phải ( phạm phải ) thì là vấn đề hết mức độ bình thường. Không có gì yêu cầu sợ cả, các bạn hãy demo 1 vài cách thức trên phối kết hợp lại như : Dropout + Regularization + Augmentation.Chúc chúng ta thành công !