Vì sao trợ lý trò chuyện đưa ra những câu trả lời khác nhau cho cùng một câu hỏi?
Một trợ lý trò chuyện đưa ra các câu trả lời khác nhau cho cùng một câu hỏi vì mỗi lần trả lời, nó chọn từ tiếp theo trong số những từ có khả năng xuất hiện, và lựa chọn đó thường có yếu tố ngẫu nhiên. Nó không truy xuất một câu trả lời đã lưu sẵn.
Hãy hình dung một công ty kiến trúc giả định có 30 người, Fairline Architects. Một thành viên góp vốn yêu cầu quản lý văn phòng Rowan giải thích ba vấn đề trước khi công ty đưa trợ lý AI vào sử dụng. Ghi chú của Rowan viết: 'hỏi hai lần về quy định xây dựng không cần xin phép, nhận được hai câu trả lời khác nhau'; 'nó dẫn số hiệu một tài liệu hướng dẫn quy hoạch không tồn tại'; 'công cụ hình ảnh tạo bản phác thảo xưởng làm việc mới rất đẹp nhưng các cửa sổ không thẳng hàng'. Người này muốn biết công cụ có bị lỗi không. Không. Nó đang làm đúng những gì nó được xây dựng để làm.
Mô hình AI tạo sinh được huấn luyện như thế nào?
Mô hình ngôn ngữ lớn trước tiên được huấn luyện trên một tập hợp văn bản khổng lồ để dự đoán phần văn bản tiếp theo, sau đó được huấn luyện thêm để làm theo chỉ dẫn và đưa ra câu trả lời hữu ích. Bảng thuật ngữ của Anthropic mô tả tiền huấn luyện là huấn luyện trên một kho văn bản lớn chưa gán nhãn để dự đoán từ tiếp theo dựa trên ngữ cảnh trước đó, sau đó là tinh chỉnh và học tăng cường từ phản hồi của con người, trong đó con người xếp hạng các câu trả lời mẫu và mô hình học cách ưu tiên những câu trả lời tốt hơn.
Mô hình không giữ bản sao của mọi tài liệu. Nó điều chỉnh hàng tỷ giá trị số bên trong cho đến khi các dự đoán khớp với quy luật trong dữ liệu. Thứ nó có được cuối cùng gần với sự nắm bắt rất chi tiết về cách ngôn ngữ và ý tưởng thường kết hợp với nhau hơn là một thư viện có thể tìm kiếm.
Token là gì và mô hình dự đoán chúng như thế nào?
Token là các đơn vị nhỏ mà mô hình đọc và viết, thường là một từ hoặc một phần của từ. Mô hình tạo văn bản bằng cách liên tục dự đoán token có khả năng xuất hiện tiếp theo. Khóa học máy của Google mô tả mô hình ngôn ngữ là mô hình ước tính xác suất một token hoặc một chuỗi token xuất hiện trong một chuỗi dài hơn, đồng thời lưu ý rằng khoảng 400 token tương đương khoảng 300 từ tiếng Anh.
Ở mỗi bước, mô hình chấm điểm nhiều đơn vị mã hóa có thể xuất hiện tiếp theo. Sau đó, ứng dụng chọn một đơn vị, đôi khi là đơn vị có xác suất cao nhất, nhưng thường là một đơn vị được lấy mẫu từ các lựa chọn có xác suất cao. Một thông số gọi là nhiệt độ kiểm soát mức độ táo bạo của lựa chọn này: giá trị cao tạo ra cách diễn đạt đa dạng hơn, giá trị thấp tạo ra cách diễn đạt dễ đoán hơn. Anthropic lưu ý rằng ngay cả ở mức nhiệt độ thấp nhất, kết quả vẫn không hoàn toàn cố định. Đó là câu trả lời cho ghi chú đầu tiên của Rowan.
Các công cụ tạo ảnh AI hoạt động như thế nào?
Nhiều công cụ tạo ảnh AI sử dụng phương pháp gọi là khuếch tán: mô hình học cách loại bỏ nhiễu khỏi ảnh, sau đó tạo ảnh mới bằng cách bắt đầu từ nhiễu ngẫu nhiên và tinh chỉnh từng bước theo mô tả bằng văn bản của bạn. Khóa học về khuếch tán của Hugging Face mô tả quá trình huấn luyện là thêm nhiễu ở các mức độ khác nhau rồi dạy mô hình khắc phục, còn quá trình tạo ảnh là tinh chỉnh dần nhiễu ngẫu nhiên cho đến khi hình ảnh xuất hiện.
Vì mô hình tạo ra các điểm ảnh có vẻ hợp lý thay vì làm theo bản vẽ của kiến trúc sư, nên những chi tiết như độ thẳng hàng của cửa sổ, chữ trên biển hiệu hoặc số ngón tay có thể bị sai. Đó là ghi chú thứ ba của Rowan.
Điều này có ý nghĩa gì đối với cách bạn sử dụng các công cụ?
Điều đó có nghĩa là bạn nên cung cấp cho công cụ những thông tin thực tế mà bạn muốn nó dựa vào, thay vì trông cậy vào trí nhớ của nó. Câu lệnh chưa tốt: 'Những quy định nào cho phép xây phần mở rộng phía sau nhà mà không cần xin phép?' Câu trả lời trôi chảy, thay đổi giữa các lần thử và có thể trộn lẫn quy định từ nhiều năm hoặc nhiều quốc gia, đồng thời có thể dẫn một tài liệu nghe hợp lý nhưng thực chất là bịa đặt. Điều này giải thích ghi chú thứ hai của Rowan.
Câu lệnh đã cải thiện: Rowan dán phần liên quan trong hướng dẫn quy hoạch chính thức và hỏi: 'Chỉ dựa vào văn bản bên dưới, hãy tóm tắt các giới hạn kích thước đối với phần mở rộng một tầng phía sau nhà dưới dạng bảng. Nếu văn bản không đề cập đến điều gì, hãy nói rõ là không đề cập.' Giờ đây, nhiệm vụ của mô hình là diễn đạt lại và sắp xếp văn bản mà nó có thể đọc được, vốn là việc nó làm tốt, và Rowan có thể đối chiếu từng dòng với nguồn.
AI tạo sinh có những giới hạn nào?
Những giới hạn chính là AI tạo sinh có thể khẳng định thông tin sai một cách tự tin, kiến thức chỉ cập nhật đến một thời điểm nhất định nếu không được kết nối với công cụ tìm kiếm hoặc tài liệu, chỉ có thể xử lý lượng nội dung nằm trong cửa sổ ngữ cảnh, và có thể phản ánh thiên kiến trong dữ liệu huấn luyện. Không giới hạn nào trong số này là lỗi có thể khắc phục bằng cách hỏi lịch sự hơn; chúng xuất phát từ cách các mô hình hoạt động.
Đối chiếu thông tin, số liệu, tên và tài liệu tham chiếu với nguồn bạn tin cậy, đồng thời cung cấp tài liệu nguồn cho công cụ mỗi khi độ chính xác là yếu tố quan trọng.
Bài học này nằm ở đâu trong danh mục khóa học của Tosheo.ai?
Cách AI tạo sinh hoạt động thuộc danh mục Kiến thức nền tảng về AI. Đây là một trong những bài học đầu tiên về AI dành cho người mới bắt đầu và là bài mở đầu của khóa học về AI tạo sinh. Trên Tosheo.ai, bài thực hành yêu cầu bạn dự đoán rồi kiểm thử cách một công cụ hoạt động khi bạn thay đổi các thiết lập như nhiệt độ hoặc cung cấp văn bản nguồn. Phản hồi dựa trên hướng dẫn chấm điểm sẽ kiểm tra xem lời giải thích của bạn có dễ hiểu với đồng nghiệp hay không.