ChatGPT và những người bạn (Phần 3)

Tác giả: Mike Loukides Chi phí của ChatGPT Có rất ít dữ liệu thực tế về chi phí đào tạo các mô hình ngôn ngữ lớn; các công ty xây dựng những mô hình này đã giữ bí mật về chi phí của họ. Ước tính bắt đầu ở mức khoảng 2 triệu đô, có thể lên tới 12 triệu đô hoặc hơn cho các mẫu mới nhất (và lớn nhất). LLaMA của Facebook/Meta, nhỏ hơn GPT-3 và GPT-4, được cho là mất khoảng một triệu giờ GPU để đào tạo, với chi phí khoảng 2 triệu USD trên AWS. Thêm vào đó là chi phí của nhóm kỹ thuật cần thiết để xây dựng các mô hình, và bạn có những con số không thể chấp nhận được. Tuy nhiên, rất ít công ty có nhu cầu xây dựng mô hình của riêng mình. Việc đào tạo lại mô hình nền tảng cho một mục đích đặc biệt đòi hỏi ít thời gian và tiền bạc hơn nhiều, và việc [...]