AI x Crypto: Từ số không đến đỉnh cao

Ngành AI gần đây phát triển mạnh mẽ, được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao đáng kể hiệu suất của nhiều ngành nghề, ước tính GPT đã nâng cao khoảng 20% hiệu suất làm việc ở Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một hình thức thiết kế phần mềm mới, trước đây thiết kế phần mềm là mã chính xác, bây giờ nhiều hơn là tích hợp khung mô hình lớn tổng quát vào phần mềm, điều này giúp phần mềm có hiệu suất tốt hơn và hỗ trợ nhiều kiểu dạng hơn. Công nghệ học sâu thực sự đã mang lại một làn sóng thịnh vượng mới cho ngành AI, và cơn sốt này cũng đã lan đến ngành công nghiệp tiền điện tử.

Báo cáo này sẽ khám phá chi tiết quá trình phát triển của ngành AI, phân loại công nghệ, cũng như tác động của công nghệ học sâu đến ngành. Sau đó, sẽ phân tích sâu về tình trạng và xu hướng phát triển của chuỗi ngành liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên, v.v. Cuối cùng, chúng tôi sẽ thảo luận về mối quan hệ giữa tiền điện tử và ngành AI, hệ thống lại cấu trúc chuỗi ngành AI liên quan đến tiền điện tử.

Lịch sử phát triển của ngành AI

Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau để thực hiện trí tuệ nhân tạo trong bối cảnh các thời đại và các lĩnh vực khác nhau.

Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", với ý tưởng là cho phép máy móc cải thiện hiệu suất hệ thống thông qua việc lặp đi lặp lại dựa vào dữ liệu trong các nhiệm vụ. Các bước chính là nhập dữ liệu vào thuật toán, đào tạo mô hình bằng dữ liệu, kiểm tra và triển khai mô hình, sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.

Hiện tại, học máy có ba trường phái chính, lần lượt là kết nối, biểu tượng và hành vi, mô phỏng hệ thống thần kinh, tư duy và hành vi của con người.

Hiện tại, chủ nghĩa liên kết, đại diện bởi mạng nơ-ron, đang chiếm ưu thế ( còn được gọi là học sâu ), nguyên nhân chính là vì kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Một khi số lượng lớp và số lượng nơ-ron ( tham số ) đủ nhiều, sẽ có đủ cơ hội để phù hợp với các nhiệm vụ tổng quát phức tạp. Thông qua việc nhập dữ liệu, các tham số của nơ-ron có thể được điều chỉnh liên tục, sau nhiều lần xử lý dữ liệu, nơ-ron đó sẽ đạt được trạng thái tối ưu ( tham số ), đây cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.

Ví dụ, có thể hiểu đơn giản là xây dựng một hàm, hàm này nhận đầu vào X=2 thì Y=3; X=3 thì Y=5. Nếu muốn hàm này đáp ứng cho tất cả các giá trị X, cần liên tục thêm bậc của hàm và các tham số của nó, chẳng hạn như có thể xây dựng hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải cấu trúc lại một hàm phù hợp cho ba điểm dữ liệu này. Sử dụng GPU để bẻ khóa mạnh mẽ phát hiện Y = X2 -3X +5 là khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Ở đây, X2 và X, X0 đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của nó.

Nếu lúc này chúng ta nhập nhiều dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng nơ-ron và lặp lại các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.

Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều lần lặp và tiến hóa, từ mạng nơ-ron sơ khai, mạng nơ-ron truyền dẫn, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, bổ sung một bộ chuyển đổi ( Transformer ), dùng để mã hóa dữ liệu của tất cả các chế độ ( như âm thanh, video, hình ảnh, v.v. thành các giá trị tương ứng để biểu diễn. Sau đó, dữ liệu này được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, nghĩa là thực hiện đa chế độ.

Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên diễn ra vào những năm 60 của thế kỷ 20, sau một thập kỷ khi công nghệ AI được đề xuất. Làn sóng này được gây ra bởi sự phát triển của công nghệ chủ nghĩa ký hiệu, công nghệ này giải quyết vấn đề xử lý ngôn ngữ tự nhiên tổng quát và đối thoại giữa người và máy. Cùng thời điểm đó, hệ thống chuyên gia ra đời, đó là hệ thống chuyên gia DENRAL được hoàn thành bởi một số cơ quan, hệ thống này có kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy luận và tạo ra câu trả lời giống như một chuyên gia hóa học. Hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa cơ sở dữ liệu kiến thức hóa học và hệ thống suy luận.

Sau hệ thống chuyên gia, vào những năm 90 của thế kỷ 20, các nhà khoa học đã đề xuất mạng Bayes, mạng này còn được gọi là mạng niềm tin. Cùng thời điểm đó, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của chủ nghĩa hành vi.

Năm 1997, một công ty công nghệ có tên Deep Blue đã đánh bại nhà vô địch cờ vua Garry Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.

Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba người khổng lồ trong lĩnh vực học sâu là Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đưa ra khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm cấu trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu dần phát triển, từ RNN, GAN đến Transformer và Stable Diffusion, những thuật toán này đã cùng nhau định hình nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ thịnh vượng của chủ nghĩa kết nối.

Nhiều sự kiện biểu tượng cũng dần xuất hiện cùng với sự khám phá và tiến hóa của công nghệ học sâu, bao gồm:

• Năm 2011, một hệ thống của một công ty công nghệ đã đánh bại con người và giành chiến thắng trong chương trình thi đấu trí tuệ "Dangerous Edge" )Jeopardy(.

• Năm 2014, Goodfellow đã đề xuất GAN) Mạng đối kháng sinh, Generative Adversarial Network(, thông qua việc để hai mạng nơ-ron chơi trò chơi với nhau để học, có thể tạo ra những bức ảnh giống như thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tựa đề "Deep Learning", được gọi là sách hoa, là một trong những cuốn sách quan trọng cho người mới bắt đầu trong lĩnh vực học sâu.

• Năm 2015, Hinton và các đồng nghiệp đã đề xuất thuật toán học sâu trong tạp chí "Nature", phương pháp học sâu này đã ngay lập tức gây ra tiếng vang lớn trong giới học thuật cũng như trong ngành công nghiệp.

• Năm 2015, một công ty trí tuệ nhân tạo được thành lập, nhiều nhân vật nổi tiếng công bố cùng đầu tư 1 tỷ USD.

• Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu cờ vây với nhà vô địch thế giới, kỳ thủ chuyên nghiệp 9 dan Lee Sedol và thắng với tỷ số tổng là 4-1.

• Năm 2017, một công ty phát triển robot hình người có tên Sophia, được coi là robot đầu tiên trong lịch sử nhận được quyền công dân hạng nhất, sở hữu nhiều biểu cảm khuôn mặt phong phú và khả năng hiểu ngôn ngữ của con người.

• Năm 2017, một công ty có nguồn nhân lực và dự trữ công nghệ phong phú trong lĩnh vực trí tuệ nhân tạo đã công bố bài báo "Attention is all you need" giới thiệu thuật toán Transformer, các mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.

• Năm 2018, một công ty đã phát hành GPT)Generative Pre-trained Transformer( được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.

• Năm 2018, một nhóm công ty đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là dấu hiệu tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.

• Năm 2019, một công ty phát hành GPT-2, mô hình này có 1,5 tỷ tham số.

• Năm 2020, một công ty phát triển GPT-3 với 175 tỷ tham số, cao gấp 100 lần so với phiên bản trước là GPT-2, mô hình này sử dụng 570GB văn bản để đào tạo, có thể đạt được hiệu suất tiên tiến trên nhiều nhiệm vụ NLP) như trả lời câu hỏi, dịch thuật, viết bài văn(.

• Năm 2021, một công ty đã phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.

• Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, vào tháng 3 ChatGPT đạt một trăm triệu người dùng, trở thành ứng dụng đạt một trăm triệu người dùng nhanh nhất trong lịch sử.

• Năm 2024, một công ty ra mắt GPT-4 omni.

![Người mới phổ cập丨AI x Crypto: Từ số không đến đỉnh cao])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Chuỗi công nghiệp học sâu

Hiện tại, các mô hình ngôn ngữ lớn đang sử dụng các phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một cơn sốt trí tuệ nhân tạo, khiến nhiều người chơi đổ xô vào lĩnh vực này. Chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của các thuật toán học sâu. Trong ngành AI do các thuật toán học sâu dẫn dắt, cấu trúc của các bên liên quan ở thượng nguồn và hạ nguồn như thế nào, cũng như tình hình hiện tại và mối quan hệ cung cầu của hạ nguồn và sự phát triển trong tương lai ra sao.

Đầu tiên, chúng ta cần làm rõ rằng, khi tiến hành đào tạo các mô hình lớn LLMs dựa trên công nghệ Transformer do GPT dẫn đầu ), sẽ được chia thành ba bước.

Trước khi đào tạo, vì dựa trên Transformer, nên bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi ký tự Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.

Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào một lượng lớn các cặp dữ liệu, tương tự như ví dụ trong phần đầu của báo cáo (X,Y), để tìm kiếm các tham số tối ưu cho từng neuron trong mô hình, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tiêu tốn nhiều sức mạnh tính toán nhất, vì phải lặp đi lặp lại để thử nghiệm các tham số khác nhau cho các neuron. Sau khi hoàn thành huấn luyện một lô cặp dữ liệu, thông thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lại nhằm điều chỉnh tham số.

Bước thứ hai, tinh chỉnh. Tinh chỉnh là cung cấp một lượng dữ liệu nhỏ nhưng chất lượng rất cao để huấn luyện, sự thay đổi như vậy sẽ làm cho đầu ra của mô hình có chất lượng cao hơn, vì việc huấn luyện ban đầu cần một lượng lớn dữ liệu, nhưng nhiều dữ liệu có thể có sai sót hoặc chất lượng kém. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.

Bước ba, học tăng cường. Trước tiên, một mô hình hoàn toàn mới sẽ được xây dựng, chúng tôi gọi nó là "mô hình thưởng", mục đích của mô hình này rất đơn giản, đó là sắp xếp các kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ tương đối đơn giản, vì các tình huống kinh doanh khá chuyên biệt. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy chúng tôi có thể sử dụng một mô hình thưởng để tự động lặp lại các tham số của mô hình lớn. ( nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình )

Nói tóm lại, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện có yêu cầu rất cao về lượng dữ liệu, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi việc tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình thưởng để tạo ra kết quả chất lượng cao hơn.

Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, ví dụ trong trường hợp hàm Y = aX + b, thì thực tế có hai nơ-ron X và X0, do đó cách biến đổi tham số thì dữ liệu mà nó có thể phù hợp là rất hạn chế, vì bản chất của nó vẫn là một đường thẳng. Nếu số nơ-ron càng nhiều, thì có thể lặp lại nhiều tham số hơn, từ đó có thể phù hợp với nhiều dữ liệu hơn, đó là lý do tại sao mô hình lớn có thể tạo ra những điều kỳ diệu, và cũng là lý do tại sao nó được gọi là mô hình lớn, bản chất chính là hàng triệu nơ-ron và tham số, hàng triệu dữ liệu, đồng thời cần rất nhiều sức mạnh tính toán.

Do đó, hiệu suất của mô hình lớn chủ yếu được xác định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Chúng ba yếu tố này cùng nhau ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Chúng ta giả định số lượng tham số là p, khối lượng dữ liệu là n( được tính bằng số lượng Token), thì chúng ta có thể tính toán lượng sức mạnh tính toán cần thiết thông qua quy tắc kinh nghiệm chung, từ đó ước lượng tình hình sức mạnh tính toán cần mua và thời gian đào tạo.

Công suất tính toán thường được đo bằng Flops, đại diện cho một phép toán số thực, phép toán số thực là thuật ngữ chung cho các phép cộng, trừ, nhân, chia với số không phải nguyên, ví dụ như 2.5 + 3.557, số thực đại diện cho khả năng có dấu thập phân, trong khi FP16 đại diện cho độ chính xác hỗ trợ số thập phân, FP32 là độ chính xác thường gặp hơn. Theo quy tắc thực hành, việc tiền huấn luyện ( Pre-training ) một lần ( thường sẽ được huấn luyện nhiều lần ) cho các mô hình lớn, khoảng 6np Flops, 6 được gọi là hằng số trong ngành. Còn suy luận ( Inference, chính là quá trình chúng ta nhập một dữ liệu, chờ đợi đầu ra của mô hình lớn ), được chia thành hai phần, nhập n token, đầu ra.