경제, 역사, 암호 화폐, 비즈니스 팟캐스트에 대한 레지와 왕실의 관점
인공 지능의 세계 - 대규모 언어 모델이란 무엇입니까?
June 11, 2023
2 년 전 Cryptocurrency, The Seventh Layer라는 제목의 첫 번째 에피소드에서 우리는 cryptocurrency가 중앙 집중식 컴퓨팅 아키텍처를 시작으로 지난 40 년에서 45 년 동안 거슬러 올라가는 일곱 번째 주요 기술 이벤트가 될 수 있다고 제안했습니다. 첫 번째 팟 캐스트에서 우리는 여덟 번째 레이어가 숨어 있다고 암시했으며, 그 당시에는 우리 대부분에게 알려지지 않았습니다. 우리는 이제 이 8번째 레이어가 이제 우리 가운데 아주 분명하게 존재하며 지난 6개월 동안 강타와 함께 도착했다고 확신합니다. 우리 사회의 경제 및 기술 부문 모두 인공 지능(AI) 구성 요소의 급속한 발전으로 인해 사이클론 압력을 받고 있습니다.
지난 10년 동안 이 분야에서 상당한 발전을 이끈 AI의 점진적인 발전에 대한 간략한 개요입니다.딥 러닝: 지난 10년 동안 신경망, 특히 딥 러닝의 부활이 나타났습니다. AI 발전. 이미지 인식을 위한 CNN(Convolutional Neural Networks)과 자연어 처리를 위한 RNN(Recurrent Neural Networks) 및 변환기와 같은 새로운 기술의 개발은 다양한 작업에서 AI의 성능을 크게 향상시켰습니다. AI 모델 훈련을 위한 스케일 데이터 세트는 성능 향상에 중요한 역할을 했습니다. 이러한 데이터 세트는 보다 복잡한 모델의 교육을 용이하게 하여 다양한 예제에서 학습하고 새로운 상황에 일반화할 수 있도록 합니다. 계산 능력: 특히 그래픽 처리 장치(GPU) 및 Tensor와 같은 특수 하드웨어의 출현으로 계산 능력이 향상되었습니다. 처리 장치(TPU)를 통해 연구자는 더 크고 심층적인 신경망을 훈련할 수 있어 AI의 급속한 발전에 기여했습니다. 전이 학습: 전이 학습과 같은 기술로, 대규모 데이터 세트에서 모델을 사전 훈련하고 이를 미세 조정합니다. 특정 작업을 통해 AI 모델은 상대적으로 적은 양의 작업별 데이터로 최첨단 성능을 달성할 수 있습니다.LLM(Large Language Models): 지난 몇 년 동안 OpenAI의 GPT-3과 같은 더 강력한 언어 모델. 이러한 모델은 텍스트 생성, 번역, 요약 및 질문 답변을 포함하여 다양한 NLP 작업에서 놀라운 기능을 보여주었습니다.