Investing.com — 인텔 (NASDAQ:INTC) 랩스와 와이즈만 과학 연구소는 출력 품질 저하 없이 대규모 언어 모델(LLM)의 실행 속도를 최대 2.8배까지 향상시키는 새로운 방법을 개발했다고 발표했습니다.

이번 ’추측 디코딩’의 획기적인 발전은 캐나다 밴쿠버에서 열린 국제 머신러닝 컨퍼런스에서 발표되었습니다. 이 기술은 어휘가 다르더라도 모든 소규모 "초안" 모델이 모든 대규모 언어 모델의 속도를 향상시킬 수 있도록 합니다.

인텔 랩스 자연어 처리 그룹의 수석 연구원인 오렌 페레그는 "우리는 생성형 AI의 핵심 비효율성을 해결했습니다. 우리의 연구는 추측 가속을 보편적인 도구로 전환하는 방법을 보여줍니다. 이는 단순한 이론적 개선이 아니라 개발자가 오늘날 더 빠르고 스마트한 애플리케이션을 구축하는 데 이미 도움이 되고 있는 실용적인 도구입니다."라고 말했습니다.

추측 디코딩은 작고 빠른 모델과 더 크고 정확한 모델을 결합하여 작동합니다. "프랑스의 수도는 어디입니까?"와 같은 프롬프트가 주어지면 기존 LLM은 각 단계를 단계별로 생성하여 각 단계에서 상당한 리소스를 소비합니다. 추측 디코딩을 사용하면 작은 보조 모델이 "파리, 유명한 도시"와 같은 전체 구문을 빠르게 초안 작성하고, 대규모 모델이 이를 확인하여 컴퓨팅 주기를 줄입니다.

새로운 방법은 이전에 공유 어휘 또는 공동 훈련된 모델 패밀리가 필요했던 제한 사항을 제거하여 다양한 유형의 모델에서 실용적으로 사용할 수 있도록 합니다. 이 기술은 공급업체에 구애받지 않으며 다양한 개발자 및 생태계의 모델과 함께 작동합니다.

와이즈만 연구소의 데이비드 하렐 교수 연구 그룹의 박사 과정 학생인 나다브 티모르는 "이번 연구는 생성형 AI를 더 빠르고 저렴하게 만드는 데 있어 주요 기술 장벽을 제거합니다."라고 말했습니다. "우리의 알고리즘은 자체 소규모 초안 모델을 훈련하는 조직에서만 이전에 사용할 수 있었던 최첨단 속도 향상을 가능하게 합니다."

이 연구는 어휘 정렬에서 추측 코딩을 분리하는 세 가지 새로운 알고리즘을 소개합니다. 이러한 알고리즘은 이미 Hugging Face Transformers 오픈 소스 라이브러리에 통합되어 맞춤형 코드 없이도 수백만 명의 개발자가 고급 LLM 가속을 사용할 수 있도록 합니다.

이 기사는 인공지능의 도움을 받아 번역됐습니다. 자세한 내용은 이용약관을 참조하시기 바랍니다.