본문 바로가기
대메뉴 바로가기
KAIST
뉴스
유틸열기
홈페이지 통합검색
-
검색
ENGLISH
메뉴 열기
%EC%96%B8%EC%96%B4%EB%AA%A8%EB%8D%B8
최신순
조회순
챗MOF로 96.9% 금속 유기 골격체 물성 예측하다
우리 대학 연구진이 챗GPT를 활용해 큰 다공성, 높은 표면적, 그리고 뛰어난 조절 가능성으로 많은 화학 응용 분야에서 사용되는 금속 유기 골격체의 특성을 예측하고 새로운 재료를 자동으로 생성하는 챗봇 시스템(이하 챗MOF)을 개발했다. 챗MOF는 검색 및 예측 작업에서 각각 96.9% 및 95.7%의 높은 성공률을 보여 화제다. 생명화학공학과 김지한 교수 연구팀이 인공지능(AI)의 급격한 발전에 주목하며, 대규모 언어 모델(이하 LLMs) 활용을 통해 금속 유기 골격체(Metal-Organic Frameworks, MOFs)의 특성을 예측하고 새로운 재료를 자동으로 생성하는 챗봇 시스템(ChatMOF)을 개발했다고 26일 발표했다. 최근 인공지능(AI)의 발전에는 큰 도약이 있었지만 재료 과학에서의 LLM의 잠재력을 완전히 실현하기에는 여전히 물질의 복잡성과 재료별 특화된 훈련 데이터의 부족이라는 한계점이 존재했다. 김지한 교수 연구팀이 개발한 챗MOF는 재료 분야에서 전통적인 머신러닝 모델과 LLM을 결합한 혁신적인 접근 방식으로 계산 및 머신러닝 도구에 대한 초보자들과의 격차를 상당히 줄일 수 있는 잠재력을 가지고 있다. 또한 이 독특한 시스템은 인공지능의 변혁적인 능력과 재료 과학의 복잡한 측면들을 연결하며, 다양한 작업에서 뛰어난 성능을 보여준다. 챗MOF는 검색 및 예측 작업에서 각각 96.9% 및 95.7%의 높은 성공률을 보고한다. 한편, 더 복잡한 구조 생성 작업은 그 복잡함에도 불구하고 주목할 만한 87.5%의 정확도를 달성한다. 이러한 유망한 결과는 챗MOF가 가장 요구가 많은 작업을 관리하는 데도 효과적임을 강조한다. 김지한 교수는 “연구팀이 개발한 기술은 재료 과학 분야에서 인공지능의 더 높은 자율성을 달성하기 위한 중요한 진전을 나타낸다. 기술이 발전함에 따라, 모델 용량과 온라인 플랫폼에서의 데이터 공유에 대한 체계적인 개선을 통해 챗MOF의 성능을 더욱 최적화할 수 있으며, 이는 금속 유기 골격체 연구 분야에서 놀라운 진전을 촉진할 수 있다.”라고 말했다. 생명화학공학과 강영훈 박사과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 커뮤니케이션즈(Nature communications)'에 지난 6월 3일 게재됐다. (논문명: ChatMOF: An Artificial Intelligence System for Predicting and Generating Metal-Organic Frameworks Using Large Language Models) 한편 이번 연구는 과학기술정보통신부의 지원으로 국가 소재 연구 데이터 사업단, 그리고 한국연구재단 (NRF) 중견 연구자 지원 사업의 지원을 받아 수행됐다.
2024.06.26
조회수 802
멀티모달 대형언어모델이 GPT-4V를 뛰어넘다
멀티모달 대형 언어모델이란 텍스트뿐만 아니라 이미지 데이터 유형까지 처리할 수 있는 초대형 언어모델을 말한다. 해외 대형 기업의 풍부한 컴퓨팅 자원의 지원으로부터 인간의 뇌에 있는 신경망의 개수와 유사한 수준초대형모델들이 만들어지고 있으나 학계에서는 이런 개발이 쉽지 않았다. KAIST 연구진이 오픈AI의 GPT-4V와 구글의 제미나이-프로(Gemini-Pro)를 뛰어넘는 멀티모달 대형언어모델을 개발하여 화제다. 우리 대학 전기및전자공학부 노용만 교수 연구팀이 오픈AI(OpenAI)의 GPT-4V 등 기업에서 비공개하고 있는 상업 모델인 초대형 언어모델의 시각 성능을 뛰어넘는 공개형 멀티모달 대형 언어모델을 개발해 출시했다고 20일 밝혔다. 노용만 교수 연구팀은 단순히 모델의 크기를 키우거나 고품질의 시각적 지시 조정 데이터셋을 만들지 않고 멀티모달 대형언어모델의 시각 성능을 획기적으로 높인 콜라보(CoLLaVO), 모아이(MoAI) 2가지 기술을 연속적으로 개발했다고 밝혔다. 연구팀이 개발한 첫번째 기술인 ‘콜라보(CoLLaVO)’는 현존하는 공개형 멀티모달 대형언어모델이 비공개형 모델의 성능에 비해 현저하게 낮은 이유를 일차적으로 물체 수준에 대한 이미지 이해 능력이 현저하게 떨어진다는 것을 먼저 검증해 보였다. 해당 능력을 효율적으로 증가시켜 시각-언어 태스크에 대한 성능을 향상 하기 위해 연구팀은 이미지 내의 정보를 배경과 물체 단위로 분할하고 각 배경 및 물체에 대한 정보를 멀티모달 대형언어모델에 입력으로 직접 넣어주는 새로운 방법‘크레용 프롬프트(Crayon Prompt)’라는 시각적 프롬프트를 새롭게 제안했다. 또한 시각적 지시 조정 단계에서 크레용 프롬프트로 학습한 정보를 잃어버리지 않기 위해 연구팀은 물체 수준 이미지 이해 능력과 시각-언어 태스크 처리 능력을 서로 다른 파라미터로 학습해 서로 간의 정보를 잃지 않게 만드는 획기적인 학습 전략인 ‘듀얼 큐로라(Dual QLoRA)’를 제안했다. 이를 통해, 콜라보(CoLLaVO) 멀티모달 대형언어모델은 이미지 내에서 배경 및 물체를 구분하는 능력이 뛰어나 일차원적인 시각 구분 능력이 크게 향상됐다고 밝혔다. 두 번째 대형언어모델인 ‘모아이(MoAI)’는 인간이 사물을 판단할 때 물체의 존재, 상태, 물체 간의 상호작용, 배경에 대한 이해, 텍스트에 대한 이해 등으로부터 상황을 판단하는 인지과학적인 요소에 영감을 받아서 만들어졌다고 밝혔다. 이는 기존 멀티모달 대형언어모델이 텍스트에 의미적으로 정렬된 시각 인코더(vision encoder)만을 사용하기 때문에, 이미지 픽셀 수준에서의 상세하고 종합적인 실세계 장면 이해가 부족하다는 점을 지적하며 이런 컴퓨터 비전 모델들의 결과를 받으면 모두 인간이 이해할 수 있는 언어로 변환한 뒤에 멀티모달 대형언어모델에 입력으로 직접 사용했다. 노용만 교수는 “연구팀에서 개발한 공개형 멀티모달 대형언어모델이 허깅페이스 일간 화제의 논문(Huggingface Daily Papers)에 추천됐고, 각종 SNS를 통해 세계 연구자에게 알려지고 있으며, 모든 모델을 공개형 대형언어모델로 출시 했기 때문에 이 연구모델이 멀티모달 대형언어모델 발전에 기여할 것이다”이라고 언급했다. 연구팀이 개발한 멀티모달 대형언어모델인 콜라보(CoLLaVO)와 모아이(MoAI)는 KAIST 전기및전자공학부 이병관 박사과정이 제1 저자로 참여하고 박범찬 석박사통합과정, 김채원 박사과정이 공동 저자로 참여했다. 콜라보(CoLLaVO)는 자연어 처리(NLP) 분야 최고의 국제 학회인 ‘Findings of the Association for Computational Linguistics(ACL Findings) 2024’에 5월 16일 자로 학회에 승인받았고, 모아이(MoAI)는 컴퓨터 비전 최고의 국제 학회인 ‘European Conference on Computer Vision(ECCV) 2024’학회 승인 결과를 기다리고 있다고 밝혔다. 한편 이번 연구는 KAIST 미래국방 인공지능 특화연구센터 및 전기및전자공학부의 지원을 받아 수행됐다. [1] CoLLaVO 데모 GIF 영상 https://github.com/ByungKwanLee/CoLLaVO [2] MoAI 데모 GIF 영상 https://github.com/ByungKwanLee/MoAI
2024.06.20
조회수 1530
기업 의사결정을 거대언어모델로 최초 해결
기업 내외의 상황에 따라 끊임없이 새롭게 결정해야 하는 기업 의사결정 문제는 지난 수십 년간 기업들이 전문적인 데이터 분석팀과 고가의 상용 데이터베이스 솔루션들을 통해 해결해 왔는데, 우리 연구진이 최초로 거대언어모델을 이용하여 풀어내어 화제다. 우리 대학 전산학부 김민수 교수 연구팀이 의사결정 문제, 기업 데이터베이스, 비즈니스 규칙 집합 세 가지가 주어졌을 때 거대언어모델을 이용해 의사결정에 필요한 정보를 데이터베이스로부터 찾고, 비즈니스 규칙에 부합하는 최적의 의사결정을 도출할 수 있는 기술(일명 계획 RAG, PlanRAG)을 개발했다고 19일 밝혔다. 거대언어모델은 매우 방대한 데이터를 학습했기 때문에 학습에 사용된 바 없는 데이터를 바탕으로 답변할 때나 오래전 데이터를 바탕으로 답변하는 등 문제점들이 지적되었다. 이런 문제들을 해결하기 위해 거대언어모델이 학습된 내용만으로 답변하는 것 대신, 데이터베이스를 검색해 답변을 생성하는 검색 증강 생성(Retrieval-Augmented Generation; 이하 RAG) 기술이 최근 각광받고 있다. 그러나, 사용자의 질문이 복잡할 경우 다양한 검색 결과를 바탕으로 추가 정보를 다시 검색하여 적절한 답변을 생성할 때까지 반복하는 반복적 RAG(IterativeRAG)라는 기술이 개발됐으며, 이는 현재까지 개발된 가장 최신의 기술이다. 연구팀은 기업 의사결정 문제가 GPT-3.5 터보에서 반복적 RAG 기술을 사용하더라도 정답률이 10% 미만에 이르는 고난도 문제임을 보이고, 이를 해결하기 위해 반복적 RAG 기술을 한층 더 발전시킨 계획 RAG(PlanRAG)라는 기술을 개발했다. 계획 RAG(PlanRAG)는 기존의 RAG 기술들과 다르게 주어진 의사결정 문제, 데이터베이스, 비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한지에 대한 거시적 차원의 계획(plan)을 먼저 생성한 후, 그 계획에 따라 반복적 RAG를 이용해 미시적 차원의 분석을 수행한다. 이는 마치 기업의 의사결정권자가 어떤 데이터 분석이 필요한지 계획을 세우면, 그 계획에 따라 데이터 분석팀이 데이터베이스 솔루션들을 이용해 분석하는 형태와 유사하며, 다만 이러한 과정을 모두 사람이 아닌 거대언어모델이 수행하는 것이 커다란 차이점이다. 계획 RAG 기술은 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면, 다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다. 김민수 교수는 “지금까지 거대언어모델 기반으로 의사결정 문제를 푼 연구가 없었던 관계로, 기업 의사결정 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었다. 그리고 해당 벤치마크에서 GPT-4.0을 사용할 때 종래의 반복적 RAG에 비해 계획 RAG가 의사결정 정답률을 최대 32.5% 개선함을 보였다. 이를 통해 기업들이 복잡한 비즈니스 상황에서 최적의 의사결정을 사람이 아닌 거대언어모델을 이용하여 내리는데 적용되기를 기대한다”고 말했다. 이번 연구에는 김 교수의 제자인 이명화 박사과정과 안선호 석사과정이 공동 제1 저자로, 김 교수가 교신 저자로 참여했으며, 연구 결과는 자연어처리 분야 최고 학회(top conference)인 ‘NAACL’ 에 지난 6월 17일 발표됐다. (논문 제목: PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers) 한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.
2024.06.19
조회수 860
2.4배 가격 효율적인 챗GPT 핵심 AI반도체 개발
오픈AI가 출시한 챗GPT는 전 세계적으로 화두이며 이 기술이 가져올 변화에 모두 주목하고 있다. 이 기술은 거대 언어 모델을 기반으로 하고 있다. 거대 언어 모델은 기존 인공지능과는 달리 전례 없는 큰 규모의 인공지능 모델이다. 이를 운영하기 위해서는 수많은 고성능 GPU가 필요해, 천문학적인 컴퓨팅 비용이 든다는 문제점이 있다. 우리 대학 전기및전자공학부 김주영 교수 연구팀이 챗GPT에 핵심으로 사용되는 거대 언어 모델의 추론 연산을 효율적으로 가속하는 AI 반도체를 개발했다고 4일 밝혔다. 연구팀이 개발한 AI 반도체 ‘LPU(Latency Processing Unit)’는 거대 언어 모델의 추론 연산을 효율적으로 가속한다. 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행 가능한 연산 엔진을 갖춘 AI 반도체이며, 자체 네트워킹을 내장하여 다수개 가속기로 확장이 용이하다. 이 LPU 기반의 가속 어플라이언스 서버는 업계 최고의 고성능 GPU인 엔비디아 A100 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배가량 높였다. 이는 최근 급격하게 생성형 AI 서비스 수요가 증가하고 있는 데이터센터의에서 고성능 GPU를 대체할 수 있을 것으로 기대한다. 이번 연구는 김주영 교수의 창업기업인 ㈜하이퍼엑셀에서 수행했으며 미국시간 7월 12일 샌프란시스코에서 진행된 국제 반도체 설계 자동화 학회(Design Automation Conference, 이하 DAC)에서 공학 부문 최고 발표상(Engineering Best Presentation Award)을 수상하는 쾌거를 이뤘다. DAC은 국제 반도체 설계 분야의 대표 학회이며, 특히 전자 설계 자동화(Electronic Design Automation, EDA)와 반도체 설계자산(Semiconductor Intellectual Property, IP) 기술 관련하여 세계적인 반도체 설계 기술을 선보이는 학회다. DAC에는 인텔, 엔비디아, AMD, 구글, 마이크로소프트, 삼성, TSMC 등 세계적인 반도체 설계 기업이 참가하며, 하버드대학교, MIT, 스탠퍼드대학교 등 세계 최고의 대학도 많이 참가한다. 세계적인 반도체 기술들 사이에서 김 교수팀이 거대 언어 모델을 위한 AI 반도체 기술로 유일하게 수상한 것은 매우 의미가 크다. 이번 수상으로 거대 언어 모델의 추론에 필요한 막대한 비용을 획기적으로 절감할 수 있는 AI 반도체 솔루션으로 세계 무대에서 인정받은 것이다. 우리 대학 김주영 교수는 “미래 거대 인공지능 연산을 위한 새로운 프로세서 ‘LPU’로 글로벌 시장을 개척하고, 빅테크 기업들의 기술력보다 우위를 선점하겠다”라며 큰 포부를 밝혔다.
2023.08.04
조회수 3791
전산학부 오혜연 교수, RSS 2023 기조강연 진행
전산학부 오혜연 교수가 2023년 7월 11일 대구 엑스코에서 개최된 '2023 로봇공학, 과학 및 시스템 컨퍼런스(Robotics: Science and Systems, 이하 RSS 2023)' 초청을 받아 기조강연을 진행했다. 발표 제목은 "Toward Culturally Intelligent Language Models" 로 최근 많은 주목을 받고 있는 대형언어모델(Large Langue Models; LLM)이 문화적 지식 및 지능을 갖기 위해 어떤 연구를 해야 하는지에 대한 내용으로 강연을 진행했다. RSS 2023은 2005년부터 개최된 Robotics 분야의 저명 컨퍼런스로 이번 컨퍼런스는 아시아에서 처음 개최되었다. 이번 RSS 2023에는 전 세계의 AI와 로봇 분야 연구자들과 아마존 로보틱스, 토요타 연구소, 한화시스템 등 세계적 기업을 포함해 40개국에서 온 800여 명이 참여했으며 세계적인 석학 초청 기조 강연, 25개의 워크숍, 112개의 논문 발표, 포스터 세션으로 진행되었다.
2023.07.17
조회수 1918
<<
첫번째페이지
<
이전 페이지
1
>
다음 페이지
>>
마지막 페이지 1