MIT공대서 인공지능의 탄소발자국 감축 방법 발견

MIT공대서 인공지능의 탄소발자국 감축 방법 발견: 황원희 기자 | eco@ecomedia.co.kr | 입력 2020-04-25 21:33:40

[환경미디어= 황원희 기자] 인공지능은 윤리적 문제에 대해 초점을 잡고 있지만 일부 주요한 지속가능성 문제도 해결해내야 할 과제다.

지난해 6월 매세추세츠 대학 연구진은 특정 신경망 아키텍처의 훈련과 검색에 필요한 전력량이 약 283,948 킬로그램(약626,000 파운드)의 이산화탄소를 배출한다는 추정치를 담은 보고서를 발표했다. 이는 제조업을 포함해 미국 평균 자동차 배출량의 거의 5배에 달하는 양이다.

이 문제는 심층 신경망이 각각 다른 특성과 계산 자원을 가진 다양한 하드웨어 플랫폼에 배치되어야 하는 모델 배치 단계에서 더욱 심각해진다. MIT 연구진은 특정 신경망을 훈련하고 운영하기 위한 새로운 AI 시스템을 개발했다. 그 결과 시스템의 계산 효율을 몇 가지 주요 방법으로 향상시킴으로써 탄소 배출량을 줄일 수 있다는 것을 알 수 있었다.

일회성 네트워크라 불리는 연구진의 시스템은 다양한 하드웨어 플랫폼에 재교육 없이 맞춤화될 수 있는 각각 크기가 다른 미리 준비된 하위 네트워크로 구성된 하나의 큰 신경 네트워크를 훈련시킨다. 이는 수십억개의 사물인터넷 장치를 포함할 수 있어 각각의 특수 신경망을 훈련시키는 데 필요한 에너지를 크게 감소시킨다. 그들은 이 시스템을 사용해 컴퓨터 비전 모델을 훈련하면서 추론 시간을 1.5~2.6배 줄이는 한편, 오늘날의 첨단신경 구조 검색 접근 방식과 비교해 대략 1/1,300로 탄소 배출이 필요한 것으로 추정했다.

이 작업은 초당 2조개의 계산을 수행할 수 있는 IBM이 MIT에 기증한 효율적인 컴퓨팅 클러스터인 사토리(Satori)에서 수행됐다. 관련 논문은 가까운 시일 내에 국제학습대표회의에서 발표될 예정이다.

연구진은 수작업으로 네트워크 설계를 배제하는 AutoML(자동기계학습용)이라 불리는 최근 AI 진전에 따라 이 시스템을 구축했다. 예를 들어 신경망은 특정 하드웨어 플랫폼에 맞춘 네트워크 아키텍처를 위해 거대한 설계공간을 자동으로 검색한다. 하지만 여전히 교육 효율성의 문제가 있다. 각 모델을 선택한 후 플랫폼 구조를 위해 처음부터 훈련을 받아야 한다.

연구진은 모체 네트워크로부터 극히 드물게 활성화된 많은 수의 하위 네트워크를 중첩시켜 ‘모체’ 네트워크 역할을 하는 단 하나의 대규모 OFA(일회성) 네트워크만을 훈련시키는 AutoML 시스템을 발명했다. OFA는 학습된 모든 가중치를 모든 하위 네트워크와 공유하며, 기본적으로 사전 설정된 가중치를 의미한다. 따라서 각 하위 네트워크는 재교육 없이 추론 시간에 독립적으로 작동할 수 있다.

연구진은 영상처리 작업에 일반적으로 사용되는 OFA CNN(Convolutional Neural Network)을 계층 수와 뉴런, 다양한 필터크기, 다양한 입력 이미지 해상도를 포함한 다목적 아키텍처 구성으로 훈련했다. 특정 플랫폼이 주어진 경우, 시스템은 OFA를 검색 공간으로 사용해 플랫폼의 전력 및 속도 제한과 상관되는 정확도와 지연시간 트레이드오프를 기반으로 최고의 하위 네트워크를 찾는다. 예를 들어 IoT 장치의 경우, 시스템은 더 작은 하위 네트워크를 찾게 된다. 스마트폰의 경우 더욱 큰 서브네트워크를 선택하지만 개별 배터리 수명 및 계산 리소스에 따라 구조가 다르다. OFA는 모델 훈련과 아키텍처 검색을 분리하고, 일회성 훈련 비용을 추론 하드웨어 플랫폼과 리소스 제약에 걸쳐 분산시킨다.

이는 OFA 네트워크를 효율적으로 훈련시켜 모든 서브네트워크를 동시에 지원하는 ‘진행적 수축’ 알고리즘에 의존한다. 최대 크기의 전체 네트워크를 훈현하는 것으로 시작한 후에 네트워크의 크기를 점차 축소시켜 더 작은 하위 네트워크를 포함시킨다. 더 작은 하위 네트워크들은 함께 성장하기 위해 큰 하위 네트워크드르이 도움으로 훈련된다. 결국 크기가 다른 서브네트워크를 모두 지원해 플랫폼의 전력 및 속도 제한에 기반한 신속한 전문화가 가능하다. 새로운 기기를 추가할 때 훈련 비용이 전혀 들지 않는 많은 하드웨어 기기를 지원한다.

전체적으로는, 연구원들이 발견한 OFA 중 하나가 10조 이상의 규모로 구성될 수 있으며, 이는 1에 이어 19개의 제로(zeroes)가 되는 것으로, 지금까지 필요한 모든 플랫폼을 망라하고 있다. 그러나 OFA를 훈련시키고 그것을 검색하는 것은 플랫폼 당 각 신경망을 훈련시키는 데 몇 시간을 소비하는 것보다 훨씬 더 효율적이다. 또한 OFA는 정확성 면이나 추론 효율성 면에서 뒤지지 않는다. 대신 모바일 기기에서 최첨단 ImageNet 정확도를 제공한다. 그리고, 최첨단 업계 선두의 CNN 모델과 비교했을 때, OFA는 1.5배에서 2.6배의 속도 향상과 뛰어난 정확성을 제공한다.