마크 저커버그 CEO가 이끄는 메타 플랫폼스는 최근 1분기 실적 발표 중 상당한 재무 정보를 공개하며, 페이스북과 인스타그램 등 자체 플랫폼에서 광범위한 AI 기반 콘텐츠 추천 시스템을 구축하기 위한 기반을 마련했습니다. 마크 저커버그는 “현재 페이스북 피드의 약 30%의 게시물은…”이라고 말했습니다.

데이터와 저장 용량이 기하급수적으로 증가함에 따라 이러한 복잡성을 관리하려는 필요성은 더욱 어려워지고 있으며, 환경적 영향도 커지고 있습니다. 그럼에도 불구하고 AI의 요구를 충족하도록 설계되어 에너지 소비를 줄이기 위한 인프라 선택은 이러한 과제를 해결할 수 있는 조직을 준비시킵니다.

대규모 데이터의 기술적 측면과 관련하여, 대규모 데이터 도구와 기술은 상호 운용 가능하고 원활하게 통합된다는 점을 기억해야 합니다. 따라서 ‘콜드 데이터’라는 용어는 더 이상 존재하지 않습니다. 그러나 더 낙관적으로 보면, 데이터 과학의 수요에 따라 즉시 접근 가능한 ‘웜 데이터’를 이야기하는 것입니다.

컨테이너화를 통한 데이터 과학자 역량 강화

플래시 스토리지는 AI 운영이 성공하기 위해 필요한 가용성을 보장하는 유일한 솔루션으로 자리 잡을 것입니다. 이는 AI 모델을 데이터에 연결하려면 유사하지 않은 서버 전반에 걸쳐 데이터에 대한 즉각적인 가용성과 빠른 접근을 보장하는 스토리지 솔루션을 채택해야 하기 때문입니다. 일반적으로 HDD 스토리지 솔루션을 사용하면 이 작업은 매우 번거롭습니다.

과학 기반 지속 가능성 목표에 서명하는 기업 수가 증가하는 것은 저장으로 인한 환경적 영향을 재고하도록 강요하는 주요 동인 중 하나입니다. 현재 데이터 소유자가 직면한 새로운 문제는 저장 공간을 많이 차지하는 AI이며, 이는 전력 효율적인 기술로 해결되고 있습니다. 이러한 기술의 구현은 이러한 문제를 다루는 데 도움이 됩니다. 

많은 조직 전반에 걸쳐 필수적인 것은 상류부터 하류까지의 모든 환경 비용을 포함하는 범위 3 배출량을 모니터링하고 보고하는 것입니다. AI 개발은 저장 시스템의 부하를 증가시키는 상당한 데이터 유입과 관련이 있습니다. 공간 생성 문제를 해결하면서 전력 및 냉각 요구 사항에 대한 솔루션을 제공할 수 있는 벤더와 협력하는 것이 이러한 과제에 대처하는 가장 좋은 방법입니다.

AI 데이터 여정

데이터 과학자들은 종종 대부분의 시간을 데이터 전처리 및 탐색에 할애합니다. 이제 그들은 필요할 때 언제든지 효율적으로 작업을 수행하기 위해 모든 장비, 자료 및 워크스테이션이 필요합니다. 

Python과 Jupyter Notebooks는 데이터 과학자들의 일상적인 언어와 도구가 되었으며, 모든 데이터 수집, 처리 및 시각화에는 하나의 공통점이 있습니다. 즉, 모두 컨테이너라고 불리는 것 안에 들어맞는 도구라는 점입니다. 실제로 목표를 달성하기 위해서는 별도의 도구에 작업을 분산할 필요 없이 모든 작업을 수행하고 싶은 구현 단계에서 사람들을 지원할 플랫폼이 등장해야 합니다.

451 Research에 따르면 현재 모바일 응용 프로그램의 약 95%가 컨테이너를 사용하여 구축되고 있으며, 백엔드를 신속하고 효율적으로 제공하는 이러한 제공 기능을 데이터 과학자가 갖추는 것이 중요해졌습니다. 그러나 관리자가 이를 수행하지 않으면 이러한 프로세스가 느려질 수 있습니다. 경우에 따라 디지털 변환은 실패한 프로세스로 간주될 수 있습니다. 잘 알려진 바와 같이 이는 비즈니스의 모든 측면을 포괄하므로 데이터 과학 분야의 문제는 비즈니스의 다른 측면에도 영향을 미칩니다.

IT 부서의 주요 문제 중 하나는 AI의 시장 진화 속도가 비현실적으로 빠르다는 점으로, 이는 학습 기업 작업 주기를 폐기하도록 강요합니다. 새로운 AI 모델, 프레임워크, 도구 및 방법이 정기적으로 등장하며, 이는 AI의 내부 소프트웨어 및 하드웨어 엔진에 막대한 영향을 미칠 수 있으며, 막대한 기술 비용이 발생할 가능성도 있습니다.

AI 데이터 여정은 데이터 증폭의 상당한 여정으로, 데이터 수명 주기 중 하나의 단계입니다. AI 경로로 나아가는 모든 단계에서 메타데이터가 생성됩니다. 이를 달성하기 위해서는 AI 개발 속도에 대처하기 위해 많은 새로운 인프라를 추가해야 합니다.