정보에 대한 신뢰가 점점 줄어들고 있는 세상에서 블록체인이 검증 가능한 데이터에 대한 구원의 손길이 될 수 있다

가짜 뉴스, 대체 사실, 검증되지 않은 출처, 그리고 단순한 거짓말이 난무하는 현재 환경에서는 출판된 내용을 신뢰하기가 매우 어려울 수 있습니다. 그러나 이 문제는 정치적 뉴스나 과장된 이야기 너머로 훨씬 더 넓게 확장됩니다. 우리는 과거 어느 때보다 많은 데이터를 보유하고 있고, 과거 어느 때보다 데이터에 의존하고 있지만, 그 데이터를 검증할 수 있는 능력은 한계를 훨씬 넘어섰습니다.  

데이터의 약속과 문제점

특히 AI 산업은 데이터에 대한 우리의 욕구를 크게 증가시켰습니다. 우리는 항상 데이터에 대한 통계 분석을 통해 특정 통찰력을 얻을 수 있었지만, AI는 올바른 데이터로 알고리즘을 훈련할 수만 있다면 마치 무한한 힘을 가진 것처럼 느끼게 해줍니다. 적절한 데이터 학습 세트를 제공하면 AI 알고리즘은 사진 기반 제품 식별과 같이 서로 다른 데이터 범주를 분류할 수 있습니다. 또한 인간이 찾아내기 불가능한 것들을 예측하는 데 데이터를 사용할 수 있습니다: 은행 계좌의 사기 행태 예측, 패키지 도착 예상 시간 예측, 그리고 자율주행 차량과 다른 차량의 충돌 가능성 예측 등입니다. AI는 데이터에 기반하여 문제를 최적화할 수 있습니다. 예를 들어 공장을 효율화하거나, 일정 제약 조건에 따라 모든 약속을 맞추며, 로봇의 움직임을 매끄럽게 만드는 것입니다. ChatGPT 및 유사한 모델에서 볼 수 있는 대규모 언어 모델과 같은 충분한 데이터를 갖춘 AI 알고리즘은 놀라울 정도로 높은 정확도로 광범위한 질문에 답할 수 있습니다. 불과 몇 년 만에 우리는 여전히 그 능력(및 한계)을 발견하고 있기 때문에 AI에 완전히 의존하게 되었습니다.

알다시피, 여기서의 공통 분모는 data입니다. 그러나 문제는 단순히 데이터를 가지고 있는 것만으로는 적절한 AI 알고리즘을 구축하기에 충분하지 않다는 것입니다. 효과적인 AI 모델을 만드는 것은 겉보기보다 훨씬 더 복잡하고 어렵습니다. 올바른 알고리즘을 선택하고, 올바른 노브와 레버(하이퍼파라미터라고 함)를 조정하며, 모델이 의도한 대로 작동하도록 훈련/테스트하기 위해서는 많은 전문 지식이 필요합니다. 이를 작동시키기 위해 개발자는 사용할 올바른 유형의 데이터를 생성하거나 수집하고, 필요한 곳에 레이블을 붙이며, 그것이 정확함을 검증해야 합니다. 필요한 데이터의 양은 다양하지만, 모델이 복잡한 결정을 내리거나, 여러 다른 카테고리 중 선택하거나, 매우 작은 변화(예: 제품의 미세한 결함 찾기)를 식별해야 하는 경우 특히 클 수 있습니다.

사실, 올바른 AI 알고리즘을 생성하는 능력은 점점 쉬워지고 있는 반면, 우리가 해결하려는 문제가 더 복잡해지고, 필요한 데이터가 크고 복잡해지거나, 데이터는 있지만 그 유효성이 의심스러운 경우 모델을 훈련할 올바른 데이터(또는 생성)를 찾는 것이 점점 더 어려워지고 있습니다. 이러한 수조 수조의 데이터 포인트를 수집하고 검증하려면 어떻게 해야 할까요? 이 문제를 살펴보고 Synesis One과 같은 플랫폼이 탈중앙화를 사용하여 대규모 인력을 동원하는 데 상당한 기대감을 보이고 있는 이유를 탐구해 보겠습니다.

데이터 수집 산업 

AI 모델에 필요한 데이터를 적절히 수집하려면 먼저 해결하려는 문제를 이해해야 합니다. 이 산업의 한쪽에는 해결해야 할 문제가 있는 기업, 조직, 심지어 개인이 있습니다. 올바른 데이터를 찾거나 생성하려면, 데이터 전문가가 어떤 유형의 데이터, 어떤 유형의 라벨링 또는 검증, 그리고 얼마나 많은 양이 필요한지 이해할 수 있을 만큼 충분히 상세하게 해결하려는 문제를 명확히 표현해야 합니다. 이상적으로는 이러한 주체가 자신의 문제와 필요한 데이터 유형을 공개해야 합니다. 만약 이것이 보고서나 분석과 같은 것이라면, 잘 확립된 긱 경제(gig economy)를 활용하여 해당 작업에 적합한 사람을 찾을 수 있습니다. 그러나 AI에 필요한 데이터셋의 경우, 이는 종종 한 사람이 처리하기에는 훨씬 더 큰 작업입니다. 하지만 개별 요소는 일반적으로 어렵지 않으며, 대부분의 경우 훈련이 필요하지 않고 단일 데이터 포인트의 단위로 분해될 수 있습니다. 이는 작업을 여러 사람에게 분산하기에 이상적입니다. 많은 사람들이 각각 신뢰할 수 있는 방식으로 소량의 데이터 포인트를 수집하거나 생성하고, 필요한 경우 기본 지침을 사용하여 데이터를 라벨링한다면, 문제를 해결하려는 주체는 시작하는 데 필요한 모든 것을 갖추게 됩니다.

작동 중인 탈중앙화

여기서 블록체인, 특히 탈중앙화가 완벽하게 들어맞습니다. 위에서 언급했듯이, Synesis One 및 기타 부상하는 Web3 기업들은 데이터 생성, 수집 및 검증의 전체 산업을 구축하고 있습니다. 블록체인은 스마트 계약을 통해 프로세스를 자동화할 수 있고, 참여자가 전 세계 어디에나 있을 수 있어(문제를 해결하는 사람들의 확률을 높이며), 국경이 거의 없는 형태의 암호화폐로 지불할 수 있기 때문에 완벽합니다. 그 결과? 기본 지침을 따르는 많은 사람들이 올바른 데이터를 생성하거나 찾고, 검증하며, 필요시 동료 검토를 수행하여(모든 사람이 올바르게 작업하고 있는지 확인하기 위해), 사용하기 준비가 된 데이터셋으로 패키징합니다.  

이 개념은 비교적 기본적으로 보일 수 있지만, AI 커뮤니티에게는 실제로 혁명적입니다. 데이터 제한은 전 세계 AI 개발자들의 오랜 저주였으며, 개발자들은 종종 이러한 데이터셋을 직접 구축하지 못했고, 작업을 완료하기 위해 사람을 직접 고용할 자원이 없었습니다. 탈중앙화와 같은 초고효율 시스템을 통해서만 각자가 소량을 기여하고, 그들의 노력에 대해 보상을 받으며, 결국 사용 가능한 데이터가 되는 더미에 모두 기여할 수 있는 많은 사람들을 모집할 수 있습니다.  

기술 분야 종사자를 포함한 일반 대중은 AI 모델이 현재처럼 잘 작동하기 위해 데이터 측면에서 얼마나 많은 인간의 노동과 입력이 필요한지 이해하지 못합니다. @Lempheter는 이 스레드에서 일부 병목 현상을 훌륭하게 설명하고 있습니다… https://t.co/FFO3sAO3fr

— Synesis One (@synesis_one) 5월 2, 2024

다음 단계는?

AI 진보의 주요 병목 현상 중 하나가 해결될 가능성이 생기면서, 탈중앙화된 데이터 시장은 일상생활에서 AI의 가속화를 촉진할 뿐만 아니라 소규모 기업과 개인에게도 사용 가능하고 맞춤화된 AI를 더 쉽게 접근 가능하게 만들 것입니다. 우리는 이 산업이 향후 몇 년 내에 확장될 뿐만 아니라 폭발적으로 성장할 것을 분명히 보게 될 것이며, 이는 Web3에서 DeFi, NFT 또는 대중이 '블록체인'이라는 용어를 들을 때 생각하는 모든 '과장된' 용도와 완전히 별개의 주요 사용 사례를 제공할 것입니다. 운이 좋다면, 그들은 블록체인을 AI 산업이 필요로 하는 주요 부스트로 생각하기 시작할지도 모릅니다.