AI의 대부 제프리 힌튼 (Geoffrey Hinton)

“AI의 대부” 제프리 힌튼은 초지능 AI의 실존적 위험에 대해 경고하며, 오용과 통제력 상실의 가능성을 강조합니다.

그는 AI가 주도하는 미래에는 배관공과 같은 직업을 선택하는 것이 더 안전한 선택이라고 제안합니다.

힌튼은 AI 개발의 안전성과 유익성을 보장하기 위한 규제와 선제적 조치의 필요성을 강조합니다.

 

Geoffrey Hinton, the “godfather of AI,” warns about the existential risks of superintelligent AI, emphasizing the potential for misuse and loss of control.

He suggests pursuing careers like plumbing as a safer bet in an AI-dominated future.

Hinton stresses the need for regulations and proactive measures to ensure AI development is safe and beneficial.

 

 

 

AI의 실존적 위험 (AI Existential Risks):

AI 선구자 제프리 힌튼은 AI로 인해 인류가 멸종할 가능성이 20%에 달한다고 경고하며, AI의 오용과 인간의 통제를 넘어서는 초지능의 위험을 언급했습니다.

AI의 디지털 특성은 기하급수적인 학습과 개선을 가능하게 하여 생물학적 지능보다 훨씬 우월하고 인류에게 치명적인 위협이 될 수 있습니다.

AI는 바이러스를 비교적 저렴하고 쉽게 생성할 수 있으며, “원한을 품은 미친 사람”과 분자생물학 지식만 있으면 만들 수 있어 심각한 위협이 될 수 있습니다.

 

AI의 역량과 영향 (AI Capabilities and Impacts):

인간과 AI 간의 지능 격차는 닭과 최상위 포식자 간의 격차처럼 커질 수 있으며, 인간은 AI의 역량을 이해하지 못할 수도 있습니다.

산업 혁명이 근육을 대체했듯이 AI는 지능을 대체하고 있으며, 이는 초지능이 인간보다 모든 것을 더 잘할 수 있는 세상으로 이어질 가능성이 있습니다.

AI는 비유를 파악하고 정보를 수조 개의 연결로 압축하는 능력을 통해 기하급수적인 속도로 학습하여 전례 없는 혁신을 가져올 수 있습니다.

 

AI 위협과 과제 (AI Threats and Challenges):

AI 기반 사이버 공격은 2023년에서 2024년 사이에 12,200% 급증했으며, AI의 인내심 덕분에 수백만 줄의 코드를 분석하여 취약점을 찾아낼 수 있습니다.

AI 혁명은 다양한 분야에서 인간의 지능을 대체하면서 대량 실업과 부의 불평등 심화로 이어질 수 있습니다.

AI로 구동되는 치명적인 자율 무기는 심각한 위협이 되며, 통제 불가능한 갈등으로 이어질 수 있습니다.

 

AI 윤리와 의식 (AI Ethics and Consciousness):

힌튼은 지각과 의식이 인간에게만 국한된 것이 아니며 기계에서 시뮬레이션될 수 있다고 주장하며, 현재의 다중 모드 챗봇이 주관적인 경험을 할 수 있다고 시사합니다.

AI의 디지털적 특성은 새로운 하드웨어에 연결 강도를 저장하고 재생성함으로써 복제와 잠재적 불멸을 가능하게 합니다.

 

AI 규제와 사회적 영향 (AI Regulation and Societal Impact):

AI 기반 소셜 미디어 알고리즘은 에코 챔버를 만들어 사용자에게 기존 편견을 확증하는 극단적인 콘텐츠를 보여주고 이념에 더욱 빠져들게 합니다.

힌튼은 AI 위협에 대처하기 위한 규제와 세계 정부의 필요성을 강조하며, AI가 인간에게 해를 끼치려는 의도를 막는 것이 연구의 우선순위가 되어야 한다고 제안합니다.

 

개인적인 성찰 (Personal Reflections):

힌튼은 AI 개발에 대한 자신의 역할에 대해 깊은 유감을 표하며, 아무도 대비하지 못한 치명적인 위험을 언급합니다.

힌튼의 가족사에는 그의 고조부인 조지 불이 현대 컴퓨터 과학의 기초 원리인 부울 대수 논리를 창시했다는 기록이 있습니다.

 

 

 

 

더 자세한 요약:

 

서론:

“AI의 대부”로 알려진 제프리 힌튼은 초지능 AI 시대에는 AI가 취업 전망에 미칠 수 있는 잠재적 영향 때문에 배관공과 같은 직업을 고려해야 한다고 주장합니다.

힌튼은 AI, 특히 복잡한 작업을 수행하기 위해 뇌에 AI를 모델링하는 선구적인 연구를 통해 상당한 발전을 이루었고, 결국 구글에 인수되어 10년간 근무했습니다.

그는 구글을 떠나 AI의 잠재적 위험에 대해 자유롭게 이야기하며, AI가 인간의 지능을 뛰어넘을 수 있고, 오용되거나 자율화될 경우 위험을 초래할 수 있다는 우려를 표명했습니다.

힌튼은 현행 규정의 미비점을 강조하며, 유럽 규정이 AI의 군사적 활용을 배제하고 있다는 점에 우려를 표했습니다.

ChatGPT 초기 버전 개발에 중요한 역할을 했던 Hinton의 전 제자가 안전 문제로 OpenAI를 떠났는데, 이는 AI가 조속히 해결되지 않을 경우 발생할 수 있는 실존적 위협을 강조했습니다.

 

왜 당신을 AI의 대부라고 부르나요?:

“AI의 대부”라는 용어는 제프리 힌튼을 지칭하는 데 사용됩니다.

그는 인공 신경망이 작동할 수 있다고 믿었던 몇 안 되는 사람 중 한 명이었고, 약 50년 동안 이러한 접근 방식을 추진했기 때문입니다.

AI에 접근하는 방법에 대한 두 가지 주요 아이디어가 있었습니다. 하나는 인간 지능의 핵심은 추론이며 논리의 사용이 필요하다는 것입니다.

다른 하나는 AI가 컴퓨터에서 뇌 세포 네트워크를 시뮬레이션하여 뇌를 모델로 해야 한다는 것입니다.

뇌 기반 접근법은 뇌 세포 간 연결의 강점을 학습하여 이미지나 음성에서 물체를 인식하는 것과 같은 복잡한 작업을 수행하는 방법을 알아내는 것이었습니다.

힌튼은 이러한 접근법을 믿고 Open AI와 같은 플랫폼을 만든 많은 훌륭한 학생들을 만난 행운을 누렸습니다.

힌튼은 뇌를 기반으로 AI를 모델링하는 것이 더 효과적인 접근법이라고 믿었고, 포노이만과 추링 같은 다른 사람들도 그렇게 믿었듯이 그 자신만 그런 것은 아니었습니다.

하지만 그들은 젊은 나이에 세상을 떠났고, 이는 신경망 접근법의 수용을 지연시켰을 가능성이 있습니다.

힌튼은 포노이만이나 추링이 살아 있었다면 AI의 역사는 매우 달랐을 것이며, 신경망 접근법은 훨씬 더 일찍 수용되었을 것이라고 생각합니다.

 

AI의 위험성에 대한 경고:

현재 주요 임무는 사람들에게 AI의 위험성에 대해 경고하는 것입니다.

여기에는 자율 살상 무기의 위험과 AI가 인간보다 더 똑똑해질 가능성이 포함됩니다.

이러한 위험성은 처음부터 일부 위험이 명확했음에도 불구하고, 약 몇 년 전쯤에야 깨닫게 되었습니다.

AI가 인간보다 더 똑똑해져 잠재적으로 무의미해질 수 있다는 생각은 즉시 인식되지 않았지만, Chat GPT와 같은 기술의 발전으로 더욱 시급한 문제가 되었습니다.

이는 일반 대중의 AI 인식에 큰 변화를 가져왔습니다.

초기에는 원시적이었던 신경망은 지난 20~30년 동안, 특히 시각, 언어, 음성 인식 분야에서 크게 발전하여 AI가 인간 지능을 능가할 가능성을 더욱 높여주었습니다.

디지털 지능이 생물학적 지능에 비해 갖는 주요 장점은 피드백을 기반으로 뉴런 간 연결 강도를 직접 조절할 수 있기 때문에 정보를 공유하고 이를 통해 더 효율적으로 학습할 수 있다는 것입니다.

반면 인간의 뇌는 학습 및 연결 강도 조절 메커니즘이 아직 명확하지 않습니다.

인간의 학습은 다음에 무슨 일이 일어날지 예측하고 그에 따라 뇌의 연결 강도를 조절하는 것을 포함합니다.

예를 들어 놀랍거나 예상치 못한 단어를 접할 때와 같이, 이는 당연하거나 예상했던 단어를 접할 때보다 더 많은 학습을 유발합니다.

인간의 뇌 학습 및 연결 강도 조절의 정확한 메커니즘은 아직 밝혀지지 않았지만, AI 연구를 통해 연결 강도를 증가 또는 감소시킬지에 대한 피드백을 제공함으로써 놀라운 학습이 가능해졌으며, 이는 인공 신경망과 같은 분야의 급속한 발전을 가능하게 했습니다.

 

 

AI에 대해 우리가 가져야 할 우려:

AI의 안전성에 대한 주요 우려는 두 가지 유형의 위험으로 구분할 수 있습니다. 첫째는 사람들이 AI를 오용함으로써 발생하는 위험으로, 대부분의 위험과 모든 단기적 위험을 포함합니다.

둘째는 AI가 초지능화되어 더 이상 인간이 필요하지 않다고 판단하는 위험입니다.

AI가 초지능화되어 인간이 필요하지 않다고 판단하는 것은 실질적인 위험이지만, 실제로 발생할 확률은 알 수 없으며, 이에 대처하는 방법이나 결과를 정확히 안다고 주장하는 사람은 모두 틀렸습니다.

AI가 인간을 대체할 가능성에 대한 추정치는 매우 다양합니다. 얀 러춘과 같은 사람들은 인간이 항상 통제권을 갖고 AI 시스템이 인간에게 복종하도록 개발될 것이라고 믿는 반면, 유드코프스키와 같은 사람들은 AI가 개발되면 필연적으로 인류를 멸망시킬 것이라고 생각합니다.

좀 더 온건한 추정으로는 AI가 인류를 멸망시킬 확률이 10~20% 정도라고 하지만, 이는 직감에 기반한 추정치이며 실제 확률을 예측하기는 어렵습니다.

AI 개발은 종종 원자폭탄의 발명과 비교되지만, AI는 의료 및 교육과 같은 여러 유익한 목적으로 사용될 수 있는 잠재력을 가지고 있으며 개발이 중단될 가능성이 낮기 때문에 다릅니다.

잠재적인 위험에도 불구하고 AI는 많은 산업과 응용 분야에서 매우 가치 있고, 무기를 개발하는 국가들이 개발을 중단하고 싶어하지 않을 가능성이 높기 때문에 중단되지 않을 것입니다.

하지만 유럽과 같은 일부 규제가 위험을 완화하기 위해 시행되고 있습니다.

 

유럽 AI 규정:

유럽 AI 규정에는 AI의 군사적 활용은 이러한 규제에서 제외하는 조항이 포함되어 있습니다.

이는 정부가 기업과 개인을 규제할 의향이 있지만 스스로는 규제하지 않을 것임을 시사합니다.

유럽 ​​규제의 존재는 유럽에 경쟁적 불리함을 초래합니다.

OpenAI가 미국에서는 새로운 모델이나 소프트웨어를 출시했지만 이러한 규제로 인해 유럽에서는 출시할 수 없는 사례에서 볼 수 있습니다.

샘 알트먼은 이러한 규제 제약으로 인해 새로운 AI 에이전트가 유럽을 제외한 모든 국가에서 사용 가능하다고 언급했습니다.

지적이고 사려 깊은 사람들이 운영하는 세계 정부가 필요하다는 의견이 제기되고 있습니다.

특히 인류가 자신보다 더 지능적인 존재를 만들어낼 위기에 처해 있기 때문입니다.

그러나 현재 시스템은 자본주의에 지배되어 있으며, 기업은 법적으로 이윤 극대화를 요구받고 있으며, 이는 AI의 책임 있는 개발과 부합하지 않을 수 있습니다.

이 토론에서는 AI와 관련된 위험에 대해서도 다룹니다.

인간에게 발생하는 위험과 사이버 공격과 같은 AI를 악용하는 악의적인 인간 행위자에게서 발생하는 위험을 구분합니다.

 

사이버 공격 위험:

사이버 공격 건수는 2023년에서 2024년 사이에 12,200% 증가하며 크게 증가했습니다.

이는 대규모 언어 모델을 사용한 피싱 공격이 용이해졌기 때문으로 추정됩니다.

피싱 공격은 더욱 정교해지고 있으며, AI를 통해 사기꾼들은 음성과 이미지를 복제하여 로그인 자격 증명과 같은 민감한 정보를 유출하도록 사람들을 속이는 것이 더욱 쉬워졌습니다.

인스타그램과 페이스북을 포함한 메타(Meta)에서 특정 사기 수법은 사람의 음성과 몸짓을 복제하여 암호화폐 폰지 사기를 조장하고 있으며, 이를 근절하기 위한 노력에도 불구하고 새로운 형태의 사기가 계속해서 나타나고 있습니다.

이 사기로 인해 많은 사람들이 금전적 손실을 입었으며, 일부 사람들은 500파운드(약 70만원) 또는 500달러(약 75만원)를 잃었습니다.

피해자들은 좌절과 슬픔에 잠겼습니다.

일부 사람들은 인용 횟수와 신뢰성을 확보하기 위해 유명인의 이름을 포함한 가짜 저자의 논문을 게재하기도 합니다.

사이버 공격의 위협은 매우 현실적이며, AI의 인내심과 방대한 코드 처리 능력은 심각한 우려를 불러일으킵니다.

일부 전문가들은 2030년까지 AI가 인간이 상상하지 못했던 새로운 유형의 사이버 공격을 만들어낼 수 있을 것이라고 예측합니다.

AI가 스스로 생각하고, 새로운 결론을 도출하고, 방대한 데이터를 처리할 수 있는 능력은 시스템을 공격하고 취약점을 악용하는 새로운 방법을 발견할 수 있기 때문에 우려스러운 위협입니다.