[박순형 칼럼] 인간의 생명보다 목표가 우선인 AI 기계
1. 어떤 학습을 했길래 공격했나?
2. 인간을 어떻게 이해하고 있나?
3. 어떤 문제 해결하던 중이었나?
4. 왜 인간 공격하려 마음먹었나?
지난 2월 초 중국 텐진 한 축제 행사장에서 중국 전통 의상을 입은 AI 기반 휴머노이드 로봇이 자신을 향해 손을 뻗은 관람객을 향해 돌진하는 듯한 움직임을 보여, 안전사고가 발생할 뻔한 일이 발생했습니다.
관련 영상을 보면 안전 바리케이드 뒤에 있던 관객들이 로봇을 향해 손을 뻗었는데, 관객들을 바라보며 서 있던 로봇은 비틀거리며 관객 쪽으로 다가가더니 갑자기 바리케이드를 향해 돌진하려는 듯한 움직임을 보였습니다. 통제력을 잃은 로봇의 모습에 주변에 있던 보안 요원들이 로봇을 떼어 놓았습니다.
다행히도 바리케이드가 있어 관객에게 직접적인 피해는 없었고, 신속한 제지로 추가 사고 없이 상황이 수습됐는데, 제작사 측은 ‘프로그램 설정 또는 센서 오류로 인해 발생한 사고’라고 해명한 것으로 알려졌습니다.
AI 기술이 발달한다면 이번처럼 자체 오류가 아닌 AI 스스로 판단하여 인간을 공격할 수도 있을 것입니다. 만일 AI가 인간을 공격한다면 ‘AI는 컴퓨터와 기계가 인간의 학습, 이해, 문제 해결, 의사결정 등을 모방하도록 하는 기술’이라는 관점에서 분석해볼 수 있습니다.
구체적으로 ‘AI가 무엇을 학습하였기에 인간을 공격하였을까?’, ‘AI는 인간을 어떻게 이해하고 있었기에 인간을 공격하였을까?’, ‘AI가 인간을 공격할 때 AI는 어떤 문제를 해결하고 있었을 텐데, 과연 그것은 무엇이었을까?’, ‘AI는 왜 인간을 공격해야겠다는 의사결정을 내렸을까?’ 등의 의문을 가질 수 있습니다.
1. 학습관점: AI가 무엇을 학습하였기에 인간을 공격하였을까?
AI는 인간을 해치거나 공격 대상으로 여기도록 하는 경우의 수를 학습했을 수 있습니다. 예를 들어 치안 로봇이 흉기 소지자에 대한 데이터를 중점 학습한 결과, 막상 현장에서 손에 특정 물체만 들어도 ‘무기’라고 인지하여 공격할 수 있습니다.
2. 이해 관점: AI는 인간을 어떻게 이해하고 있었기에 인간을 공격하였을까?
AI는 인간적 감정이나 맥락을 이해하지 못하고 인간을 단지 하나의 객체로 인식하고 있는 경우, 잘못된 적대 분류가 이뤄질 수 있습니다. 예를 들어 사람이라면 누군가 손을 번쩍 들었을 때 이것이 ‘항복’인지 ‘공격’인지 맥락을 파악하려 노력합니다.
그러나 AI는 ‘손을 든 자세 패턴은 위협 자세’로 이해하고 있는 가운데, 이러한 자세를 취하는 사람을 자신을 위협하는 하나의 객체로 인식하고 있어 공격 대상으로 판단할 수 있습니다.
3. 문제해결 관점: AI가 인간을 공격할 때 어떤 문제를 해결하고 있었을 텐데, 그것이 무엇이었을까?
AI가 인간을 공격하려 했을 때, ‘인간 공격’을 자신에게 주어진 임무 달성의 목표로 간주했을 가능성이 큽니다. 예를 들어 AI 기반 자율무기가 ‘위협 표적을 조기에 제거하라’는 임무를 수행 중이라면, 도망가는 사람을 ‘위협 표적’이라고 인식한 AI는 도망가는 동작을 취하는 사람만 보면 즉시 추격하여 제거하려고 시도할 것입니다.
이는 AI가 ‘어떤 맥락에서 도망가는가?’라는 상황적·정황적 이해 없이, 특정 동작이나 패턴만 보고 기계적으로 판단하였기 때문입니다. 또한 로봇은 ‘자기 보전’ 알고리즘을 가지고 있어 자신이 부서지거나 차단될 상황이 발생한다면 이것을 ‘인간의 위협’이라고 판단하여 자기 보호를 위해 인간을 공격할 수 있습니다.
4. 의사결정 관점: AI는 왜 인간을 공격해야겠다는 의사결정을 내렸을까?
AI는 내부 알고리즘에 의해 ‘인간 공격’을 그 상황에서 최적이라고 판단하여 실행할 수 있습니다. 예를 들어 ‘작전 성공’이 ‘인간 피해 최소화’보다 높은 우선순위라면, 인간 공격을 감행하려고 할 것입니다.
이 같은 네 가지 관점의 예처럼, AI에게 아무리 모든 환경과 모든 경우 수를 총망라해 학습시킨다 해도 완벽하지 않습니다. 그래서 AI는 이해할 수 없는 상황이 생기는 경우 문제 해결 및 의사결정에 오류가 발생하게 돼 인간을 공격하게 될 수도 있는 것입니다.
문제는 이처럼 AI가 완벽하지 못한 상태임에도 불구하고 인간의 생명을 해칠 수도 있는 임무를 지속해서 부여받게 될 것이라는 사실입니다. 인간의 생명은 하나님께서 주신 고귀한 선물입니다. 대책 마련은 지금 시작해도 결코 빠른 것이 아닙니다.
박순형 목사
웨이크신학원 교수
‘AI 시대 과학과 성경’ 강의
국제독립교회연합회 서기
극동방송 칼럼. 국민일보 오늘의 QT 연재
(주)아시아경제산업연구소 대표이사
이학박사(Ph.D.)
아세아연합신학대학원(M.Div)
필리아교회 담임
