“AI가 우리를 죽일 수도 있다”는 경고 이후:
누가 미래를 결정하는가
슈퍼AI·재귀적 자기개선·신경기술로 읽는 AI 공존사회와 시민권
전 앤트로픽(Anthropic) 연구자 제이콥 콕슨(Jacob Coxon)은 AI가 10년 안에 인류에게 치명적 위험이 될 수 있다는 취지의 경고를 남겼고, 그 뒤 AI 기업 내부 연구자들과 대표들의 속도조절 논쟁이 이어졌습니다.
이 경고를 그대로 공포로 받아들이자는 뜻은 아닙니다. 우리가 주목할 것은 가장 가까이에서 AI를 만드는 사람들조차 통제의 어려움을 말하기 시작했다는 사실입니다.
이제 질문은 “AI가 얼마나 강한가”가 아니라, 강력한 AI가 우리의 삶에 들어올 때 그 방향과 기준을 누가 정할 것인가입니다.
경고의 문장 뒤에서 보아야 할 것
“AI가 우리를 죽일 수도 있다”는 말은 강하고 불편합니다. 그러나 이번 호는 이 문장을 자극적인 예언으로 소비하지 않습니다. 더 중요한 것은 그런 말이 왜 AI 개발 현장 안에서 나왔는가입니다.
제이콥 콕슨의 경고, 앤트로픽 대표 다리오 아모데이(Dario Amodei)의 속도조절 제안, 여러 AI 연구자들의 우려는 하나의 흐름을 보여줍니다. 고도 AI는 이제 기업의 신제품 경쟁을 넘어, 사회 전체의 안전과 공공성, 노동과 교육, 소비자 권리와 민주주의의 문제가 되었습니다.
이 경고는 AI를 막자는 결론으로 곧장 가기 위한 문장이 아닙니다. 시민사회가 물어야 할 것은 AI가 공공을 위해 쓰이려면 어떤 조건이 필요한가, 어떤 권한은 AI에게 넘겨서는 안 되는가, 누가 검증하고 누가 멈춤을 요구할 수 있는가입니다.
이번 호를 읽는 데 필요한 네 가지 개념
범용인공지능(AGI)과 슈퍼AI
범용인공지능(AGI)은 특정 과제만 잘하는 AI를 넘어 여러 영역에서 배우고 추론하고 문제를 해결하는 AI를 가리킵니다. “슈퍼AI”는 엄밀한 법률용어라기보다, 사람 전문가 수준을 넘는 지식 생산과 실행 능력을 갖추기 시작한 고도 AI를 시민의 언어로 부르는 표현입니다.
아스트라(Astra)
오픈AI(OpenAI)가 공개한 GPT-6 계열의 고도 AI 모델입니다. 이번 호에서는 아스트라를 하나의 신제품이 아니라, 고도 AI가 컴퓨터 사용, 코딩, 전문 업무, 사이버보안, 과학 문제 해결 능력을 결합하는 흐름을 보여주는 사례로 읽습니다.
재귀적 자기개선(RSI) Recursive Self-Improvement
AI가 AI 개발 과정의 일부를 맡고, 그 결과 더 강한 AI가 다시 더 강한 AI 개발을 돕는 순환을 말합니다. 인간처럼 자기인식을 갖는다는 뜻은 아닙니다. 그러나 AI가 자기점검, 코드수정, 실험 반복, 후속 모델 개발 지원을 수행한다면 인간의 검토와 제도가 따라가기 어려워질 수 있습니다.
신경기술·신경데이터·정신상태 추론 정보
신경기술은 뇌와 신경계의 활동을 측정·분석·조절하는 기술이고, 신경데이터는 그 과정에서 얻는 데이터입니다. 여기에 AI가 표정, 음성, 행동, 생체정보, 디지털 흔적을 결합해 감정·집중·피로·취약성 등을 추론하면 “정신상태 추론 정보”가 됩니다. 제목의 “인간 내면의 데이터”는 이 둘을 함께 가리키는 쉬운 표현입니다.
네 가지 장면으로 읽는 8호
장면 하나
아스트라 공개: 지식 생산과 실행 권한이 결합되었습니다
오픈AI는 GPT-6 아스트라가 컴퓨터 사용, 웹 탐색, 소프트웨어 개발, 사이버보안, 과학과 전문 업무에서 높은 성능을 보였다고 설명했습니다. 시민사회가 볼 지점은 “더 똑똑한 챗봇”이 아니라, 지식 생산과 도구 실행이 한 시스템 안에서 결합되고 있다는 점입니다.
장면 둘
RSI 논쟁: AI가 AI 개발의 속도를 밀어 올립니다
앤트로픽은 AI 시스템이 AI 개발 과정의 더 많은 부분을 맡고 있으며, 충분히 진전될 경우 후속 AI를 자율적으로 설계·개발하는 단계로 이어질 수 있다고 설명했습니다. 아직 그 단계는 아니지만, 개발 속도와 통제 가능성의 문제가 이미 제기되고 있습니다.
장면 셋
속도조절 논쟁: 안전과 패권이 충돌합니다
프런티어 AI를 더 빠르게 개발해야 한다는 압력과, 안전장치가 따라잡을 시간을 벌어야 한다는 요구가 충돌하고 있습니다. 이 논쟁은 공포담으로 소비될 일이 아닙니다. 산업경쟁의 언어를 넘어 AI가 공공을 위해 쓰이는 조건을 누가 만들 것인가의 문제입니다.
장면 넷
유네스코 신경기술 윤리 포럼: YWCA가 시민사회 관점을 제기했습니다
이번 호가 신경기술을 함께 다루는 직접 계기는 제1회 유네스코 첨단과학기술 윤리 포럼입니다. 유네스코 신경기술 윤리 권고의 국내 이행을 논의하는 자리에서 YWCA는 신경데이터 보호를 넘어, AI가 행동·표정·음성·생체정보·디지털 흔적을 결합해 정신상태를 추론하는 문제까지 시민권의 의제로 다루어야 한다는 관점을 제기했습니다.
AGI와 슈퍼AI: “똑똑한 AI”가 아니라 “권한을 가진 AI”의 문제
AGI라는 말은 아직 기준이 분명하지 않습니다. 어떤 기업은 전문직 업무를 수행하면 AGI에 가까워졌다고 말하고, 어떤 연구자는 스스로 목표를 세우고 장기간 행동할 수 있어야 AGI라고 봅니다. 그래서 AGI 논쟁은 기술적 기준의 문제이면서 동시에 사회적 기준의 문제입니다.
우리가 붙잡아야 할 질문은 “이것이 진짜 AGI인가”만이 아닙니다. 더 중요한 질문은 AI가 어떤 권한을 갖게 되었는가입니다. AI가 글을 쓰는 데서 멈추지 않고, 코드를 만들고, 실험을 실행하고, 시스템에 접근하고, 다른 AI에게 일을 나누고, 사람의 판단을 대신한다면 시민의 권리와 공공의 책임은 달라져야 합니다.
이 배경에서 우리가 물어야 할 것은 단순히 “AI가 정말 인류를 멸망시킬 것인가”가 아닙니다. 더 중요한 질문은 왜 이런 수준의 위험 판단과 속도조절 논의가 시민사회와 공공제도보다 기업 내부에서 먼저 나오고 있는가입니다. 민간 기업의 경쟁 속에서 만들어진 기술이 공공서비스, 교육, 노동, 돌봄, 소비자 관계로 들어온다면, 그 영향을 받는 시민들이 논의의 바깥에 있어서는 안 됩니다.
슈퍼AI 논쟁의 핵심은 기계의 의식이 아닙니다. 핵심은 권한입니다. AI가 더 많은 지식과 더 많은 실행 권한을 갖게 될수록, 우리는 무엇을 AI에게 맡겨도 되는지, 무엇은 사람의 판단으로 남겨야 하는지, 어떤 경우 공공이 멈춤을 요구할 수 있는지 물어야 합니다.
RSI와 자기인식의 질문: AI가 스스로 성장하는 것처럼 보일 때
RSI는 재귀적 자기개선입니다. 여기서 말하는 “자기”는 인간의 자기인식이나 성찰과 같은 뜻은 아닙니다. 현재의 AI가 인간처럼 자기 삶을 돌아보고 의미를 해석하며 윤리적으로 성장한다고 말할 근거는 아직 없습니다.
그런데도 RSI가 중요한 이유는, 인간의 자기성찰과 성장에 비유되던 일부 기능이 기술적으로 재구성되고 있기 때문입니다. AI는 자신의 결과를 점검하고, 코드를 고치고, 실험을 반복하고, 다음 단계를 제안하며 AI 개발을 보조할 수 있습니다.
이 변화가 중요한 이유는 인간이 AI의 능력을 이해하는 속도보다 AI가 변하는 속도가 빨라질 수 있기 때문입니다. 그렇다면 시민이 기술을 이해하고 사회적 기준을 논의할 시간도 함께 확보되어야 합니다.
AI의 자기개선 능력이 실제로 어디까지 가능한지를 과장해서 말하기보다, 인간의 감독과 검증이 가능한 구조인지, 개발 과정과 위험평가가 공개되는지, 문제가 발생했을 때 누가 책임지는지를 확인해야 합니다.
신경기술과 정신상태 추론: 인간의 내면이 새로운 데이터가 될 때
AI가 사람의 글, 사진, 음성, 영상, 행동 데이터를 분석하는 수준을 넘어 감정, 피로, 집중도, 취약성 등을 추론하기 시작하면 개인정보 보호의 범위도 달라져야 합니다.
특히 의료, 교육, 채용, 보험, 금융과 같은 영역에서 정신상태 추론 정보가 사용된다면 개인에게 상당한 영향을 미칠 수 있습니다. 이때 필요한 것은 단순한 개인정보 보호를 넘어, 어떤 추론이 이루어지는지 알 권리와 그 결과를 거부하거나 이의를 제기할 수 있는 권리입니다.
사람의 생각과 감정, 취약성이 데이터가 되는 순간 시민권의 경계도 다시 그려야 합니다. AI가 사람의 내면을 추론할 수 있다면, “데이터를 수집했는가”만이 아니라 “무엇을 추론할 수 있는가”를 함께 물어야 합니다.
AI 공존사회의 조건: 무엇을 AI에게 맡기고, 무엇은 사람이 결정할 것인가
AI가 강력해질수록 중요한 것은 기술을 사용할 수 있는가가 아니라, 어떤 영역에서 어떤 조건으로 사용해야 하는가입니다.
맡겨도 되는 영역
반복 업무, 정보 정리, 번역, 보조적 분석처럼 오류가 발생해도 사람이 쉽게 확인하고 수정할 수 있는 영역
사람의 검토가 필요한 영역
의료, 교육, 채용, 복지, 금융, 돌봄처럼 개인의 삶과 권리에 직접 영향을 미치는 판단
사회적 합의가 필요한 영역
AI가 인간의 자율성, 존엄, 민주주의, 생명과 안전에 직접 영향을 미치는 영역
강력한 AI 시대, 시민은 무엇을 결정할 수 있어야 하는가
AI의 능력이 빠르게 확대되는 상황에서 시민사회가 던져야 할 질문은 기술의 발전을 막을 것인가가 아닙니다. 기술이 어떤 방향으로 발전하고, 누구의 권리와 삶에 영향을 미치며, 그 과정에 시민이 어떻게 참여할 수 있는지를 묻는 것입니다.
YWCA가 던지는 다섯 가지 질문
- 누가 AI의 개발 방향과 속도를 결정하는가?
- AI가 인간의 판단을 대신할 수 없는 영역은 어디인가?
- AI의 판단에 영향을 받은 시민은 어떻게 이의를 제기하고 구제받을 수 있는가?
- AI가 인간의 내면과 취약성을 추론할 수 있을 때 어떤 권리가 필요한가?
- AI 공존사회의 규칙을 기업과 정부만이 아니라 시민사회가 함께 결정할 수 있는가?
지역과 현장에 가져갈 질문
지역 YWCA 교육
AI 공존사회를 누가 논의하고 결정하고 있는가?
AI와 함께 살아갈 사회의 조건을 시민이 어떤 질문과 기준으로 만들 수 있는지 토론합니다.
소비자 운동
강력한 AI 서비스 앞에서 소비자는 무엇을 거부할 수 있는가?
자동실행, 데이터 학습, 오류 책임, 해지와 피해구제, 사람 상담 연결 여부를 소비자 권리의 언어로 정리합니다.
청소년 활동
나의 감정과 취약성이 데이터가 된다면?
AI 챗봇, 추천 알고리즘, 학습 플랫폼이 청소년의 선택과 감정에 어떤 영향을 주는지 이야기합니다.
돌봄·복지 현장
AI가 사람을 대신 판단할 때 누구의 목소리가 사라지는가?
환자, 돌봄 대상자, 보호자, 돌봄 노동자의 설명권과 사람 재검토 절차를 점검합니다.
AI 리터러시 체크리스트
YWCA AI 연구TF 집담회 안내
8호의 질문은 집담회로 이어집니다.
한국YWCA연합회 AI 연구TF는 AI 시대의 시민사회와 기독여성운동이 무엇을 다시 물어야 하는지 함께 배우고 토론하는 공개 학습모임을 엽니다. AI를 기술·산업 이슈로만 보지 않고, 인간성, 창조세계, 공동체, 여성의 노동과 돌봄, 성평등의 언어로 다시 읽기 위한 자리입니다.
제1차 YWCA AI 집담회
신학적 관점에서 읽는 AI:
인간성, 창조세계, 공동체 그리고 책임
일시 2026. 10. 27.(화) 오후 3시~5시
장소 한국YWCA연합회 A 스페이스
강사 장윤재 이화여대 기독교학과 교수
좌장 유성희 한국YWCA연합회 AI 연구TF 위원장
제2차 YWCA AI 집담회
AI 전환과 여성의 노동·돌봄:
성평등 관점에서 무엇을 다시 물어야 하는가
일시 2026. 12. 15.(화) 오후 3시~5시
장소 한국YWCA연합회 A 스페이스
강사 권현지 서울대 사회학과 교수
좌장 이은영 한국YWCA연합회 AI 시민랩 실장, 한국기술교육대학교 교수
주최 한국YWCA연합회 AI 연구TF
문의 한국YWCA연합회 AI 연구TF 담당 정서연 부장
syjeong613@ywca.or.kr · 02-6952-4774
