글쓰기, 코딩, 분석, 번역, 디자인, 리서치. 기계는 이제 이 하나하나를 대부분의 전문가보다 더 빠르고 더 싸게 해내며, 그 격차는 몇 달마다 조금씩 더 좁혀진다. 당신이 무엇을 잘하든, 5년 뒤를 솔직하게 내다보면 그 일을 똑같이 잘하는 모델이 아마 그 그림 안에 들어 있을 것이다.
그 목록에 끝내 오르지 않는 것이 판단이다. 지금 하려는 일을 애초에 해야 하는가를 결정하는 일.
증폭기에는 의견이 없다
도구는 그것을 쥔 사람이 누구든 그의 힘을 증폭한다. AI는 지금껏 만들어진 가장 거대한 증폭기이며, 방향에 대해서는 아무 의견이 없다. 암 연구 제안서를 작성하는 바로 그 모델이 허위정보 캠페인도 그 차이를 알아차리지 못한 채 작성한다. 역사의 대부분 동안 이것은 지금만큼 중요하지 않았다. 나쁜 의도가 무능함에 의해 억제되었기 때문이다. 심각한 피해를 입히려면 돈과 인력, 전문성과 시간이 필요했다. 그 제동장치는 이제 거의 사라졌다. 노트북 한 대를 가진 한 사람이 작은 기관에 맞먹는 실행력으로 움직일 수 있고, 그렇게 되면 그 사람이 기술적으로 무엇을 할 수 있는가보다 어떤 사람이 행동하고 있는가가 더 중요해지기 시작한다.
윤리는 타고난 성격이 아니다
사람들은 윤리를 분위기 아니면 규칙집으로 취급하는 경향이 있다. 좋은 가치관을 가졌거나 못 가졌거나, 행동강령을 지켰거나 어겼거나. 바로 이 질문을 중심에 둔 평가 플랫폼을 만들면서 나는 둘 다 아니라는 확신을 갖게 되었다. 윤리는 능력처럼 움직인다. 구성 요소들이 있고, 사람마다 각 요소를 측정 가능할 만큼 더 잘하거나 못하며, 연습하면 나아진다.
가장 저평가된 요소는 그저 알아차리는 것이다. 눈앞의 결정에 도덕적 차원이 있다는 사실 자체를 인식하는 일. 대부분의 윤리적 실패는 잘못된 선택을 하는 순간에 일어나지 않는다. 그보다 앞서, 누군가 지표를 최적화하면서 그 안에 사람이 들어 있었다는 사실을 끝내 인식하지 못할 때 일어난다. 아마존의 실험적 이력서 심사 모델을 만든 엔지니어들이 여성에게 불이익을 주려고 작정했을 리는 없다. 모델은 회사의 10년 치 채용 데이터에서 그것을 스스로 학습했고, 여자대학이나 여성 체스 동아리가 언급된 이력서를 조용히 깎아내렸다. 아마존은 이를 발견하고 2018년에 그 도구를 폐기했다. 자기 것을 아직 발견하지 못한 팀은 얼마든지 있다.
알아차림 다음에는 진짜 연습이 필요한 부분이 온다. 두 개의 선이 충돌할 때 추론하는 일이다. 진짜 딜레마는 선과 악의 대결인 경우가 드물다. 속도 대 안전, 충성 대 정직, 이번 분기 대 앞으로의 10년이며, 구호로 무너지지 않으면서 그 사이를 헤쳐 나가는 법은 협상을 배우듯 배우게 된다. 대개는 먼저 몇 번 서투르게 해 보면서.
그다음은 당신의 작업이 당신 손을 떠난 뒤 무엇을 가능하게 하는지를 책임지는 일이다. 톰 레러는 이미 1965년에 이를 노래하고 있었다. '로켓이 일단 올라가고 나면, 어디에 떨어지든 무슨 상관인가? 그건 내 부서 일이 아니라고, 베르너 폰 브라운은 말하지.' 그때도 대단한 변명은 못 되었고, 세월이 흐르며 더 초라해졌다.
그리고 마지막으로, 사람들을 실제로 가르는 요소가 있다. 대가가 따를 때 행동하는 것이다. 옳은 판단이 무엇인지 아는 것은 값싸다. 폭스바겐에는 배기가스 조작 장치가 정확히 무엇을 위한 것인지 이해하는 엔지니어들이 있었고, 그중 적어도 한 명은 그럼에도 그 일에 동조한 대가로 감옥에 갔다. 그 실패의 어디에도 지식의 문제는 없었다.
왜 AI가 판돈을 키우는가
부분적으로는 규모의 문제다. 편향된 채용 담당자는 자기 책상을 거쳐 가는 몇 명에게 피해를 준다. 같은 편향이 모델에 배포되면 점심시간이 되기도 전에 똑같은 결정이 백만 번 내려진다. 윤리적 오류는 예전엔 소매였다. 이제는 도매다.
부분적으로는 속도의 문제다. 입법과 법정은 연 단위로 돌아가고 배포는 주 단위로 돌아가며, 결국엔 당신을 붙잡아 주던 느린 외부 절차는 더 이상 속도를 따라가지 못한다. 통제가 내부에 없다면, 점점 더, 아예 없는 것이다.
하지만 가장 부식성이 강한 부분은, 내 생각엔, 거리다. 모두가 공부했으면 하는 사례가 네덜란드 보육수당 스캔들이다. 세무 당국의 위험 평가 알고리즘이 수만 가구를, 그것도 외국 배경을 가진 가구를 불균형하게 많이, 복지 사기범으로 지목했다. 가족들은 빚진 적 없는 돈을 갚으라는 명령을 받았다. 일부는 파산했고, 아이들이 위탁 가정으로 보내졌으며, 네덜란드 정부는 결국 이 일로 총사퇴했다. 사태가 지나간 뒤 가장 인상적이었던 것은, 그 사슬 안의 누구도 자신이 그 일을 저지른 사람이라고 느끼지 않았다는 점이다. 한 사람은 명세를 썼고, 다른 사람은 시스템을 학습시켰고, 또 다른 사람은 그것을 배포했고, 수천 명의 담당 공무원은 그 출력을 따랐다. 확산된 책임이야말로, 저마다 그저 자기 일을 했을 뿐인 사람들에 의해 거대한 피해가 저질러지는 방식이다.
위임의 문제
솔깃한 대응은 윤리를 시스템 자체에 심어 넣는 것이다. 정렬된 모델, 가드레일, 안전 계층을 갖추고 인간에 대한 걱정은 그만두는 것. 가드레일은 만들 가치가 있다. 나도 거기에 기대고 있다. 하지만 모델이 무엇을 중시해야 할지, 어떤 트레이드오프를 감수할지, 어느 정도의 실패율까지 용인할지는 여전히 누군가가 결정한다. 그것들은 당신이 평생 만날 일 없는 사람들이 미리 내려 둔 도덕적 판단이다. 누군가가 그 윤리를 명세해야 했던 시스템에 윤리를 외주로 맡길 수는 없다. 판단을 상류로 옮기고, 더 적은 손에 집중시키고, 더 보이지 않게 만들었을 뿐이다.
더 조용한 문제는 위축이다. 기계가 대신 처리해 주기에 도덕적 판단을 더 이상 훈련하지 않게 된 집단은, 결국 그 기계를 평가할 수 없는 집단이 된다. 능력은 쓰지 않으면 사라진다. 나만 해도 이제 나눗셈 세로셈을 거의 못 한다. 대부분의 능력이라면 그래도 괜찮다. 이것만은 지켰으면 한다.
누가 이기고 있는지 보라
여기서부터가 불편한 부분이고, 어떻게 해야 할지 내가 가장 확신하지 못하는 부분이다.
지금의 정치 시스템이 어떤 사람을 골라 올리는지 보라. 민주주의든 독재든 가리지 않고, 부상하는 사람들은 알아볼 수 있는 하나의 프로필을 공유한다. 거짓말에 능하고, 조작에 거리낌이 없고, 무엇에 대해서든 확신을 내보일 수 있고, 들키는 것에 무관심하다. 유권자가 거짓말쟁이를 원한다고는 믿지 않는다. 필터 효과라고 생각한다. 현대 정치는 영구적인 관심 경쟁이다. 쉴 새 없는 방송과 바이럴한 분노뿐, 기억도 없고 모순에 대한 벌칙도 없다. 그리고 그 경쟁은 내면의 제동장치가 없는 쪽이 그저 이기기 쉽다. 진짜 양심을 가진 사람은 망설이고, 상대의 논점을 인정하고, 값싼 공격을 거부한다. 그 하나하나가 경쟁상의 약점이고, 그래서 라운드가 거듭될수록 필터는 아무것도 느끼지 않는 사람들을 끌어올린다.
이제 그런 부류의 사람에게, 산업적 규모로 설득을 찍어내는 기술을 쥐여 준다. 2024년 1월 뉴햄프셔주 프라이머리를 앞두고, 수천 명의 유권자가 조 바이든의 복제된 목소리로 투표하러 나오지 말라고 말하는 자동 녹음 전화를 받았다. 배후의 정치 컨설턴트는 거리의 마술사에게 150달러를 주고 그 음성을 만들게 했다고 전해진다. 기만을 만들어 내는 비용은 예전엔 그 파급력에 비례해 커졌다. 이제는 그렇지 않다.
이 선별의 문제에 대한 해법은 나에게 없고, 있다고 주장하는 사람은 일단 경계하게 된다. 그 문제는 개인보다 상류에 산다. 인센티브와 책임성, 그리고 거짓말에 대가가 따르는가의 문제 속에. 그것을 바꾸는 일은 느리고 화려하지 않은 작업이다. 우리 대부분에게 실제로 손이 닿는 곳은 파이프라인의 반대쪽 끝이다. 우리가 무엇을 만드는가, 무엇에 동조하는가, 그리고 우리가 앉아 있는 방 안에서 무엇을 소리 내어 말할 용의가 있는가.
실제로는 어떤 모습인가
그 무엇도 철학 세미나처럼 보이지 않는다. 실제로는 화려할 것 없는 몇 가지 습관이다. 당신이 만들고 있는 것에 의해 누가 영향을 받는지 물어라. 한 번도 동의한 적 없는 사람들까지 포함해서. 당신의 작업이 언젠가는 당신보다 나쁜 동기를 가진 누군가에게 닿을 것이라고 가정하고, 자기 자신이 아니라 그 사람을 염두에 두고 설계하라. 아직 대가가 적을 때, 회의 자리에서 불편한 말을 하라. 이유가 아니라 변명을 찾고 있는 자신을 알아차리고, '다들 그렇게 한다'와 '엄밀히 따지면 합법이다'를 경고 신호로 받아들여라. 대개는 실제로 경고이기 때문이다.
다가올 10년이 정확히 어떻게 흘러갈지 나는 모르고, 안다고 말하는 사람은 더 이상 믿지 않게 되었다. 하지만 한 가지 내기는 안전해 보인다. 역량이 값싸고 보편적인 것이 되면, 그것은 더 이상 누구도 구별해 주지 못한다. 남는 것은 판단이다. 그 모든 지렛대를 쥔 사람이 가능한 것과 할 만한 가치가 있는 것을 구별할 줄 아는가, 그리고 대가가 따를 때에도 그 선을 지킬 것인가.