personal blog based on github pages
by Dooho, Park a.k.a pakddo
이 글은 Natasha Lomas (@riptari) 의 The light and dark of AI-powered smartphones를 번역한 글입니다. 원문링크
가트너 (Gartner)는 이번 주에 스마트 폰에서 AI 기반 기능 중 “큰 영향을 미치는” 10가지의 사용 사례(10-strong listicle)를 발표했다. 해당 글에서 장치 제조사는 이러한 기능을 제공함으로써 고객에게 “더욱 발전된” 사용자 경험(UX)과 같은 “더 많은 가치”를 제공할 수 있다고 언급하였다.
또한, 2022년까지 출하되는 스마트 폰의 전체 80 % 는 기기 자체의 인공 지능 기능을 갖게 될 것이며, 이는 2017년에 10%에 불과한 수치에서 크게 증가할 것으로 예측하고 있다.
장치에 내장된 AI 기능은 데이터가 로컬에서 처리되고 저장된다는 관점에서 보았을 때, 더 나은 데이터 보호 및 향상된 배터리 성능을 얻을 수 있고, 이것이 가장 큰 장점으로 볼 수 있다.
스마트폰에 AI 기능이 사용될 수 있는 활용 사례의 전체 목록은 인용 형태로 아래에 첨부한다.
자동화된 UX에 관한 좀 더 균형 잡힌 서술을 제시하기 위해, 각 항목 이후에 몇 가지 대안적인 생각을 추가하였다. 이는 스마트 폰 사용자가 “AI 스마트”를 활용하는 데 필요한 가치 교환의 성격을 고려한 부분이며 잠재적인 단점도 포함한다.
"스마트 폰은 사용자를 인식하거나 그들의 다음 행동을 예측할 수 있는 확장 수단이 될 것이다. 그들은 당신이 누구인지, 무엇을 원하는지, 당신이 원하는 방식, 당신의 권한으로 일을 수행한다."
가트너 (Gartner)의 수석 연구 분석가 인 앤지 왕 (Angie Wang)은 "스마트 폰은 하루 종일 여러분의 학습, 계획, 문제 해결 방안을 추적해 줄 것이다."라고 말했다."로봇은 센서, 카메라, 데이터를 활용하여 자동으로 이런 작업을 수행한다. 예를 들어, 커넥티드 홈에서는 로봇 청소기에게 집이 텅 비었을 때 청소를 시작하라고 명령하거나 당신이 집에 도착하기 20분 전에 밥솥을 돌릴 수 있다."
가히 스토킹 서비스 (stalking-as-a-service)라 할 수 있겠다. ‘나는 당신의 팬입니다’라고 감미롭게 속삭이는 “Digital Me”라는 디지털 자아가 내 자유 의지를 그들의 알고리즘 블랙박스 내에 담을 수 있도록 내 모든 행동을 감시하는 것이 과연 감동적일까?
아니면, 어떤 순간에 내가 정확히 무엇을 원하는지를 예측하는 것이 정말 귀찮은 일이 되지 않을까? 왜냐하면, 당신들도 알다시피, 나는 인간이지 디지털 페이퍼 클립이 아니다. (나는 빌어먹을 편지를 쓰지 않는다.)
아, 그리고 AI의 선택이 내 취향에 맞지 않을 뿐만 아니라 훨씬 더 나쁜 선택일 때 누구에게 비난할 수 있을까? AI가 아이들이 학교에 가있는 동안 로보 진공청소기를 그들의 개미 농장에 보냈다고 하자, 인공 지능이 아이들에게 애완동물의 죽음에 대한 이유를 어떻게 설명할 수 있을까? 또는, 내가 내용물을 채우는 것을 잊어버린 후에 AI가 비어있는 전기밥솥 동작시키는 경우, 무의미하게 에너지를 소비하거나 최악의 경우 집 전체가 화재에 휩싸일 수 있다.
우리는 머지않아 인공 지능 비서가 사람을 이해하고 도울 수 있을 것이라는 이야기를 오랜 시간 동안 들어왔다. 하지만 음악을 재생하고 유사한 음악을 검색하거나 인터넷에서 기본적인 식료품을 주문하는 정도의 간단한 일을 하고 싶은 것이 아니라면, AI는 여전히 지나치게 단순하다.
“암호 기반 단순 인증이 더 복잡해지고 효과가 낮아짐에 따라 보안이 취약해진다. 이는 사용자 경험(UX) 부족 및 높은 유지 비용을 초래한다. 기계 학습, 생체 인식 및 사용자 행동 등이 결합된 보안 기술은 사용성과 셀프-서비스 능력을 향상 시킨다. 예를 예를 들어, 스마트 폰은 패스워드나 활성화 인증이 필요 없이 걷기, 화면 스와이프, 터치 시의 압력, 스크롤하거나 입력할 때의 패턴과 같은 사용자의 행동을 기록하고 학습할 수 있다.”
좀 더 스토킹 서비스와 같아지는 것이라 볼 수 있다. 모든 개인 정보를 제공하지 않으면 보안도 없다는 뜻 아닌가? 만약 내가 당황해서 보통 때처럼 행동하지 않는다면, 나는 내 기기를 잠금 해제할 수 없을 것이다. 예를 들자면, 내가 집에 없을 때 AI가 밥솥을 동작시켰고 집에 도착했을 때 부엌이 불타고 있는 것을 발견했을 때와 같은 상황 말이다. 또한, 상황이 예측 불가능한 특정 순간에 장치가 잠긴 상태로 유지되기를 원할지라도 내가 장치를 손에 들고 있다면 잠금 해제되는 것을 막을 수 없다.
그리고 내 모바일 장치에 대한 접근 권한을 가족과 공유하고 싶다면 어떻게 해야 할까? 액세스 권한을 부여받기 위해 가족들도 모든 개인 정보를 제공해야 하는 걸까? 아니면 강화된 인공 지능 다중 생체 인식 시스템은 결국 가족 간의 기기 공유를 어렵게 만들 것인가? 애플이 iPhone X을 발표하면서 지문 인식 방식(복수의 지문을 등록할 수 있음)에서 얼굴 인식 시스템(여러 얼굴을 등록할 수 없음)으로 변화한 것은 이와 같은 상황의 한 예이다. 우리는 기기 공유의 점진적인 좋은 면을 ‘진보의 대가’로 포기할 수 있을 것인가?
“감정 인식 시스템과 감성적 컴퓨팅을 통해 스마트 폰은 사람들의 감정 상태와 기분을 탐지, 분석, 처리하고 이에 대응할 수 있다. 대화형 시스템을 위한 가상 개인 비서 및 기타 인공 지능 기반 기술의 확산으로 더 나은 환경과 향상된 서비스 경험을 위하여 감성 지능을 추가해야 할 필요성이 대두되고 있다. 예를 들어 자동차 제조사는 스마트 폰의 전면 카메라를 사용하여 운전자의 신체 상태를 파악하거나 피로도를 측정하여 안전성을 높일 수 있다.”
감정 인식 시스템에 대한 객관적인 논의는 광고 회사에서 민감한 감정 데이터에 대한 접근 권한을 얻게 되면 할 수 있는 것을 고려하지 않고는 불가능하다. 이점에 대하여 페이스북은 우리에게 잠재적인 위험에 대한 분명한 사례를 보여준 바 있다. 작년 누출된 내부 문건에 따르면 페이스북이 사용량 데이터를 분석하여 십 대들의 불안감을 식별하고 이를 광고 판매량을 높이기 위한 수단으로 사용하였다는 내용을 시사하고 있다. 따라서 감정의 흐름을 파악하는 것은 스마트 폰 사용자들이 환영하고 즐길 수 있는 실용적인 방법을 제시할 수도 있지만, 잠재적으로 매우 악용될 수 있으며 쉽게 잠식당할 수 있다. 말하자면 십 대의 스마트 폰은 열려있는 문과 같이 언제 그들이 우울한지 알고 있기 때문에 광고를 보여야 하는 시기를 정확히 알고 있다는 것이다.
만약 정말로 기기에 포함된 인공 지능이 로컬에서 처리된 감정 데이터를 절대로 유출하지 않는다는 보장을 할 수 있다면 우려할만한 원인이 적을 수 있다. 그러나 이를 스마트 폰 UI에 포함하여 표준화한다면 다른 어느 곳에서도 비슷하게 “향상된” 서비스를 더욱 폭넓게 이용할 수 있게 되며, 이는 개별 애플리케이션 개발자의 의지와 개인 정보 보호 및 사용 방식에 따라 달라지게 된다.
자동차 분야에 있어서, 우리는 인공 지능이 인간의 운전자에 대한 필요성을 없앨 것이라고 말하고 있다. 왜 우리는 차 안에서 우리의 감정 상태를 감시하는 인공 지능 장치가 필요할까? 정부 기관 및 기업이 다양한 이유로 인해 감정 데이터에 동적으로 액세스 하는 것을 찬성하데 반해 감정 인식 시스템에 대한 소비자 중심의 주요한 안전 논의 사항들은 설득력이 없어 보인다.
“스마트 폰에 대한 지속적인 학습과 딥러닝은 음성 인식의 정확성을 향상하는 동시에 사용자의 구체적인 의도를 더 잘 이해할 수 있게 해준다. 예를 들어 사용자가 “날씨가 춥다”라고 말하는 것의 실제 의도는 문맥에 따라 “재킷을 온라인으로 주문하시오”또는 “난방기를 가동하시오”일 수 있다. 또 다른 예로 자연 언어 이해 기술은 해외여행 시 스마트 폰에서 근실 시간 음성 번역기로 활용될 수 있다. “
성경의 우화에서는 인간의 자만심에 대한 경고로 표현되었지만, 인간은 여전히 자신만의 바벨 피시1를 꿈꾸고 있다. 그것은 아마도 우연히 “날씨가 춥다”라고 말했을 때 자동으로 주인을 위해 구매할만한 재킷을 골라주는 AI 비서를 암시하는 것일 수도 있다.
아무도 깜짝 선물로 코트를 받는 것을 싫어하지 않는다. 하지만, AI에게 당신의 신용카드를 온전히 맡긴다는 것은 몇 시간 전에 날씨 이야기를 했기 때문에 아마존 프라임 서비스를 통해 배송된 새빨간 색 코트를 입어야만 한다는 것일 수 있다. 또한, 그 선택은 당신이 선호하는 옷 스타일로 지정되어 알고리즘화 될 수 있다. 그 코트가 맘에 안 든다면 어쩔 수 없겠지.
소비자에게 강요되고 있는 완벽한 AI 개인 비서 기술에 대한 마케팅적인 ‘꿈’은 이 기술이 실제로 활용될 수 있는지에 관한 불신을 줄이기 위한 완충장치가 되고 있다. 만약 당신이 같은 브랜드 같은 재킷을 해마다 주문하는 사람 혹은 스스로 온라인으로 코트를 찾아서 ‘구매’ 버튼을 클릭하는 것을 대단히 불편해하는 사람이 아니라면 이 기술은 유용하다는 의미이다. 인터넷에 연결된 로봇에게 “온도를 올려줘”라고 말하는 것과 24시간 내내 당신을 관찰하던 로봇이 추운 날씨를 이야기함과 동시에 (심지어 당신은 온도가 높아지길 바란 것이 아니라 그냥 날씨에 대해서만 이야기했음에도) 자동으로 온도를 높이는 것이 비교되는 것과 같은 맥락이다. 아마도 여러분은 인공 지능이 근처에 있을 때(즉, 항상 어디에서나) 큰 소리로 말하는 것에 대해 좀 더 주의를 기울여야 할 것이다.
인간은 서로를 이해하는 데 많은 어려움을 겪고 있으며 이러한 점에서 사람보다 기계가 더 나을 것이라고 기대하고 있다. 적어도 제조사가 예측하기 쉽게 (시스템화하기 쉽도록) 기기 사용자들의 행동 선택을 재구성하고 감소시킴으로써 데이터 종속적이고 불완전한 시스템의 한계와 이해 부족을 개선하길 바라는 것이 아니라면 말이다. 그것은 살아있다기보다 AI 중심적 삶이라 할 수 있다.
“애플은 iOS 11에 ARKit 기능을 포함하여 출시하였다. 이 기능은 개발자가 앱에 AR을 쉽게 추가할 수 있는 새로운 도구를 의미한다. 마찬가지로 Google은 안드로이드용 ARCore라 명명된 AR 개발자 도구를 발표했으며 내년 말까지 약 1 억대의 안드로이드 장치에 에서 AR 기능이 사용 가능하도록 할 계획이다. 구글은 내년에 출시되는 대부분의 신형 안드로이드 폰이 구입 즉시 AR이 사용 가능할 것으로 기대하고 있다. AR은 앱에서 사용자 데이터를 수집하기 쉽게 하거나 피부암이나 췌장암과 같은 질병을 탐지하는 데 도움이 되는 기능으로 활용할 수 있다”
대부분의 AR 앱은 암을 발견하는 일보다 훨씬 가벼운 용도로 개발되며, 앱을 통해 ‘심각한 질병을 예방할 수 있을지도 모른다’는 예측을 하는 사람은 없다. 다시 말해서, 의료 진단 목적으로 개인 데이터를 수집하는 시스템은 스마트 폰 공급 업체가 얼마나 민감한 건강 데이터를 안전하게 저장, 관리 및 보호할 것인지에 대한 질문을 증폭시킨다. 애플은 건강 데이터 분야에 능동적이다. 그러나 구글과는 달리 애플의 비즈니스 모델은 표적 광고를 판매하기 위한 유저 프로파일링에 의존하지 않는다. 따라서 상업적 이익 목적에 따른 다양한 경쟁의 형태가 존재한다.
실제로, 기기 내 인공 지능에 관계없이 사용자의 건강 데이터가 (사용자의 데이터를 통해 각 회사 고유의 AI모델을 업그레이드하기 위한) 써드 파티 진단 애플리케이션에 의해 로컬 기기에서 유출되는 것은 불가피하다고 보인다. 이에 따라 데이터를 보호하기 위한 고려 사항이 늘어나게 된다. 한편 심각한 질환을 진단할 수 있는 강력한 인공 지능 앱의 등장은 어떻게 앱이 심각한 건강 문제가 있다고 예측된 사람에게 신중하고 조심스럽게 그 결과를 알릴 수 있는지에 대한 더욱 광범위한 문제를 제기한다.’해를 끼치지 않습니다.’라고 말하는 것은 상담자가 로봇일 경우 훨씬 더 복잡해지기 시작한다.
“기계 학습은 장치 성능과 대기 시간을 향상할 수 있다. 예를 들어, 스마트 폰은 많은 센서에서 수집되는 정보를 통해 사용자가 어떤 앱을 언제 사용하는지와 같은 행동 패턴을 더 잘 이해하고 학습할 수 있다. 스마트 폰은 자주 사용되는 앱을 빠른 재실행을 위해 백그라운드에 대기시키거나 사용하지 않는 앱을 종료하여 메모리와 배터리를 절약할 수 있다.”
인공지능이 사용되리라 예측되는 또 다른 분야는 광범위한 감시에 기반을 둔 사용자의 장치 관리에 있다. 실제로 일반적으로 종료한 앱을 동작하는 상태로 두고 싶은가 아니면 바로 종료할 것인가에 대한 내용이다. 인공 지능이 항상 앱의 동적 사용을 완벽하게 예측하지는 않는다. 오래된 배터리로 더 나은 성능을 발휘하기 위한 기술로 iOS가 구형 아이폰의 성능을 저하시키고 있다는 폭로 이후 애플에게 쏟아지는 비난은 소비자들이 제조사의 임의에 의해 자신의 기계를 통제할 수 없다면 이에 대해 반발할 수 있다는 경고로 볼 수 있다.
“스마트 폰은 개인 프로파일링을 위한 데이터를 수집할 수 있다. 사용자는 수행하고 있는 활동 및 환경 (예 : 집, 차량, 사무실 또는 여가 활동)에 따라 동적으로 보호 혹은 지원을 받을 수 있다. 이에 따라 보험 회사와 같은 서비스 제공자는 자산이 아닌 사용자에 집중할 수 있다. 예를 들자면, 사용자의 운전 패턴에 따라 자동차 보험료를 조정할 수 있게 될 것이다.”
스마트 폰 센서 데이터 (위치, 속도, 이동 등)로 구동되는 퍼베이시브 (pervasive) 행동 분석에 기반한 보험료는 장치 소유자에게 불이익을 주는 방식으로 조정될 수도 있다. 가령 어떤 사람의 전화기가 그들이 매우 자주 브레이크를 밟는다거나 아니면 특정 구역에서 주기적으로 속도 제한을 위반하였다고 보고한다면 말이다. 또한, 인공 지능이 운전자들을 대신하게 될 것 같지 않는가? 자동 운전 자동차가 운전자에게 운전자 보험을 요구하게 될까? 아니면 전통적인 자동차 보험료는 점차 없어지게 될 것인가? 그렇게 된다면 사용자가 감시를 받고 프로파일링 된다는 것이 어떤 이득을 가져올 수 있을까?
한편 차별적인 가격 책정은 프로파일링의 또 다른 분명한 위험이다. 그리고 스마트 폰이 소유자의 행동 분석을 수행하는 데 활용될 수 있는 다른 목적은 무엇인가? 사무실 컴퓨터의 잠금 키를 입력하는데 걸리는 시간이나 TV 앞에서 낭비하며 보낸 시간을 측정하기 위해서? 거의 모든 일상의 것들이 정량화 가능해질 것이다. 이를 가능하게 하는 것은 항상 켜져 있는 AI (Always-on AI), 그리고 기존에 존재하는 (웨어러블 장치가 아니지만 착용하는 것과 같은) 스마트폰의 유비쿼터스가 그 역할을 하게 될 것이다. 하지만, 그것이 정말로 이상적인가? ‘사용자’(즉, 사람들)가 자신들이 어떻게 살고 있는지에 대해 지속적이고 세밀하게 정의 내려지고 느끼게 함으로써 불편, 스트레스 및 의욕 감소를 유발하지 않을 수 있는가?
“제한된 콘텐츠를 자동으로 탐지할 수 있다. 불쾌한 이미지, 비디오 또는 텍스트에 플래그를 지정하고 다양한 알림 알람을 활성화할 수 있다. 컴퓨터 인식 소프트웨어는 법률이나 정책을 위반하는 모든 콘텐츠를 탐지할 수 있다. 예를 들어 높은 보안 시설에서 사진을 찍거나 회사에서 제공된 스마트 폰에 기밀로 분류된 데이터를 저장하면 IT부서에 이를 자동으로 통지할 수 있을 것이다.”
기업의 IT 정책을 위반한 사용자를 찾아내는 개인 스마트 폰은 공상 과학적인 디스토피아에 존재하는 그런 것처럼 보인다. AI 기반 콘텐츠 검열은 앞서 설명한 바와 같다. AI가 의도적으로 잘못 제작한 그래픽에 대해 정확히 식별하는데 실패하거나, 잘못 분류하는 사례는 다양하게 존재하고 있다. 오랜 역사의 기술 회사가 자신의 정책을 잘못 적용하여 콘텐츠의 특정 부분(실제로 상징적이고 일반적인 정보)을 확인할 수 없도록 하는 경우도 마찬가지이다. 따라서 UI 수준에서 우리 자신의 장치로 볼 수 있거나 볼 수 없는 것에 대한 제어권을 자체 기준 및 정치적 압력에 따라 통제되는 기계에게 부여하는 것은 바람직하지 않아 보인다. 이는 또한 사용자와 연결된 장치 간의 역동적인 힘의 변화를 나타낸다.
“개인화된 사진 촬영은 사용자의 개별적인 미적 취향에 따라 보정된 사진을 자동으로 생성할 수 있는 스마트 폰을 의미한다. 예를 들어, 동양과 서양의 미학적 선호도가 다르다. 대부분의 중국인들은 창백한 피부색을 선호하는 반면, 서구 소비자들은 태닝 한 피부색을 선호하는 경향이 있다.
인공지능은 이미 인종 차별적인 ‘미화’ 필터에 관해 고르지 못한 역사를 가지고 있다. 따라서 피부색의 자동 조정은 옳지 않은 듯하다. 단순히 보자면 이런 종류의 주관적인 자동화는 상당히 감소할 것이다. 사용자의 관점을 AI가 생성한 필터로 국한하는 것은 새로운 관점과 미학을 찾는 과정을 서서히 파괴하게 된다. 사람의 눈이 무의식적으로 알고리즘적인 색맹이 된다면 ‘아름다움은 보는 사람의 눈에 달렸다’라는 말은 과연 어떻게 될 것인가?
“스마트 폰의 마이크는 지속적으로 실제 소리를 수집할 수 있다. 장치의 AI 기능은 수집된 해당 소리를 설명하거나, 사용자에게 안내를 해줄 수 있고, 또한 특정 이벤트가 발생하도록 할 수 있다. 예를 들어, 스마트 폰은 사용자의 코 고는 소리를 감지하고 사용자의 손목 밴드를 동작시켜 수면 자세의 변화를 유도할 수 있다. “
침실, 욕실, 거실, 부엌, 자동차, 직장, 차고, 호텔 객실 등에서 나는 소리를 계속해서 수집하고 당신과 당신의 삶에 대해 인식하고 추론하는 것은 스마트폰의 마이크 말고 무엇으로 할 수 있을까? 또한, 당신은 외부 광고 대행사가 당신의 수면을 방해할 수 있을 정도로 상세히 당신의 존재를 시스템화하기를 바라는가? 이 항목에서 제기된 코골이라는 ‘문제’와 충격 유발 장치가 포함된 웨어러블 장치라는 ‘해결책’사이의 모순은 매우 명확하게 ‘자동적으로 해결할 수 있는 AI장치’가 존재하지 않는다는 것을 보여 준다. 오히려 우리가 현재 구축할 수 있는 인공 지능 시스템은 거의 전체주의적 수준의 데이터 및 이에 대한 접근을 요구하고 있지만 소비자에게 제안되는 기술들은 실제로 좁은 의미의 사소하고 부수적인 기능만을 제공하고 있다.
이러한 불일치는 거대한 데이터 세트를 모은 것이 목적인 빅데이터 마이닝 비즈니스의 관점에서는 큰 문제가 되지 않는다. 따라서 수집된 데이터들은 그 이면에서 비즈니스의 핵심적인 AI를 만드는 데 사용된다. 그러나 스마트폰 사용자가 침실의 활동을 도청하는 개인용 기기 옆에서 잠들기를 요구받는다면 이 방정식은 균형을 잃기 시작한다. 그리고 당신이 개인적으로 크게 신경 쓰지 않는다 해도, 당신 주위의 사람들이 내는 모든 “현실의 소리”가 그들의 의지와 상관없이 휴대폰에 수집될 수 있다. 당신은 그들에게 AI가 그들이 만드는 소리를 정량화하기를 원하는지 물어본 적이 있는가? 당신이 만나는 모든 사람에게 당신이 도청기를 가지고 있다고 알려줄 것인가?