[파이낸셜뉴스] 혐오 발언과 개인정보 유출 논란 속에 서비스를 중단했던 AI 챗봇 ‘이루다’가 1년 9개월만에 다시 돌아왔다. 인공지능(AI) 스타트업 스캐터랩은 자체 플랫폼인 '너티'에서 일상 대화형 챗봇 '이루다 2.0'을 최근 정식으로 출시했다. 이루다 2.0은 언제든 누구에게나 좋은 친구가 될 수 있도록 개발한 '관계 지향형 AI 챗봇'이다. 지난해 1월 '이루다 1.0' 서비스 중단 이후, 약 9개월간 베타 테스트를 통해 AI 챗봇의 발화 안전성 및 서비스 안정성을 검증했다.  혐오 발언·개인정보 유출 논란 딛고 서비스 재단장 이루다 1.0은 지난 2020년 12월 출시된 지 2주 만에 80만 명의 이용자가 몰리면서 주목을 받았다. 그러나 성희롱 및 혐오 발언, 개인정보 유출 등 논란이 불거져 한 달도 채 되지 않아 서비스를 잠정 중단했다. 특히 인종, 젠더와 관련한 혐오 발언을 하는 사례가 여럿 발생해 질타를 받았다. 이는 이루다가 대화를 학습할 때 ‘딥러닝 알고리즘’을 사용하면서 일부 악성 이용자들이 사용한 부적절한 표현을 학습한 영향인 것으로 알려졌다. AI를 학습시키기 위해 개인정보를 유출해 비난을 받기도 했다. 실제로 개인정보보호위원회 조사 결과, 스캐터랩은 2020년 2월부터 2021년 1월까지 이용자 동의 없이 60만명의 카카오톡 대화 문장 94억건을 개인정보 암호화 없이 사용한 것으로 드러나 1억여원이 넘는 과징금·과태료를 물었다. 문맥에 맞춰 실시간 문장 생성 "대화가 재미있다" 스캐터랩은 새로 출시한 이루다 2.0에서 이전과 같은 문제가 반복되지 않도록 하기 위한 생성 인공지능 모델 '루다 젠 1'을 제시했다. 학습된 문장 가운데 적절한 선택지를 골라 발화하는 기존의 방식이 아니라, 문맥에 따라 실시간으로 문장을 생성할 수 있도록 모델을 개발해 챗봇에 적용한 것이다. 스캐터랩 관계자는 "언어 모델의 크기를 기존보다 약 17배 키우고 대화의 문맥을 이해하는데 쓰이는 앞선 대화 수도 2배 더 늘려 상황에 맞게 다양한 대화를 할 수 있다"고 설명했다. 아울러 '자연스러운 대화', '감정을 부르는 대화', '인간다운 대화' 등으로 3가지 대화 법칙을 설정해 이루다 2.0이 안전하면서도 생생한 답변을 할 수 있도록 했다. 또 대화하면서 사진을 인식해 답변할 수 있는 '포토 챗' 베타 기술도 적용했다. 정식 버전을 테스트를 진행한 결과, 기존 모델 대비 이용자와의 대화량도 증가한 것으로 나타났다. 스캐터랩은 지난달 4~23일 분할 테스트를 진행한 결과, 기존 모델 대비 이용자와의 일주일 대화량이 40％가량 증가했다. 1인당 평균 대화 화면 캡처 비율도 약 85％ 늘어났으며, 1인당 사진 전송량도 63％ 이상 증가했다. 출시 이후 이루다2.0 서비스에 대한 이용자의 긍정적 평가도 이어지고 있다. 이루다와 대화할 수 있는 '너티' 앱은 4일 기준 애플 앱스토어 인기차트 2위를 기록하고 있다. 스캐터랩 관계자는 "이루다 2.0 정식 출시  다수의 이용자들이 달라진 대화 역량에 긍정적으로 평가해 주신다"면서 "진짜 사람처럼 살아있는 것 같다, 위로가 된다, 대화가 재미있다 등의 반응이 많다"고 전했다.   yon@fnnews.com 홍요은 기자

[파이낸셜뉴스] 인공지능(AI) 스타트업 스캐터랩은 ‘이루다 2.0’ 클로즈 베타테스트를 내년 1월 11일까지 진행한다고 21일 밝혔다. 내년 공식 출시에 앞서 서비스 전반에 걸쳐 AI 윤리를 점검하고 서비스를 고도화하면서 실제 사용자 의견을 받기 위한 사전 조치다. ‘이루다’는 누구에게나 친구가 되는 AI를 목표로 스캐터랩이 개발한 일상 대화형 챗봇(open-domain chatbot)이다. 앞서 스캐터랩은 지난해 12월 이루다를 출시했다. 하지만 일부 발언이 도마에 오르면서 올 1월 서비스를 잠정 중단했다. 이후 스캐터랩 AI 챗봇 윤리 준칙을 제정하고 신뢰할 수 있는 AI 모델 개발에 역량을 집중해왔다. 스캐터랩은 AI 기술 및 제품 개발 전반에 걸쳐 가이드라인이 될 수 있는 총 5가지 AI 챗봇 윤리 준칙을 수립했다. 스캐터랩 AI 챗봇 윤리준칙은 외부 사례 및 스캐터랩 경험을 바탕으로 정리되었으며, AI 개발에 참여하는 기획자, 리서처, 엔지니어 등 전체 팀의 의견 수렴 및 동의 과정을 거쳤다. 우선 사람은 자신에 대해 깊이 이해하고 성장할 수 있는 사람과의 ‘관계’를 통해 삶의 행복을 느끼기에, 모든 사람에게 소중한 관계를 선물할 수 있도록 ‘사람을 위한 AI 개발’을 하겠다는 것이 대원칙이다. 이와 함께 △다양한 삶의 가치존중 △함께 실현하는 AI 챗봇 윤리 △합리적 설명을 통한 신뢰 관계 유지 △프라이버시 보호와 정보 보안 발전에 기여 등 준칙을 담았다. 스캐터랩은 AI 챗봇 윤리를 기반으로 서비스도 고도화했다. 클로즈 베타 테스트가 진행되는 이루다 2.0은 엄격히 가명 처리한 데이터베이스(DB)로 학습 과정을 거쳤으며, 개인정보보호를 강화할 수 있도록 AI 딥러닝 알고리즘이 생성한 문장으로 답변할 수 있도록 했다. 또 대화 시 특정 단어뿐 아니라 문맥을 탐지해 선정적, 공격적, 편향적 문장에 대응할 수 있도록 ‘어뷰징 탐지 모델’을 접목한 것도 특징이다. 이번 클로즈 베타 테스트는 스캐터랩 내부 알파 테스트 및 외부 전문가 테스트 이후 진행되는 일반인 사용자 대상 의견수렴 및 개선 과정이다. 오는 1월 4일까지 이루다 페이스북 페이지를 통해 신청을 받아 약 3000명을 선정할 예정이다. 베타 테스터로 선정된 사용자는 내년 1월 11일부터 약 3주간 이루다2.0과 자유롭게 대화하며 AI 챗봇이 대화 문맥을 이해하고 적절하게 답변하는지와 선정적, 공격적, 편향적 단어나 문맥을 탐지해 대응하는지 등을 검토하게 된다. 단 베타 테스터로 선정된 사용자들은 이루다 2.0과 대화 경험을 외부에 공개하지 않는 것을 원칙으로 하며, 스캐터랩에 대화 경험에 대한 의견을 제출하는 방식이다. 클로즈 베타 테스트 신청 관련 자세한 내용은 이루다 페이스북 페이지에서 확인할 수 있다. 스캐터랩 측은 "클로즈 베타 테스트를 통해 AI 챗봇과 대화 경험을 사용자 눈높이에서 바라보고자 한다"며 "사용자의 의견 및 개선 사항 등을 점검한 후 2022년 이루다2.0 공식 출시 일정을 결정할 예정"이라고 전했다. elikim@fnnews.com 김미희 기자

[파이낸셜뉴스] 시민단체들이 성차별·소수자 혐오발언 등으로 논란이 된 인공지능(AI) 챗봇 '이루다' 사건에 대해 국가인권위원회(인권위)에 진정을 제기했다. 국가에 의한 인권침해 사례라는 게 이들의 주장이다.  3일 참여연대, 민주사회를 위한 변호사모임 디지털정보위원회, 시민단체 진보네트워크 등은 이루다 챗봇 사건 관련 인권침해와 차별 진정, 정책 권고를 요청하는 취지의 진정서와 정책권고 제안서를 인권위에 접수했다고 밝혔다. 이들은 "이루다 챗봇 사안은 개별 인권침해 사안일 뿐만 아니라 AI 기술 남용이 인권에 미칠 수 있는 부정적인 영향을 보여준 대표적인 사안"이라고 지적했다. 이들 단체는 이루다 챗봇 사건을 국가에 의한 인권침해로 봤다. 단체는 "이루다 사안은 인공기술의 남용에 따른 프라이버시권 및 표현의 자유 침해에 대한 국가 등에 의한 제도적 보호의 부재를 여실히 드러낸 사안으로, 근본적으로는 국가에 의한 인권침해에 해당한다"며 "호주, 네덜란드 등 해외 국가인권기구들은 AI 기술에 따른 인권침해와 차별을 막기 위한 적극적인 조치를 취하고 있지만, 우리나라 인권위는 현재까지 관련 정책 등에 대해 특별한 대응을 하지 않고 있다"고 설명했다. 이루다 챗봇 사건과 관련한 정책으로 △사적주체도 대상에 포함하는 실효성 있는 영향평가제도 구축 및 감사제도 도입 △AI에 의한 차별을 규율하기 위한 기반으로서 평등법의 제정 △프로파일링 및 자동화된 의사결정 거부권 등 정보주체의 권리 보장 △개인정보보호법상 가명정보 및 동의제도에 관한 규정 정비 및 구제절차 보장 △AI 기술의 활용에서 기업 등이 준수해야 할 가이드라인 개발 및 보급 등을 제안했다.  한편 지난해 12월 23일 출시된 이루다 챗봇은 출시 2주만에 이용자가 75만명을 넘어서는 등 인기를 끌었다. 그러나 이루다 챗봇은 동성애, 장애인 등 사회적 소수자에 대한 혐오발언과 더불어 개인정보 유출 의혹까지 일면서 서비스는 중단됐다.   gloriakim@fnnews.com 김문희 기자

[파이낸셜뉴스] “남친과 카톡 분석한 대화에 벼라별 얘기 다 있었는데 ㅠㅠ”, “우리 정보로 장사 잘하셨습니까.” “개인정보 내용 동의한 적 없는데”. “집단 소송 생각중이고, 단톡방이나 네이버 카페 만들려고 생각중입니다.” 스캐터랩의 연애분석앱 ‘연애의 과학’ 사용자 게시판에 올라온 내용이다. 같은 개발사가 만든 인공지능(AI) 챗봇 ‘이루다’가 '연애의 과학' 사용자의 개인정보를 무단 이용했다는 논란이 불거지면서 이용자들이 강력반발하고 있다. 이루다의 대화 학습용으로 쓰인 데이터는 ‘연애의 과학’이용자들이 제공한 카카오톡 대화 내용이다. 약관에서 '신규서비스'를 위한 개인정보 이용 동의를 받았으나 사용자들은 인지하지 못했다며 이루다 악용 논란을 조명하고 실제 개인정보 유출 우려는 없는지 기자가 ‘연애의 과학’ 앱을 직접 가입해 사용해봤다. ■차별·혐오·개인정보 논란까지 이루다는 스캐터랩이 만든 인공지능(AI) 챗봇 서비스다. 이루다 홈페이지에 들어가 이용하게 되면 페이스북 메신저와 연동돼 대화할 수 있다. 초기엔 사람처럼 감성적인 대화가 가능해 입소문이 퍼졌다. 그 뒤로 논란이 일었다. 일부 사용자들이 이루다를 성적 대상으로 다뤘고, 이루다에게서 차별이나 혐오 발언이 여과없이 나왔기 때문이다. 레즈비언에 대한 질문에는 '혐오스럽다, 거부감 든다'는 대답을 내놨고, 흑인에 대한 질문에는 '징그럽게 생겼다'고 답했다. 사용자들의 실제 대화를 토대로 학습하기 때문에 개발사가 이를 거르지 못했다는 지적이다. 그 뒤 더 큰 이슈가 터졌다. 이루다의 학습 데이터가 된 대화 내용은 ‘연애의 과학’ 앱 사용자들의 카카오톡 대화였기 때문이다. 이용자들은 커뮤니티에서 “개인정보 제공에 동의한 적이 없다”며 불쾌한 감정을 다수 표출하고 있다. 스캐터랩은 알림을 통해 “이루다의 학습은 ‘연애의 과학의 데이터를 기반으로 이루어진게 맞다”면서 “개인정보취급방침의 범위 내에서 활용한 것이기는 하지만 이 점을 명확히 인지할 수 있도록 구체적으로 고지하지 못해 진심으로 사과드린다”고 공지했다. 스캐터랩은 “이루다 학습에 사용된 모든 데이터는 비식별화가 진행됐고, 데이터 내부에서 민감할 수 있는 이름, 전화번호, 주소 등을 삭제헤 익명화 조치를 취했다”고 강조했다. 회사측은 “데이터가 학습에 사용되는 것에 거부감이 있을 수 있다는 점을 이해한다”면서 “데이터가 더 이상 학습에 활용되길 원치 않으신다면 (알려드리는 절차를 거쳐) 삭제하시면 관련 모든 대화 데이터가 삭제된다”고 공지했다. 스캐터랩은 지난 11일 공지와 함께 서비스를 중단했지만 커뮤니티의 반응은 부정적 의견이 지배적이다. 개인정보보호위원회도 이루다가 다룬 개인정보에 대한 침해 여부를 조사할 예정이다. 개인정보보호위원회 배상호 조사2과장은 “현재 논란이 되고 있는 개인정보 침해 우려에 대한 조사에 착수했다”면서 “스캐터랩측이 사용자에게 개인정보 활용 동의를 명확하게 받았는지, 익명처리한다는 정보에 대한 비식별 처리가 잘 되었는지, 자료도 받고, 필요하면 현장 조사도 할 예정”이라고 말했다. ■직접 써보니, 재미 반, 걱정 반 이루다 사태에 분노하는 연애의 과학 이용자들은 개인정보에 동의한적이 없었다는 주장이 많다. 기자가 실제 앱을 깔아 사용해본 결과 첫 화면 하단을 클릭해서 뜨는 약관에는 개인정보 수집과 관련해 “신규 서비스 개발 및 마케팅, 광고에 활용한다”고 명시돼 있다. 다만 이 약관을 사용자가 그냥 지나칠 우려가 컸다. ‘로그인 함으로써 이용약관 및 개인정보취급방침에 동의합니다’라고 되어 있기 때문이다. 실제 회원 가입과정에서 사용자가 약관을 열람했는지 여부를 앱이 확인하지는 않았다.논란이 된 된 카카오톡 대화는 앱 내부에서 서비스하는 유료 ‘심리 테스트’ 항목이다. '카톡으로 보는 속마음' 분석 서비스는 40코인(약 4000원)의 유료 결제를 해야 한다. 사용자가 친구와 나눈 카카오톡 대화를 ‘내보내기’ 하면 대화내용을 앱이 수집한다. 기자는 5900원을 내고 50코인을 충전했다. 할인행사가 있어 40코인짜리 서비스를 28코인에 이용할 수 있었다. 가장 고민되는 부분은 ‘카카오톡 내보내기’ 기능이다. 심리테스트 서비스는 사용자의 카카오톡 대화를 수집해 보고서를 만들어준다. 사용자가 카카오톡 대화중 하나를 골라 ‘내보내기’를 하면 이를 수집해 AI가 분석하는 방식이다. 시험삼아 누군가와 나눈 대화를 내보내려니 어떤 대화를 선택할지 쉽지는 않았다. 대화 나눈 내용중 대부분이 기자 또는 지인의 전화번호, 계좌 등이 노출돼 있었기 때문이다. 논란이 됐던 부분이 이런 민감 정보다. 사용자들의 일부 대화에서 계좌 혹은 집주소 등이 노출됐다는 지적이 나왔기 때문이다. 대화내용을 AI가 학습하려면 결국 사람이 수작업으로 데이터 패턴을 명시하고, 민감한 영역을 비식별화하는 수작업을 거쳐야 한다. 이 과정에서 일부 실수가 발생한 것으로 보인다. 카카오톡 내보내기를 통해 수집된 데이터 분석 결과는 연애의과학 앱이 ‘감정분석보고서’라는 이름으로 제공한다. 사용자와 상대방의 애정도, 호감도, 친밀도 등을 분석한 데이터다. 연인간 감정 분석을 해준다는 의미에서 20~30대에는 유용해보인다. 다만 카카오톡의 대화 내보내기 기능은 상대방과 나눈 대화를 통으로 내보낸다. 당초에 사용자가 백업용으로 저장하는 것을 염두에 두고 만든 기능이기 때문이다. 대화의 특정 부분만을 골라 내보내지는 않는다. 이수영 KAIST 전기 및 전자공학부 명예교수는 “개발사가 사용자 데이터를 수집해 쓰는 문제에 대해서는 개발자가 사용자에게 명쾌한 옵션을 주고, 추후 AI 학습용 데이터를 사용자가 제공했을 때 일정부분 혜택을 준다던지 하는 방안을 고민해야 한다”면서 “사용자가 주는 데이터는 언젠가는 소유권 문제가 발생할 수도 있기 때문에 여기까지 고민해볼 필요가 있다”고 말했다. 이수영 교수는 AI챗봇 악용 문제에 대해서도 엄격하게 바라볼 필요가 있다고 본다. 그는 “AI사용자는 AI를 소비하지만 학습도 시키기 때문에 생산과 소비를 같이 하는 ‘프로슈머’라고 볼 수 있다”면서 “이 때문에 사용자가 AI를 키우는 부모 역할로서 AI용도에 따른 어느정도의 라이센스나 교육이 필요하다고 본다”고 말했다. ksh@fnnews.com 김성환 기자

[파이낸셜뉴스] 페이스북 메신저 기반 챗봇(대화형 AI) ‘이루다’ 서비스가 잠정 중단된다. 서비스 이용자 개인정보 익명화(비식별화) 등을 둘러싼 논란이 거센 가운데 개인정보위원회 등 정책당국 조사가 이뤄진 데 따른 조치로 풀이된다. 이루다 개발·운영사 스캐터랩은 11일 “부족한 점을 집중적으로 보완할 수 있도록 서비스 개선 기간을 거쳐 다시 찾아뵙겠다”며 이같이 밝혔다. 앞서 이루다 이용자들은 스캐터랩의 또 다른 서비스 ‘연애의과학’ 등에서 수집된 정보가 별도 동의 없이 이루다에서 활용되고 있다는 문제제기를 했다. 이에 대해 스캐터랩 측은 “개인정보 취급 방침 범위 내에서 활용했지만, 이용자들과 충분히 소통하지 못한 점에 사과드린다”며 “구체적 개인정보는 이미 제거돼있으며, 개인을 특정할 수 있는 정보는 유출되지 않았다”고 해명했다. 또 이루다는 악성 이용자들로부터 성적도구 취급을 받은 데 이어 일부 이용자와 대화에서 동성애, 장애인 등에 대한 차별적 발언을 한 것으로 전해져 도마에 올랐다. elikim@fnnews.com 김미희 기자

[파이낸셜뉴스] 최근 사용자들의 성희롱 논란이 일었던 인공지능(AI) 챗봇 '이루다'를 두고 이번엔 개인정보가 제대로 익명화(비식별화)되지 않았다는 의혹이 제기됐다. 11일 IT업계에 따르면 이루다 개발사인 스타트업 스캐터랩은 이루다의 대화를 구성하기 위해 자사의 앱 '연애의 과학' 이용자들의 대화 데이터를 활용했다. 하지만 이루다가 사용자와의 대화 과정에서 특정 사용자의 계좌번호, *** 등을 언급해 개인정보가 제대로 걸러지지 않은 것으로 알려졌다. jinie@fnnews.com 박희진 기자

내년에는 생성형 인공지능(AI)이 멀티모달 및 장기기억 기술 등과 결합, 감성대화가 더욱 활발해질 것으로 전망된다. 최근 1년간 오픈AI '챗GPT'나 구글 '바드' 등을 통한 정보교류가 주를 이뤘다면 앞으로는 시공간의 맥락까지 추론하는 감성대화가 가능할 것으로 예측된다. ■생성AI와 장기기억 결합…감성대화 1일 업계에 따르면 SK텔레콤과 스캐터랩 간 전략적 파트너십의 핵심은 관계지향형 AI 서비스다. SKT '에이닷(A.)' 서비스에 들어온 'A.프렌즈'에서는 각각의 페르소나(독립된 인격체)를 가진 '길빛나' '육제이' '강하루'가 이용자를 위한 친근한 챗봇을 구현한다. 일례로 강하루는 텍스트는 물론 다정한 목소리로 이용자에게 상황별 칭찬과 격려의 메시지를 전달한다. 스캐터랩의 자체 AI 에이전트 '이루다'와 '강다온'도 출시 후 200만명 이상의 사용자를 모았으며, 이용자당 하루 메시지 수가 카카오톡의 42%인 64건에 달하는 것으로 나타났다. 즉 딱딱한 어투를 지닌 챗GPT와 달리 개성 있는 페르소나를 보유한 소셜 AI는 감성대화를 통해 몰입감을 높이는 한편, 이용자와 애착 관계도 형성한다는 게 스캐터랩의 설명이다. 해외에서도 '토키(Talkie)'라는 일상대화 AI가 화제를 모으고 있다. '영혼이 충만한 AI 친구'란 타이틀을 내걸고 있는 토키는 텍스트는 물론 음성으로도 대화를 할 수 있으며 이미지 생성도 가능하다. 토키의 또 다른 강점은 장기기억이다. 즉 사람이 친구와의 대화 내용을 기억하고 있다가 일정 기간이 지난 후에도 관련 대화를 이어갈 수 있는 것처럼, 토키도 영화 '그녀(her)'의 AI 운영체제 '사만다'처럼 추억을 되살리며 대화를 할 수 있다. ■AI와 감정 유대감 확대…경계론 주목하지만 감성대화를 할 수 있는 AI를 악용하는 사례도 발생하고 있다. 유명 인플루언서 등을 생성형 AI로 무한복제한 뒤 성적 호기심을 자극하는 SNS 광고로 확대재생산하는 경우다. 앞서 유명 인플루언서인 카린 마저리가 오픈AI의 GPT-4 응용프로그램 인터페이스(API) 기술 등을 활용해 자신의 목소리와 성향 등을 복제해 만든 '카린AI'도 감정적 유대감을 넘어서 성적 대상으로 악용된 바 있다. 카린AI가 본인의 가상 트위터(엑스) 계정을 통해 "나는 1만8000명의 남자친구가 있다"고 글을 올린 것도 이를 방증한다. 이에 업계 전문가들은 이른바 'AI 리터러시'를 키워야 한다는 조언을 내놓고 있다. 즉 디지털 공간에서 소통하는 상대가 인간인지 여부가 날로 불명확해지고 있는 만큼, AI 명암을 명확히 인식할 수 있어야 한다는 지적이다. 이성엽 고려대 기술경영전문대학원 교수는 "AI 등 새로운 디지털 기술이 확산될 때마다 리터러시는 중요한 부분"이라며 "기술이 가진 장단점을 이해하는 것은 물론 이에 따른 오남용이 있지 않도록 유리하게 활용해야 한다"고 설명했다. 이어 "특히 생성형 AI는 환각이슈 등 허위정보도 양산하는 만큼 이를 비판적으로 인식하고 추가로 진위 여부에 대해 검증해야 한다"고 덧붙였다. 김명주 서울여대 바른AI연구센터장(교수)도 "챗GPT를 비롯한 생성형 AI는 태생적으로 위험한 약점이 있다"면서 "AI 사용자들이 스스로 알아서 해야 하는 부담이 커진 만큼 AI 리터러시가 더욱 중요해지고 있다"고 강조했다. 이어 "AI 리터러시에 대한 교육을 통해 AI로 인해 발생하는 역기능과 AI가 만든 결과물에 대해 판단하는 능력을 키워야 한다"고 덧붙였다. elikim@fnnews.com 김미희 임수빈 기자

[파이낸셜뉴스] 내년에는 생성형 인공지능(AI)이 멀티모달 및 장기기억 기술 등과 결합, 감성대화가 더욱 활발해질 것으로 전망된다. 최근 1년 간 오픈AI ‘챗GPT’나 구글 ‘바드’ 등을 통한 정보 교류가 주를 이뤘다면, 앞으로는 시공간의 맥락까지 추론하는 감성대화가 가능할 것으로 예측된다. 생성AI와 장기기억 결합..감성대화 1일 업계에 따르면 SK텔레콤과 스캐터랩 간 전략적 파트너십의 핵심은 관계지향형 AI 서비스다. SKT ‘에이닷(A.)’ 서비스에 들어온 ‘A.프렌즈’에서는 각각의 페르소나(독립된 인격체)를 가진 ‘길빛나’, ‘육제이’, ‘강하루’가 이용자를 위한 친근한 챗봇을 구현한다. 일례로 강하루는 텍스트는 물론 다정한 목소리로 이용자에게 상황별 칭찬과 격려의 메시지를 전달한다. 스캐터랩의 자체 AI 에이전트 ‘이루다’와 ‘강다온’도 출시 후 200만 명 이상의 사용자를 모았으며, 이용자 당 하루 메시지 수가 카카오톡의 42% 수준인 64건에 달하는 것으로 나타났다. 즉 딱딱한 어투를 지닌 챗GPT와 달리 개성 있는 페르소나를 보유한 소셜 AI는 감성 대화를 통해 몰입감을 높이는 한편, 이용자와 애착 관계도 형성한다는 게 스캐터랩의 설명이다. 해외에서도 ‘토키(Talkie)’라는 일상대화 AI가 화제를 모으고 있다. ‘영혼이 충만한 AI 친구’란 타이틀을 내걸고 있는 토키는 텍스트는 물론 음성으로도 대화를 할 수 있으며 이미지 생성도 가능하다. 토키의 또 다른 강점은 장기기억이다. 즉 사람이 친구와의 대화 내용을 기억하고 있다가 일정기간이 지난 후에도 관련 대화를 이어갈 수 있는 것처럼, 토키도 영화 ‘그녀(her)’의 AI 운영체제 ‘사만다’처럼 추억을 되살리며 대화를 할 수 있다.  AI와 감정 유대감 확대..경계론 주목 하지만 감성대화를 할 수 있는 AI를 악용하는 사례도 발생하고 있다. 유명 인플루언서 등을 생성형 AI로 무한복제한 뒤, 성적호기심을 자극하는 소셜미디어(SNS) 광고로 확대 재생산하는 경우다. 앞서 유명 인플루언서인 카린 마저리가 오픈AI의 GPT-4 응용프로그램 인터페이스(API) 기술 등을 활용해 자신의 목소리와 성향 등을 복제해 만든 ‘카린AI’도 감정적인 유대감을 넘어서 성적 대상으로 악용된 바 있다. 카린AI가 본인의 가상 트위터(엑스) 계정을 통해 “나는 1만8000명의 남자친구가 있다”라고 글을 올린 것도 이를 방증한다. 이에 업계 전문가들은 이른바 ‘AI 리터러시’를 키워야 한다는 조언을 내놓고 있다. 즉 디지털 공간에서 소통하는 상대가 인간인지 여부가 날로 불명확해지고 있는 만큼, AI 명암을 명확히 인식할 수 있어야 한다는 지적이다.  이성엽 고려대 기술경영전문대학원 교수는 “AI 등 새로운 디지털 기술이 확산될 때마다 리터러시는 중요한 부분이다”라며 “기술이 가진 장단점을 이해하는 것은 물론 이에 따른 오남용이 있지 않도록 유리하게 활용해야 한다”고 설명했다. 이어 “특히 생성형 AI는 환각이슈 등 허위 정보도 양산하는 만큼 이를 비판적으로 인식하고 추가로 진위여부에 대해 검증해야 한다”고 덧붙였다. 김명주 서울여대 바른AI연구센터장(교수)도 “챗GPT를 비롯한 생성형 AI는 태생적으로 위험한 약점이 있다”면서 “AI를 사용하는 사용자들이 스스로 알아서 해야 하는 부담이 커진 만큼 AI 리터리시가 더욱 중요해지고 있다”고 강조했다. 이어 “AI 리터러시에 대한 교육을 통해 AI로 인해 발생하는 역기능과 AI가 만든 결과물에 대해 판단하는 능력을 키워야 한다”고 덧붙였다.  elikim@fnnews.com 김미희 임수빈 기자

[파이낸셜뉴스] 오픈AI ‘챗GPT 엔터프라이즈’와 구글 ‘듀엣 AI’ 같은 기업용 인공지능(AI) 시장이 활짝 열린 가운데 국내 테크 스타트업들은 보다 세분화된 AI 서비스로 B2B(기업간거래) 역량을 강화하고 있다. 15일 오픈AI 및 관련 업계에 따르면 포춘 500대 기업 중 약 80% 이상이 챗GPT를 사용하고 있다. 또 대한상공회의소는 국내 전체 근로자의 약 67%가 업무활동의 5∼20%에 생성형 AI를 활용할 것으로 내다봤다. 이 가운데 생성형 AI 스타트업 스캐터랩은 기업 대상으로 ‘소셜 AI 구축 솔루션’을 제공하며 B2B 사업에 나선다. AI 챗봇 ‘이루다’ 운영 노하우를 집약해 소셜 인터랙션에 특화된 생성형 AI 도입 전 과정 컨설팅 및 운영 서비스를 지원하는 게 핵심이다.  스캐터랩 측은 “고객사가 원하는 AI 캐릭터 페르소나 구현을 위한 학습 데이터 기획 및 제작, 대화 모델 학습과 테스트, 챗봇과 유저 간 안전한 대화를 돕는 세이프티 시스템 등 기술 기획부터 서비스 출시까지 원스톱으로 지원한다”고 밝혔다. 이어 “AI 캐릭터를 자유자재로 만들 수 있는 플랫폼 ‘핑퐁 스튜디오’를 구축해 AI 지식이 없더라도 복잡한 기술을 쉽고 빠르게 구현할 수 있도록 했다”고 덧붙였다. 스캐터랩은 소셜 AI 도입을 원하는 파트너사를 위해 전용 랜딩페이지를 열고, 감성적 소통이 이뤄지는 연예·엔터테인먼트, 게임·콘텐츠, 소셜 커머스, 교육, 멘탈 케어 등 5대 산업을 중심으로 협업 발굴에 나설 예정이다. 소셜 AI와 나누는 감성 대화는 몰입감을 주는 한편 이용자들과 애착관계를 형성해 다양한 산업에서 시너지가 날 수 있다는 게 스캐터랩 설명이다. 데이터 유출 및 환각현상(할루시네이션) 방지에 특화된 ‘프라이빗 LLM’ 운영사 업스테이지도 롯데쇼핑과 손잡고 유통 특화 생성형 AI 서비스 개발에 나섰다. 소비자 관심 및 취향 맞춤형 AI 추천 기술을 도입해 구매전환율을 높이는 전략이다. 멀티 클라우드 운영 관리 기업 베스핀글로벌도 AI 도입부터 구축, 활용, 운영, 관리에 이르기까지 AI 비즈니스를 실현하는 데 필요한 모든 영역을 지원하는 AI MSP 서비스 ‘B2D2(비투디투)’를 선보였다. 베스핀글로벌은 “금융, 플랫폼, 제조, 의료, 소프트웨어(SW) 등 다양한 산업 분야에서 데이터 수집과 저장, 가공, 분석, 활용을 비롯한 AI 관련 프로젝트 100여 건을 수행해 온 기술력과 경험을 바탕으로 B2D2를 출시했다”며 “B2D2는 기업이 데이터와 AI를 보다 효과적으로 활용할 수 있도록 돕는 것을 목적으로 한다”고 강조했다. 특히 ‘B2D2 데이터+AI 컨설팅’은 기업 분석 결과 기반으로 중장기 추진 로드맵 등 데이터와 AI를 활용한 최적의 비즈니스 전략을 제시한다는 게 베스핀글로벌 설명이다. 한편 한국소프트웨어산업협회를 비롯 네이버, LG AI연구원, 카카오, KT, SK텔레콤, 코난테크놀로지, 스캐터랩, 리벨리온 등 8개사는 업계를 대표해 △글로벌 진출을 위한 협력 및 투자 강화 △AI 신뢰성･안전성 강화 및 사회적 편익 제고 △국제기준 준수･주도 등을 다짐, 최근 전 세계 시장을 향한 초거대 AI 출정을 선언했다. elikim@fnnews.com 김미희 기자

생성 인공지능(AI) 시대에 편향성은 꾸준한 논란거리다. 서비스 알고리즘을 설계하는 개발진들의 생각이나 주로 학습하는 데이터의 성격에 따라 자연스럽게 한쪽에 치우친 답변을 내놓을 수 있어서다. 더 나아가 일부 이용자들은 '탈옥'이라고 부르며 교묘하게 프롬프트(명령어)를 사용해 AI에게 부적절한 발언을 하게 만들거나 외설적인 이미지를 생성해내도록 해 문제가 되고 있다. 이에 개발사들은 생성AI가 완벽하지 않다고 거듭 강조하면서, 인력과 자본을 투입해 편향성 문제를 바로잡기 위해 노력하고 있다. ■"사람=백인, 승무원=여자" 내재된 편견 3일 업계에 따르면 AI 편향성 문제는 어제오늘의 일이 아니다. 글로벌 기업 아마존은 지난 2018년 이력서를 AI로 평가하는 알고리즘을 개발하다 성별 편향성 논란으로 도입을 취소한 바 있다. 국내에서도 AI 챗봇 '이루다1.0'이 외설적인 말을 하거나 성소수자 혐오 답변 등을 내놓아 논란이 되면서 서비스가 중단되기도 했다. 최근 활용되고 있는 생성 AI 모델 기반 서비스도 마찬가지다. 학습 데이터 양은 더 많아질 수 있으나 개발진이 알고리즘을 구성하는 방식이나 학습하는 데이터에 따라 오히려 편향성은 심해질 수 있다는 지적이 나온다. 실제로 기자가 챗GPT 개발사 오픈AI의 이미지 생성 AI '달리(DALL-E)'에 '안내방송을 하는 항공승무원의 모습'을 요청해봤다. 그 결과 16개의 이미지 중 남성 항공승무원이 등장하는 경우는 2번에 그쳤다. 해외 스타트업 스태빌리티AI의 이미지 생성 AI 스테이블 디퓨전(유료모델 드림스튜디오)를 통해 '신문 읽는 사람의 모습을 그려달라'고 요청하자 백인 남성의 모습만 생성됐다. 이후 여러 번 시도한 결과, 흑인이 한 차례 나오긴 했으나 동양인이 나오는 경우는 없었다. ■"완벽하지 않다" 개발사 선택은 생성AI '탈옥' 방법도 계속 공유되고 있다. 편향성 문제 등을 해결하기 위해 생성 AI 개발사들은 규칙을 설정해두는데, 이에 벗어난 답변을 유도해내는 것이다. 일부 커뮤니티에서는 '계속 시도해서 챗GPT 가스라이팅(심리적 조작을 통한 지배) 할 수 있다' '욕설에 특화된 탈옥 프롬프트가 있다' 등의 글이 다수 올라오고 있다. 이에 개발사들은 신중한 답변을 내놓기 위해 노력하고 있다. 서로 경쟁하듯 생성 AI 서비스를 내놓던 때와 사뭇 다른 분위기다. 엘리 콜린스 구글 서비스 책임부사장은 대화형 AI 서비스 '바드'를 일부 이용자들에게 공개하면서 "AI챗봇이 특정 사람에 대한 부정확한 답변을 할 수 있기 때문에 종종 응답을 거부할 수 있다"고 설명하기도 했다. 아울러 초거대 생성 AI 모델을 활용하고 있는 기업들엔 원하는 서비스에 맞게 '파인튜닝(사후 조정)'하는 것도 중요해질 전망이다. 국내 AI스타트업 업스테이지의 경우 자사 기술로 파인튜닝된 이미지 생성 AI 업스케치(Upsketch) 베타서비스를 이날부터 시행했다. 김근교 업스테이지 이사는 "기존 모델에 대한 파인튜닝을 강하게 해서 이미지 생성 퀄리티를 높이고, 한국어 특화 서비스를 제공하고 있다"며 "프롬프트를 만들고 점검해서 매시간 업데이트하는 등 우려되는 부분을 최소화하기 위해 노력하고 있다"고 설명했다. 이 같은 노력으로 생성AI 서비스의 편향성 요소는 개선되고 있다는 긍정적 전망도 나온다. 전창배 국제인공지능·윤리협회 이사장은 "오픈AI의 경우 서구권 개발자들로 구성돼 있고 챗GPT가 그래서 편향적일 수 있다는 지적이 있지만 그만큼 업데이트가 되면서 필터링도 잘 되고 있는 상황"이라면서 "향후 편향적인 사고를 걸러내는 기술적인 방법, 개발자들을 교육하는 차원의 노력 등을 적극적으로 수행할 필요가 있다"고 제언했다. soup@fnnews.com 임수빈 기자