AI 강의 2025

 

대학원 과정 동안 AI를 공부했지만 최근 AI의 트렌드와 이슈에 대해서는 잘 모르는 것 같아.. 베스트셀러 중에 아무거나 한 권 집어서 읽어보았다. 저자가 인공지능  전문가는 아닌 것 같지만, 인공지능을 좀 더 인문학적인 관점에서 바라볼 수 있었고 트렌드에 대해서도 어느 정도 파악할 수 있었다. 책의 뒷부분은 보안과 윤리에 대한 내용이라 띄엄띄엄 읽었다..

---

 

- 운영체제로서의 인공지능(AI as OS). 실제 운영체제처럼 하드웨어 관리를 떠맡는다는게 아니라, 미래에 거의 모든 소프트웨어들이 어떤 형태로든 AI와 연동하는 형태로 작동하게 될 것. 산재되어 있는 여러 소프트웨어를 AI가 중심에서 유기적으로 연동하는 형태. 

 

- 맥락 인터페이스(Contextual Interface). 우리가 지금까지 정보를 대하는 두가지 방식은 1) 계층적; 대분류-중분류-소분류... 탑다운으로 찾기 등 2) 키워드 매칭; 구글과 같은 검색엔진을 통해... 그런데, 인공지능과 함께 세 번째 방식이 맥락 인터페이스. 

 

- LLM (Large Language Model)은 엄청난 기억력을 가진 컨설턴트. 전통적인 GUI 가 내려오고 (검색형 화면), 맥락 인터페이스 기반의 파트너로서의 인공지능 시대가 오는것. 

 

- 멀티모달 (Multi modal)은 여러 형태의 정보 형식. AI에서 멀티모달은 텍스트, 이미지, 음성, 동영상 등 서로 다른 방식의 정보를 함께 처리하는 것. 예를들어 멀티모달이 안되면 음성을 텍스트로 바꾸는 과정에서 음색, 웃음, 노래, 감정 등 여러 정보들이 사라짐. 음성을 음성으로 바로 처리하는 (텍스트 없이) 멀티모달이 됨으로써 AI는 엄청난 양의 학습 데이터를 추가로 가질 수 있게 됨. 

 

- 인공지능 모델은 컴퓨팅 파워, 학습 데이터, 매개변수 3가지가 많을 수록 성능이 더 좋아진다. 하지만, 매개변수가 훨씬 작아진다면?

- 좀 더 작고 빠르고 저렴한 모델을 만들 수 있음. -> 그럼 데이터를 클라우드에 올릴 일 없이 개인화를 할 수 있음. -> Agent의 시대가 온다. 클라우드에 데이터를 올리지 않는, 내 스마트폰에서만 돌리면 프라이버시가 보장됨. 제대로 된 온디바이스 AI (On-Device AI)가 가능해진다. 가장 좋은 예시가 Apple Intelligence..

- 그렇게 되면 예를들어 On-Device AI 가 나의 모든 이메일을 보고 답장하지 않은 이메일만 뽑아서 요약하기, 스케줄 정보를 참고해 교통편과 숙박 편을 예약해 주기 등의 비서 역할을 할 수 있다. 

 

- 인간형 로봇, 휴머노이드(Humanoid). 테슬라의 휴머노이드 옵티머스 젠2 (`23,12), 구글 딥마인드의 알파고 제로는 모두 이기면 보상을 하는 강화학습을 적용했다. 인간이 직접 알고리즘을 짜던 시절에서, AI와 로봇을 결합하고 강화학습, 모방학습, 전이학습을 적용하는 메타로 전환. 각 로봇이 학습한 내용을 서버에 모아 모든 로봇에 전이. 공장에 새로 들어온 로봇도 즉시 투입이 가능. 

- 휴머노이드의 또다른 의미는 Embodied AI (몸을 가진 인공지능). 인공지능이 제대로 지능이 되기 위해서는 몸을 가지고 있어야 한다는 주장 (얀 르쿤 등). LLM 은 결국 남이 보고 듣고 학습한 것을 간접적으로 문자(text) 형태로 전달받아 학습함. '책으로는 키스를 배울 수 없다'. 대부분의 인간 지식은 실제로 언어가 아니다. 인공지능도 세계를 이해하려면 텍스트로만으로는 안 된다. 그런 관점에서 궁극적인 대안은 휴머노이드. 센서, 비디오 데이터에 대한 훈련을 통해 물리적인 세계에 대해 배울 수 있다. 

 

- Chat GPT 에서 'Chat(대화)'는 두 가지 의미. 컴퓨터와 대화할 때도 C, Java 등의 프로그래밍 언어로 쓰지 않고 자연어로 그대로 대화한다는 점. 두 번째 의미는 Chat GPT에 단기 기억이 있다는 것. 이전 대화들을 기억하고 대화를 이어남. 

- P 는 Pretrained를 의미하고, 그래서 이런 LLM 모델을 파운데이션 모델(Foundation Model)이라고 함. 대규모 데이터로 학습해 새로운 도메인에서 적용해도 그럴듯한 대답을 함. 아무런 예제 없이 묻는 질문에 대답하는 것이 Zero-shot learning, 몇 가지 예제만 함께 주는 것을 Few-show learning, 이 둘을 합해 질문 속에서 배운다는 뜻이 In Context Learning. 

 

- LLM의 고질 적 문제. 할루시네이션(Hallucination; 환각), 아주 멀쩡히 그럴듯한 거짓말을 하는 것. LLM은 100퍼센트 꿈을 꾸고 있으며 환각 문제가 있다. 검색엔진은 꿈이 0퍼센트이고 창의성 문제가 있다. 

- LLM의 중요한 능력중 하나는 Chain of Thoughts: COT (생각의 연쇄 추론). 질문에 단계적 추론의 예를 포함하는 것만으로도 도출가능. 모델이 답에 도달하는 경로를 들여보며 해석 가능성을 올려줌.

- 이런 관점에서 프롬프트 엔지니어링 (Prompt Engineering)이 중요해짐. 질문의 질에 따라 답의 질이 달라짐. 

• "차근차근 생각해보자" 와 같이 단계적 추론(COT)을 유도하기
• "네가 OOO라고 가정하자" 로 역할 부여. "결과를 표로 만들어"와 같이 포맷 지정 등 구체적인 답변 지정

 

- Chat GPT가 외부의 프로그램을 사용하게 된다면? 계산기, 검색엔진 등의 도구를 쓰게 된다면. 실제로 오픈 AI가 내놓은 플러그인 (Plug-in)이 도구를 쓰게 해주는 역할. 

- 이런 서비스를 쓸 수 있게 해주는게 API (Application Programming Interface). 프로그램 간의 인터페이스 = 프로그램끼리 소통할 수 있도록 만든 규약. 

- 이런 일을 제대로 해보자 만든 것이 랭체인(Language + Chain). 랭체인은 API와 라이브러리를 활용. 

 

- AI 는 오픈소스가 대세. https://huggingface.co/ 가 대표적. 트랜스포머 아키텍처를 기반으로 사용하기 쉬운 라이브러리를 개발하고 오픈소스로 공개. 

 

- 또한 소형화의 흐름이 거세다. 1) 현재 AI는 자원을 너무 많이 쓰기 때문. 2) 온디바이스, 퍼스널 한 에이전트 역할을 위함. 3) 인간의 지능을 따라한 건데, 인간의 뉴런과 에너지소비는 훨씬 작음. 

- 어떻게 소형화할 수 있을까 ? 고품질 데이터를 많이 학습하면 작은 모델로도 상대적 높은 성능가능 (데이터의 양자화 등). 지식증류(Knowledge Distilation)를 통해 거대모델의 지식을 양자화한 작은 모델로 전달. 원본 거대모델(선생님 모델)과 소형 모델(학생 모델)의 답을 비교해서 비슷한 값이 나오도록 조정해 나감. 학생은 정답뿐 아니라 선생의 전체적 판단 과정(확률분포)을 모방하려고 노력함. 

 

- 다중 에이전트 (Multi Agent) 협업 프로세스. Agent 는 비서 같은 의미, Agentic Workflow (다중 에이전트 협업 프로세스) 개념은 여러 에이전트가 협업하면 결과가 훨씬 좋다는 의미. MOE (Mix of Experts)는 여러 개의 전문가와, 어느 전문가를 선택할지 결정하는 게이트웨이로 구성. 훨씬 적은 크기의 매개변수를 갖는 모델로도 좋은 성능 가능. 

 

- 지금처럼 몇개의 거대 AI 가 앞서 오픈 AI, 구글, 마소, 애플등이 사용자를 확보해 가면, 많은 서비스들은 현실적으로 이런 거대 AI의 플러그인으로 들어가야 할지를 고민해야 할 것. 거대 AI의 플러그인이 되면 많은 사용자를 가질 수 있지만, 내 브랜드의 존재감은 퇴색할 수밖에 없음. 플러그인으로 들어가지 않으면 사용자 확보가 어려움. 

 

- 인공지능은 본인이 생성한 학습 데이터로 훈련하면 마치 근친교배와 같이 붕괴해버린다. 웹은 이미 인공지능이 생성한 저품질 콘텐츠로 넘쳐남. 대표적인 악순환 사례는 스택오버플로의 방문자가 급감하기 시작함. 스택오버플로는 유입이 많아야 질이 좋아짐. 문제는 GPT가 프로그래밍(코딩)을 학습한 대상이 스택오버플로. GPT가 스택오버플로의 트래픽을 빼앗으며 본인이 학습할 양질의 데이터가 사라져 감. 향후에는 학습 데이터를 찾는데 아주 큰 비용을 치르게 될 것.