mhkim’s blog

1. 다층 퍼셉트론 분류 모델(MLP)의 등장 퍼셉트론 분류 모델은 데이터 분포가 선형 분리 가능할 때만 결정 경계의 수렴을 보장한다는 한계가 있었습니다. 하지만, 다층 퍼셉트론 모델은 이러한 선형 분리가 불가능한 데이터 분포 문제를 해결했습니다. 퍼셉트론(Perceptron) 개념의 등장(Rosenblatt, 1958), 단층 퍼셉트론의 한계(Minsky & Papert, 1969), 그리고 역전파(Backpropagation) 알고리즘 개발(Rumelhart et al., 1986)을 순차적으로 살펴보면 선형 분리 문제 해결 과정을 파악할 수 있습니다. 1.1 퍼셉트론(Perceptron) 등장 다층 퍼셉트론 등장의 배경을 이해하기 위해, 초기 퍼셉트론 개념을 다룬 논문을 먼저 살펴보겠습니다. ...

글또 마무리 시작은 조금 망설이며 2주에 한 번씩 글을 쓰는 글또 모임이 어느덧 끝을 향해 갑니다. 작년 하반기부터 올해 3월까지, 짧지 않았던 여정을 마무리하며 조용히 돌아보는 시간을 가져봅니다. 사실 처음에는 망설임이 컸습니다. 정신없는 시기였고, 사소한 일조차 감당하기 버거운 때였기에 정기적으로 글을 쓴다 는 게 부담스럽게 느껴졌습니다. 그래서 초반에 패스를 빠르게 써버리기도 했고요. 하지만 막상 한 편, 두 편 쓰다 보니 어느새 흐름이 생기고, 기억과 생각이 글 속에 차곡차곡 쌓이기 시작했습니다. ...

Isolation Forest와 관련해서 재탐구 2 Isolation Forest 와 Anomaly detection에 대해 사회적 현상과 관련해서 생각하고 있는 내용을 정리했습니다. anomalies는 정상 데이터보다 Binary Search로 접근할 경우 path Length 가 적다 라고 가설을 세우고 그걸 증명한 논문의 아이디어가 너무 신기했고, 계속 생각하게 됩니다. 여기에서 더 나아갈 수 있는 부분이 있는지. 좀더 anomalies를 적은 복잡도로 탐지할 수 있는 방법이 있을 지 등도요. Anomalies & IQ 정상 범주를 넘어 있는 것들에 대한 관심이 있습니다. anomalies. 이상치 라는 값들에 대해서 관심을 가지게 된 건 ...

Isolation Forest 관련 논문을 읽고 알고리즘을 파악해보려고 합니다. 1 Isolation Forest Intro “Anomalies are data patterns that have different data characteristics from normal instances” (Liu et al., 2008) 이상치는 정상 instances 와 다른 데이터 특성을 가진 데이터 패턴이다 라고 제시하고 있고, 이상 탐지는 데이터에서 평소와 다른 비정상적인 패턴을 찾는 과정이라고 정의를 해 볼 수 있습니다. 기존의 이상 탐지 방법들은 정상적인 데이터의 패턴을 먼저 학습하고, 이를 벗어나는 데이터를 이상치로 간주하는 방식을 사용했습니다. ...

1 Anomaly Detection Intro 요즘 관심 있는 주제라서 anomaly detection과 deep learning review와 관련한 논문을 읽고 리뷰하려고 합니다. 1960년대부터 anomaly detection은 많은 연구가 이루어진 영역입니다. 여러 분야에서 다양한 용어들을 사용해서 그렇지만 이상치를 탐지하는 건 주요 주제 중 하나입니다. 예를 들어, intrusion detection라는 용어는 computer security 분야에서 안전 룰를 위반한 경우를 자동적으로 탐지하는 것을 뜻하기도 했습니다.(Anderson, 1980,Lunt, 1990,Heberlein, Dias, Levitt, Mukherjee, Wood & Wolber, 1990, Lane & Brodley, 1997) Kumar (1995)는 “Anomaly detection attempts to quantify the usual or acceptable behavior and flags other irregular behavior as potentially intrusive.” 이라고 정의하기도 했습니다. 그런데 이렇게 정의하는 게 맞는 걸까? 문제는 이상치가 뭔지를 어떻게 정의하려는 게 제일 큰 문제입니다. ...

Quantum Computing Intro 양자 컴퓨팅이 최근 화두로 떠오르고 있어서 공부를 시작해 보았습니다. 아직 깊이 이해한 것은 아니지만 (사실 모름), 배운 내용을 정리하며 개념을 확립하려는 목적으로 작성했습니다. 특히 암호학과 양자 컴퓨팅의 접점에 관심이 있어, 이 기술이 현재의 인공지능과 암호화 기술에 어떤 변화를 가져올지 알아보고 싶었습니다. (그리고 10번째 포스팅. 1과 0이 동시에 있으니 양자 알고리즘과 관련해서 글을 쓰고 싶었던 이상한 이유도 있습니다.) Quantum Computing 우선, 양자 컴퓨팅을 고전 컴퓨팅과 비교해보겠습니다. 양자 컴퓨팅은 고전 컴퓨팅과 비교해볼 때 본질적인 차이가 있습니다. 고전 컴퓨팅은 스위치의 on/off 상태를 이용해 1과 0으로 정보를 처리하며, 이를 통해 확률적인 결과를 계산하기도 합니다. 반면, 양자 컴퓨팅의 기본 단위는 큐비트(qubit)입니다. ...

태풍을 부르는 영광의 2024년도 로드(load) 2024년이 어느새 끝나갑니다. 올해는 다이나믹하고 배울 점이 많았던 한 해였습니다. 지나온 시간들을 돌아보며 감상과 기억을 정리해봅니다. 초반 2024년도 초반에는 유난히 고단했던 때였습니다. 초반에는 내부 갈등이 너무 많았고, 그만큼 윗분들과의 회의에서 신경질을 부리고, 화를 내고, 설득하고, 짜증을 내고, 무시하고, 때로는 울기도 하며 온갖 방식을 시도해 보았습니다. 그 과정에서 무기력함에 빠지기도 했죠. 회의 중 말도 안 되는 이야기를 들으며 화가 치밀었고, 큰 소리를 낸 적도 있었습니다. 짤릴 줄 알았는데 여전히 다니고 있다는 사실에 놀랍니다. 그런 경험을 통해 화가 나더라도 끝까지 대화를 이어나가야 한다는 교훈을 얻었습니다. ...

Ontology란 Ontology의 철학적 정의 “Ontology"는 그리스어 “on(being)” 과 “logos”(study연구, discourse담론) 에서 유래. 온톨로지는 being(존재), existence(실재), reality(현실)의 본질에 대해 연구하는 철학의 한 분야. metaphysics 의 핵심 영역이며, 존재(exist) 하는 것들의 가장 기본적인 범주와 관계에 대해서 연구하는 것. 아리스토텔레스는 존재 자체(being qua being)를 연구하는 학문이라고 보았고, 그 이후에 온톨로지를 General metaphysics, Special metaphysics로 구분하거나, formal ontology 혹은 regional ontology로 구분하려는 시도도 있음. 온톨로지와 관련해서는 다음의 질문을 던짐. 존재의 본질은 무엇인지, 있다면 어떤 종류로 구분될 수 있는지. 그 종류의 관계는 무엇인지. 존재와 비존재의 차이는 무엇인지. 관련한 주요 연구 주제로는 ...

Intro 가장 반짝이는 것… 어쩌면 AI 와 연관이 깊을 수도 있을 것 같아서 들은 내용을 정리하였습니다. Google Research 최근 AI연구자를 대상으로 Google Research 교류행사가 있어 참여하게 되었습니다. 총 4가지 주제를 다루었는데, NotebookLM, Med-Gemini, Project Astra, Connectomics 였습니다. NotebookLM은 https://notebooklm.google.com/ 여기에서 현재 베타버전으로 운영되고 있는데, 학습에 쓰이지 않는 모델이라고 합니다. 문서나 연구 자료를 대상으로 자동 요약하는 기능을 제공하고 있어서, 학습자용도로 만들었다는 느낌이 강했습니다. 구글은 몇 백개 서비스를 베타로 출시하고, 또다시 몇 백개 서비스가 금방 사라져버리기 때문에 호다닥 사용할 수 있으면 좋을 것 같습니다. ...

Overview LLM Application 을 구축하기 위한 오픈 소스 개발자 프레임 워크와 관련해서 Langchain CEO인 Harrison Chase가 https://www.deeplearning.ai/short-courses/ 에서 발표한 내용입니다. LangChain은 대규모 언어 모델(Large Language Model, LLM) 기반 애플리케이션을 구축하기 위한 오픈 소스 도구입니다. Langchain 관련 관심이 있다면 해당 short course를 들어보시길 권장드립니다. 해당 수업을 들으면서 간략하게 정리했던 내용 공유합니다. LangChain 프레임워크의 다양한 구성 요소들은 다음과 같습니다: Prompts: 프롬프트 템플릿, 출력 파서, 재시도/수정 로직, 예시 선택기 등을 포함합니다. Models: LLM 통합 20개 이상, 채팅 모델, 텍스트 임베딩 모델 통합 10개 이상을 제공합니다. Indexes: 문서 로더, 텍스트 분할기, 벡터 저장소, 검색기 통합 10개 이상을 포함합니다. Chains: 다른 체인을 위한 빌딩 블록으로 사용할 수 있으며, 20개 이상의 다양한 애플리케이션 특정 체인이 있습니다. Agents: 5가지 이상의 에이전트 타입, LLM이 도구를 사용하도록 하는 알고리즘, 10개 이상의 에이전트 툴킷이 있으며, 특정 애플리케이션에 대한 특정 도구로 무장한 에이전트를 제공합니다. 이 프레임워크는 개발자가 LLM 기반의 애플리케이션을 쉽게 구축할 수 있도록 지원하며, ...

MetaCognition이란 “Cogito ergo sum,” 이 말은 데카르트가 주장한 “나는 생각한다 고로 나는 존재한다” 라는 의미를 지닌 구절이다. 스스로의 생각과 행동에 대해서 숙고하는 능력은 인간을 다른 종과 구별할 수 있게 해주는 뚜렷한 특징 중 하나이다. 인간으로서 우리는 무엇을 지각하고 있는지를 알고, 무엇을 배우고, 그것을 위해 무엇이 필요한지 판단하고 미래 행동의 결과를 예측할 수 있다. 더욱이 상상과 현실을 구별하고 스스로의 반응을 평가하고 미래에 대한 계획을 세울 수 있다. 즉, 이러한 능력들이 바로 인간이 가진 상위 인지 능력들이다. ...

2024년 2월 정신없이 흘러흘러 벌써 2월입니다. 듣거나 보거나 읽은 내용이 왕창 있는데 리뷰할 시간이 없어서 머리속 어딘가에 떠돌아다니는 기분이 듭니다. 예전에 일요일 저녁은 늘 밤을 샜던 기억이 있습니다. 월요일이 주로 논문 발표여서, 계속 미루다가ㅋㅋㅋ 일요일 저녁부터 시작해서 새벽에 끝나고 월요일에 랩 세미나를 가서 하루 종일 발표하고 질문 받고 답변하고, 기숙사 돌아가서 기절하는 날이라서. 이렇게 일요일 저녁에 몰아서 글을 쓰면 항상 그 때가 생각이 납니다. 아무튼, Go 행사에 참석해서 이런저런 세미나를 들었는데 가장 기억에 남았던 부분이 서버 없이 배포하는 파트입니다. ...

2024년 1월 근황 로보틱스 관련해서 예전부터 관심이 있어서 약간의 발을 걸쳐두고 있었습니다. LLM과 관련해서 발표도 해보고 계속 스터디도 하고 있습니다. 20-30년 정도 투자해서 로봇 연구를 키우는 건 현재 AI 발전 흐름과 관련해서 필요한 일이 아닐까 합니다 사람은 나이가 들고 아프기도 하고 사소한 거에 취약해지고 회복하려면 시간이 걸리기도 하는데 로봇은 그렇지 않으니까요. 회사 생활하면서 틈틈이 스터디에 참여하려니 가끔 힘들다는 생각이 들기도 하는데 장기적으로 봤을 때는 필요한 일이라고 생각합니다. 그리고 이번 주에는 뭔가 모르게 일이 있었는데 ...

Intro Neural Network 를 sklearn이나 pytorch, tensorflow 등 라이브러리 활용해서 짜는 것도 있지만 직접 A부터 Z까지 짜는 과정에 대해서 기록합니다. 요즘에는 Andrew Ng 교수님 Deep Learning 과정을 듣고 있습니다. 퀴즈나 과제 풀고 제출해야 하는 과정인데 주말마다 듣고 있습니다. 인상깊었던 부분은 tensorflow를 구글에서 만드셔서 그런지 과제도 전부 직접 만드는 걸 내주십니다. 예전에 python을 몰랐던 때 이것저것 해보다가… 과제 푼 것 중에 python의 기본 내장 set 클래스를 직접 구현해보라고 했던 과제가 있었는데, 그 과제 풀었을 때가 생각나기도 합니다. ...

Step 0. 글쓰는 개발자 모임 9기를 시작하면서… 글또는 작년쯤에 알게 되었습니다. 에러 등을 검색할 때 종종 올라왔던 글이 글또 분들이 쓰셨던 글이 있었고, 꾸준히 글을 쓴다는 이야기를 들어서 가입하게 되었습니다. 혼자 쓰는 것도 좋지만 같이 쓰면 더 좋을 것 같아서 올해 초 8기에 신청을 해서 8기 활동을 했습니다. 초반에는 거의 못했고 후반에 좀 더 많은 활동을 했었던 걸로 기억합니다. (커피챗, 데이터반상회 준비위. 생전 처음해보는 굿즈 만들기 등…) 8기가 끝난 뒤에, 좀 더 이런 저런 걸 해보면 좋을 것 같아서 9기도 신청했습니다. ...