Deep dive into Kernel

Faiss는 Facebook AI Research에서 개발한 강력한 라이브러리로, 밀집 벡터의 효율적인 유사도 검색과 클러스터링을 가능하게 합니다. 이미지 검색부터 텍스트 분류와 클러스터링에 이르기까지 다양한 애플리케이션에서 개발자들 사이에서 인기를 얻고 있습니다. Faiss 이해하기 Faiss는 고차원 공간에서의 유사도 검색과 클러스터링을 위한 효율적인 솔루션을 제공하는 라이브러리입니다. 멀티미디어 문서의 임베딩 간 유사도 검색을 빠르게 수행할 수 있게 해줍니다. Faiss 자체는 벡터 데이터베이스가 아니라, 벡터 기반 검색 엔진과 애플리케이션을 구축하는 데 사용되는 기반 라이브러리입니다. Faiss의 주요 기능 효율적인 유사도 검색: Faiss는 고차원 벡터 데이터에 대한 빠른 유사도 검색을 위해 최..

LangChain 의 기초는 Promp -> LLM -> Output 으로 구성되어 있다. LangChain 의 프로그래밍 방법도 이러한 구조와 동일하다. from langchain_core.output_parsers import StrOutputParser from langchain_core.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI prompt = ChatPromptTemplate.from_template("tell me a short joke about {topic}") model = ChatOpenAI(model="gpt-4") output_parser = StrOutputParser() chain = pro..

LangChain 에서 Agent 에 대해서 정리합니다. 기본적인 LLM의 동작 방식이 사용자가 입력한 Prompt에 대해서 적절한 Output을 출력한다라고 하면, Agent 는 복잡하고 정교한 사고 작업을 실행할 수 있도록 설계되어 있습니다. # Concept Agent는 Task를 수행하기 위해서 주어진 도구(Tools)와 현재 상황을 고려하여 사고(Thought)하고 필요한 다음 행동을 설계하는 역할을 합니다. 이는 Agent가 주어진 작업에 대해 상세한 계획을 세우고 실행하는 것을 의미합니다. # Agent Overview Agent 는 다음과 같은 핵심 기능을 가지고 있습니다. Planning subgoal and decomposition: Agent는 자신에게 주어진 Task를 더 작은 su..

구글이 후원하는 Hardvard Business Review Analytic Services 리서치 내용 중 주요 부분을 요약하였습니다. 산업이 경쟁이 점점 심화 될수록 사업 성과를 내기 위해서 회사가 보유하고 있는 데이터를 분석하여 활용하고자 합니다. 코로나 2년을 거치면서 (91%) 데이터 및 분석에 대한 접근권의 민주화가 조직의 성공에 중요 (76%) 인공지능 역량에 대한 접근권의 민주화가 중요하다는데 동의 생각보다 많은 회사들이 데이터 분석에 투자를 많이 하고 있다는데 놀랍습니다. 하지만 정말 데이터 분석을 하고 있을까요? 시카고 소개 사업 및 기술 컨설턴트 업체인 West Monreo의 Doug Laney는 다음과 같이 말하였고, 저는 100% 동감하는 내용입니다. 많은 회사나 Product 들..

참조: https://github.com/samlhuillier/code-llama-fine-tune-notebook/blob/main/fine-tune-code-llama.ipynb 기본 환경: Python 3.10, cuda 11.8 EC2 Instance Type: g3s.xlarge GPU가 장착되어 있는 VM을 생성합니다. PyTorch 설치 root@ip-172-31-10-59:~# pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 Looking in indexes: https://download.pytorch.org/whl/cu118 Collecting torch Downloa..

Model 의 Fine Tuning 방법은 크게 두가지 종류가 있다. Full parameter fine-tuning pre-trained model 의 모든 layer 의 parameter에 대해서 fune-tuning 을 하는 방법 GPU resource를 많이 사용하며, 시간이 엄청 오래 걸리다는 단점이 있음 PEFT (Parameter Efficient Fine Tuning) 최소 비용과 리소스로 fune tuning 을 하는 방법 LoRA (Low Rank Adaptation) QLoRA (Quantized Low Rank Adaptation) - quantized 8-bit and 4-bit weights 모델이 로드됨 일반적으로 LoRA를 사용하며, GPU 리소스가 부족하다면 QLoRA를 사..

This chapter is testing the Llama 2 easily. I am going to deploy web service using FastAPI and Llama 2. Run web server git clone https://github.com/choonho/llama_server.git cd llama_server pip3 install llama-cpp-python langchain pip3 install fastapi uvicorn Prepare Llama 2 model file In step 2, we created Llama 2 model file, copy to "models/7B/ggml-model-q4_0.bin" Run Server python3 server.py Te..

To program Llama 2 easily, it is highly recommended to encode quantized model. There is llama C++ port repository. Download llama.cpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make Convert model to GGLM format cd llama.cpp python3 -m venv llama2 source llama2/bin/activate python3 -m pip install -r requirements.txt Converting process consists of two step. convert model to ..

This post describe how to use Llama 2 in Apple Silicon Macbook. Download model To download Llama 2 model from Meta, https://ai.meta.com/llama/ After fill up the form, you will get email from Meta. The title of email is "Get Started with Llama 2" Clone Git repository To download Llama 2 model, you need to download git repository first. git clone https://github.com/facebookresearch/llama.git In th..

Keras https://blog.naver.com/sundooedu/221315683165 딥러닝(Deep Learning) 구현 라이브러리, 케라스(Keras) 딥러닝(Deep Learning) 라이브러리인 케라스(Keras)는 딥러닝 비전문가라도 각자 분야에서 손쉽게 딥러... blog.naver.com Reinforcement Learning https://blog.naver.com/PostList.nhn?blogId=horajjan&from=postList&categoryNo=81&parentCategoryNo=81 헤헤헤 : 네이버 블로그 The life is only once blog.naver.com 예제 코드 https://github.com/solaris33/deep-learning-t..