Deep dive into Kernel

참조: https://github.com/samlhuillier/code-llama-fine-tune-notebook/blob/main/fine-tune-code-llama.ipynb 기본 환경: Python 3.10, cuda 11.8 EC2 Instance Type: g3s.xlarge GPU가 장착되어 있는 VM을 생성합니다. PyTorch 설치 root@ip-172-31-10-59:~# pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 Looking in indexes: https://download.pytorch.org/whl/cu118 Collecting torch Downloa..

Model 의 Fine Tuning 방법은 크게 두가지 종류가 있다. Full parameter fine-tuning pre-trained model 의 모든 layer 의 parameter에 대해서 fune-tuning 을 하는 방법 GPU resource를 많이 사용하며, 시간이 엄청 오래 걸리다는 단점이 있음 PEFT (Parameter Efficient Fine Tuning) 최소 비용과 리소스로 fune tuning 을 하는 방법 LoRA (Low Rank Adaptation) QLoRA (Quantized Low Rank Adaptation) - quantized 8-bit and 4-bit weights 모델이 로드됨 일반적으로 LoRA를 사용하며, GPU 리소스가 부족하다면 QLoRA를 사..

올해는 Linux Foundation Silver 맴버인 메가존클라우드의 오픈소스를 대표하는 자격이 아닌, Cloudforet 의 열렬한 지지자로 Linux Foundation Member Summit 2023에 참가하여, Cloudforet를 소개한 경험과 인상적인 순간들을 소개하고자 합니다. 세상에서 가장 큰 Software 회사는 Google도 아니고, Apple도 아니고, Microsoft도 아니고, Linux Foundation 이라는 말이 있습니다. Linux Foundation은 리눅스와 오픈 소스 기술 생태계를 지원하고 발전시키는 비영리 단체로, 전 세계에서 오픈 소스 프로젝트와 커뮤니티를 지원하며 기업 및 개발자들 간의 협력을 촉진하는 역할을 합니다. 리눅스 커널과 같은 핵심 오픈 소스 ..

Github Action은 Github 서버에서 가상머신을 실행한다고 생각하면 된다. 예를 들어 아래와 같은 action 파일이 존재할 때 "runs-on" 의 값이 어떤 가상머신에서 실행할지에 대한 내용이다. name: Github Runner test on: workflow_dispatch: inputs: select_box: type: choice description: "Choose ..." required: false default: Menu1 options: - Menu1 - Menu2 - Menu3 jobs: build: runs-on: ubuntu-latest steps: - name: checkout repo uses: actions/checkout@v2 그럼 현재 Github 에서는 L..

This chapter is testing the Llama 2 easily. I am going to deploy web service using FastAPI and Llama 2. Run web server git clone https://github.com/choonho/llama_server.git cd llama_server pip3 install llama-cpp-python langchain pip3 install fastapi uvicorn Prepare Llama 2 model file In step 2, we created Llama 2 model file, copy to "models/7B/ggml-model-q4_0.bin" Run Server python3 server.py Te..

To program Llama 2 easily, it is highly recommended to encode quantized model. There is llama C++ port repository. Download llama.cpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make Convert model to GGLM format cd llama.cpp python3 -m venv llama2 source llama2/bin/activate python3 -m pip install -r requirements.txt Converting process consists of two step. convert model to ..

This post describe how to use Llama 2 in Apple Silicon Macbook. Download model To download Llama 2 model from Meta, https://ai.meta.com/llama/ After fill up the form, you will get email from Meta. The title of email is "Get Started with Llama 2" Clone Git repository To download Llama 2 model, you need to download git repository first. git clone https://github.com/facebookresearch/llama.git In th..

원문: https://chontv.com/itsman/941

EKS 에서 Internal NLB로 Service를 구성하고 싶을 때 manifest apiVersion: v1 kind: Service metadata: annotations: service.beta.kubernetes.io/aws-load-balancer-type: nlb service.beta.kubernetes.io/aws-load-balancer-internal: "true" name: aws-internal-nlb labels: app: myapp spec: type: LoadBalancer ports: - name: "http" port: 80 targetPort: 80 selector: app: myapp 위와 같은 설정을 가지면 choonhoson# kubectl get service ..

Ubuntu 사용자라면 Kubernetes를 쉽게 시작하기 위한 방법으로 minikube 와 microk8s가 있다. microk8s가 좀더 설치와 사용이 용이하다. 설치 sudo snap install microk8s --classic