Deep dive into Kernel

This chapter is testing the Llama 2 easily. I am going to deploy web service using FastAPI and Llama 2. Run web server git clone https://github.com/choonho/llama_server.git cd llama_server pip3 install llama-cpp-python langchain pip3 install fastapi uvicorn Prepare Llama 2 model file In step 2, we created Llama 2 model file, copy to "models/7B/ggml-model-q4_0.bin" Run Server python3 server.py Te..

To program Llama 2 easily, it is highly recommended to encode quantized model. There is llama C++ port repository. Download llama.cpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make Convert model to GGLM format cd llama.cpp python3 -m venv llama2 source llama2/bin/activate python3 -m pip install -r requirements.txt Converting process consists of two step. convert model to ..

This post describe how to use Llama 2 in Apple Silicon Macbook. Download model To download Llama 2 model from Meta, https://ai.meta.com/llama/ After fill up the form, you will get email from Meta. The title of email is "Get Started with Llama 2" Clone Git repository To download Llama 2 model, you need to download git repository first. git clone https://github.com/facebookresearch/llama.git In th..

원문: https://chontv.com/itsman/941

EKS 에서 Internal NLB로 Service를 구성하고 싶을 때 manifest apiVersion: v1 kind: Service metadata: annotations: service.beta.kubernetes.io/aws-load-balancer-type: nlb service.beta.kubernetes.io/aws-load-balancer-internal: "true" name: aws-internal-nlb labels: app: myapp spec: type: LoadBalancer ports: - name: "http" port: 80 targetPort: 80 selector: app: myapp 위와 같은 설정을 가지면 choonhoson# kubectl get service ..

>>> from distutils.version import LooseVersion >>> versions = ["1.7.0", "1.7.0rc0", "1.11.0"] >>> sorted(versions, key=LooseVersion) ['1.7.0', '1.7.0rc0', '1.11.0']

명령어 git mergetool -t vimdiff 창을 열었을 때, 위와 같은 4개의 화면으로 나눠진다. LOCAL: 현재 branch의 내용 BASE: 공통 base 내용 REMOTE: merge 하고자 한 내용 MERGED: 최대한 LOCAL과 REMOTE를 merge한 내용 MERGED 화면에서, LOCAL 의 내용으로 merge하고 싶으면 :diffg LO BASE 의 내용으로 merge 하고 싶으면 :diffg BA REMOTE의 내용으로 merge 하고 싶으면 :diffg RE

명령어 git mergetool -t vimdiff 창을 열었을 때, 위와 같은 4개의 화면으로 나눠진다. LOCAL: 현재 branch의 내용 BASE: 공통 base 내용 REMOTE: merge 하고자 한 내용 MERGED: 최대한 LOCAL과 REMOTE를 merge한 내용 MERGED 화면에서, LOCAL 의 내용으로 merge하고 싶으면 :diffg LO BASE 의 내용으로 merge 하고 싶으면 :diffg BA REMOTE의 내용으로 merge 하고 싶으면 :diffg RE

한줄로 해결하는 사설 인증서 만들기 명령어 openssl req -x509 -nodes -newkey rsa:4096 -keyout server.key -out server.crt -days 365 -subj "/C=KR/ST=Seoul/L=Seoul/O=SpaceONE/OU=DEV/CN=DEV/emailAddress=admin@spaceone.dev"

line_length Python에서 기본 권장 글자수는 80글자지만 요즘은 모니터가 크기 때문에 120글자 정도가 적당해 보인다. .config/flake8 [flake8] max-line-length = 120