Deep dive into Kernel

많은 사용자들이 github을 사용하여 소스코드를 관리하고 있습니다. 요즘 트랜드는 CI/CD를 표방하는 경우가 많아, 개발과 배포가 일원화 되는 경우가 많습니다. 이는 배포를 위한 정보도 소스코드 수준으로 관리를 하는 경우가 많습니다. 여기서 많은 보안상의 사고가 발생합니다. 주로 소스코드 내 클라우드 계정의 비밀번호, Application, DB 등의 비밀번호를 하드코딩한 후 커밋하는 경우가 많은데, 수많은 해커에 의해서 코드가 감시되고 있기 때문에 계정 비밀번호를 푸시하면 몇 시간 내에 해커가 알아차리는 경우가 많습니다. 이를 사전에 차단하기 위해서 Github 에서는 Security Feature를 제공하고 있습니다. Github 을 사용하여 코드를 관리한다면 꼭 Security feature를 ..

가장 많은 개발자들이 사용하는 NoSQL Database 중에 하나가 MongoDB 일 것이다. 현재 가장 최신 버전은 7.0 인데 아직도 4.x를 사용하는 사람들이 많이 있을 것 같다. MongoDB Release History 버전 Release Year 7.0 2023~ 6.0 2022~ 5.0 2021~ 4.4 2022~ 4.2 2019~ 4.0 2018~ 2024년 2월 29일이 MongoDB 4.4 의 End Of Life (EOL) 이라고 합니다. 5.0으로의 업그레이드는 Application 의 변경은 필요 없다고 합니다. 주요 Feature Version 5.0 Stable API, designed to preserve application behavior through upgrades ..

ChatGPT 가 유행하면서 Nvidia 의 GPU가 핵심 하드웨어로 간주되고 있습니다. Nvidia 는 전세계 최강자이며 이를 따라가는 다양한 Startup 들이 존재합니다. 하지만 AWS 역시 내부적으로 NVidia의 GPU가 아닌 NPU(Neural Processing Unit)를 제공하고 있습니다. GPU를 통해서 학습(Training)과 추론(Inference)을 하는데 이 두 영역은 고객군이 불리되는 경우가 많으니 학습 전용 HW와 추론 전용 HW를 분리하여 제공하는 것이 비용 및 성능 효율적이라고 생각합니다. 예를 들어, 우리나라의 혁신적인 스타트업인 리벨리온(Rebellions)는 추론 영역의 HW를 타겟팅한 회사 입니다. 오늘은 AWS 추론엔진인 Inferentia2를 간단하게 공부해 보..

구글이 후원하는 Hardvard Business Review Analytic Services 리서치 내용 중 주요 부분을 요약하였습니다. 산업이 경쟁이 점점 심화 될수록 사업 성과를 내기 위해서 회사가 보유하고 있는 데이터를 분석하여 활용하고자 합니다. 코로나 2년을 거치면서 (91%) 데이터 및 분석에 대한 접근권의 민주화가 조직의 성공에 중요 (76%) 인공지능 역량에 대한 접근권의 민주화가 중요하다는데 동의 생각보다 많은 회사들이 데이터 분석에 투자를 많이 하고 있다는데 놀랍습니다. 하지만 정말 데이터 분석을 하고 있을까요? 시카고 소개 사업 및 기술 컨설턴트 업체인 West Monreo의 Doug Laney는 다음과 같이 말하였고, 저는 100% 동감하는 내용입니다. 많은 회사나 Product 들..

LinuxFoundation에서 발간하는 Annual Report 2023 에서 LinuxFoundation에서 지원하는 오픈소스 프로젝트에 대한 통계 정보를 발표하였습니다. 총 1,133개의 오픈소스 프로젝트를 분석한 결과 입니다. Cloud, Containers, & Virtualization (25%) 클라우드 및 가상화 관련 분야가 전체 오픈소스 프로젝트의 1/4을 차지한다고 합니다. 다음으로 전통적인 Networking & Edge(13%) 이며, AI, ML, Data & Aanlytics (12%)를 차지하여 AI 관련 분야가 인기가 높아지고 있음을 알 수 있습니다. 원본: https://www.linuxfoundation.org/hubfs/Reports/2023_lf_annual_repor..

참조: https://github.com/samlhuillier/code-llama-fine-tune-notebook/blob/main/fine-tune-code-llama.ipynb 기본 환경: Python 3.10, cuda 11.8 EC2 Instance Type: g3s.xlarge GPU가 장착되어 있는 VM을 생성합니다. PyTorch 설치 root@ip-172-31-10-59:~# pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 Looking in indexes: https://download.pytorch.org/whl/cu118 Collecting torch Downloa..

Model 의 Fine Tuning 방법은 크게 두가지 종류가 있다. Full parameter fine-tuning pre-trained model 의 모든 layer 의 parameter에 대해서 fune-tuning 을 하는 방법 GPU resource를 많이 사용하며, 시간이 엄청 오래 걸리다는 단점이 있음 PEFT (Parameter Efficient Fine Tuning) 최소 비용과 리소스로 fune tuning 을 하는 방법 LoRA (Low Rank Adaptation) QLoRA (Quantized Low Rank Adaptation) - quantized 8-bit and 4-bit weights 모델이 로드됨 일반적으로 LoRA를 사용하며, GPU 리소스가 부족하다면 QLoRA를 사..

올해는 Linux Foundation Silver 맴버인 메가존클라우드의 오픈소스를 대표하는 자격이 아닌, Cloudforet 의 열렬한 지지자로 Linux Foundation Member Summit 2023에 참가하여, Cloudforet를 소개한 경험과 인상적인 순간들을 소개하고자 합니다. 세상에서 가장 큰 Software 회사는 Google도 아니고, Apple도 아니고, Microsoft도 아니고, Linux Foundation 이라는 말이 있습니다. Linux Foundation은 리눅스와 오픈 소스 기술 생태계를 지원하고 발전시키는 비영리 단체로, 전 세계에서 오픈 소스 프로젝트와 커뮤니티를 지원하며 기업 및 개발자들 간의 협력을 촉진하는 역할을 합니다. 리눅스 커널과 같은 핵심 오픈 소스 ..

Github Action은 Github 서버에서 가상머신을 실행한다고 생각하면 된다. 예를 들어 아래와 같은 action 파일이 존재할 때 "runs-on" 의 값이 어떤 가상머신에서 실행할지에 대한 내용이다. name: Github Runner test on: workflow_dispatch: inputs: select_box: type: choice description: "Choose ..." required: false default: Menu1 options: - Menu1 - Menu2 - Menu3 jobs: build: runs-on: ubuntu-latest steps: - name: checkout repo uses: actions/checkout@v2 그럼 현재 Github 에서는 L..

This chapter is testing the Llama 2 easily. I am going to deploy web service using FastAPI and Llama 2. Run web server git clone https://github.com/choonho/llama_server.git cd llama_server pip3 install llama-cpp-python langchain pip3 install fastapi uvicorn Prepare Llama 2 model file In step 2, we created Llama 2 model file, copy to "models/7B/ggml-model-q4_0.bin" Run Server python3 server.py Te..