Deep dive into Kernel

Coherent Corp.(NYSE: COHR)은 2026년 현재 소재(InP·SiC) → 칩(EML·VCSEL·CW 레이저) → 모듈(플러그어블·CPO·OCS) → 시스템 전 단계의 수직통합, 세계 최초 6인치 InP 양산, 그리고 NVIDIA와의 $20억 전략적 파트너십이라는 3중 해자(Moat)를 동시에 보유한 유일한 기업이다. 이 구조가 $230억 TAM의 관문을 잠금(Lock-in)하며, AI 데이터센터 광통신 공급망의 구조적 병목을 형성하고 있다.지표수치출처Q2 FY2026 매출$1.69B (YoY +36%)Motley Fool Earnings Transcript데이터센터 부문 비중72%Financial ContentBook-to-Bill 비율4배 초과Q2 FY2026 실적발표NVIDIA 투자..

핵심 요약항목수치CPO vs 기존 트랜시버 전력 절감65~73%레이턴시 개선10~20배대역폭 (TSMC COUPE 3세대)12.8 TbpsCPO 시장 CAGR (2026~2036)37%2036년 시장 규모200억 달러 이상CPO(Co-Packaged Optics)란? 기존에 스위치 보드 외부에 꽂혀 있던 광학 모듈(트랜시버)을 스위치 ASIC 칩 바로 옆에 통합 패키징하는 기술입니다. 구리 전기 신호 경로를 최소화해 전력 손실과 레이턴시를 동시에 줄입니다.1. "구리의 벽(Copper Wall)"이 AI를 막고 있다2026년 현재, 전 세계 AI 데이터센터의 최대 병목은 GPU가 아닙니다. GPU 사이를 연결하는 인터커넥트입니다.GPU 클러스터가 수천, 수만 대로 확장되면서 이 문제는 더 이상 엔지니어링..

개념 차이AIO (Linux Native AIO)Linux의 전통적인 비동기 I/O 인터페이스 (libaio)커널에 I/O 요청을 제출하고 완료를 polling 또는 event 방식으로 수신구조적으로는 비동기지만 실제 내부는 제한적 비동기👉 핵심 특징syscall 기반 (io_submit, io_getevents)제한적인 operation 지원 (주로 direct I/O)completion polling 비용 존재io_uringLinux 5.1+에서 도입된 차세대 I/O 인터페이스Submission Queue (SQ) / Completion Queue (CQ) 기반 공유 메모리 구조syscall을 최소화하고 zero-copy + batch 처리 최적화👉 핵심 특징ring buffer 기반 (user ..

Production-grade Open LLM을 향한 아키텍처적 진화Google이 공개한 Gemma 4 31B는 단순한 오픈소스 LLM의 확장이 아니라, 프로덕션 환경에서의 실제 활용을 전제로 설계된 모델이라는 점에서 기존 계열과 명확히 구분된다.1. 모델 개요 및 설계 철학Gemma 4 31B는 다음과 같은 특징을 가진다.31B Dense Transformer 기반Instruction-tuned (it) 모델256K Context WindowMultimodal 지원 (Text + Image)Tool / Function Calling 대응 구조Apache 2.0 License여기서 핵심은 단순한 성능 향상이 아니라,다음과 같은 설계 목표가 반영되어 있다는 점이다.“LLM을 단일 응답 엔진이 아닌, 시스템..

Jetson Thor는 CPU와 GPU가 메모리를 공유하기 때문에, 새로운 모델을 사용하기 전에 캐시메모리를 삭제하고 시작하는게 좋다.vm.drop_caches 파일에 쓰는 숫자에 따라 해제되는 대상이 달라집니다: 1: Page Cache 해제 (디스크 읽기/쓰기 시 생성된 캐시) 2: Dentries 및 Inodes 해제 (파일 시스템 구조 관련 캐시) 3: 1번과 2번 모두 해제 (모든 캐시를 비움)sudo sysctl -w vm.drop_caches=3 Jetson Thor용으로 빌드된 vllm 컨테이너ghcr.io/nvidia-ai-iot/vllm:latest-jetson-thornvcr.io/nvidia/vllm:26.01-py3# Run Commandsudo docker run -it --rm..

1. ARCHITECTURES_WITH_KERNELS 목록에 추가 cmakeset(ARCHITECTURES_WITH_KERNELS 80 86 89 90 100 103 110 # ← 추가 120)2. ARCHITECTURES_COMPATIBILITY_BASE에 추가SM 110은 새로운 major family이므로: cmakeset(ARCHITECTURES_COMPATIBILITY_BASE 80 86 90 100 110 120)3. 기본 아키텍처 목록에 추가 (CUDA 버전 조건)SM 110을 지원하는 CUDA 버전에 맞게 추가합니다. SM 110은 CUDA 12.9 이후 지원될 가능성이 높으므로: cmakeif(CMAKE_CUDA_COMPILER_VERS..

# Build TensorRT LLM for Jetson Thorpython3 ./scripts/build_wheel.py --cuda_architectures "110-real" https://github.com/NVIDIA/TensorRT-LLM/pull/11357/changes#top1. ARCHITECTURES_WITH_KERNELS 목록에 추가 cmakeset(ARCHITECTURES_WITH_KERNELS 80 86 89 90 100 103 110 # ← 추가 120)2. ARCHITECTURES_COMPATIBILITY_BASE에 추가SM 110은 새로운 major family이므로: cmakeset(ARCHITECTURES_COMPATIBI..

Generative AI의 폭발적인 성장과 함께 대규모 언어 모델(LLM)의 추론 효율성은 기업의 생산성과 비용 구조를 결정짓는 핵심 지표가 되었습니다. 이러한 흐름 속에서 NVIDIA가 선보인 TensorRT-LLM은 단순한 라이브러리를 넘어, 하드웨어의 잠재력을 극한으로 끌어올리는 소프트웨어 정의 추론(Software-Defined Inference)의 정수를 보여줍니다.1. 근간이 되는 기술: NVIDIA TensorRT의 이해TensorRT-LLM을 이해하기 위해서는 그 뿌리인 TensorRT를 먼저 살펴봐야 합니다. TensorRT는 NVIDIA GPU에서 딥러닝 모델의 추론 속도를 최적화하기 위한 고성능 SDK입니다. 학습이 완료된 모델이 실제 서비스 환경(Production)에서 구동될 때,..

CUDA는 NVIDIA가 GPU를 단순한 그래픽 처리 장치에서 범용 병렬 컴퓨팅 플랫폼으로 전환시키기 위해 설계한 핵심 기술이다. 오늘날 AI, HPC, 클라우드 데이터센터의 기반이 되는 이 플랫폼은 단순한 SDK를 넘어, GPU 아키텍처의 진화를 흡수하고 확장하는 실행 환경으로 자리잡았다. CUDA의 각 버전은 독립적으로 존재하는 것이 아니라, 특정 GPU 세대와 강하게 결합되어 발전해왔으며, 이 둘의 관계를 함께 이해하는 것이 전체 흐름을 파악하는 핵심이다.아래 표는 CUDA의 주요 버전과 해당 시기의 GPU 아키텍처, 그리고 기술적 특징을 한눈에 정리한 것이다.CUDA 버전별 아키텍처 및 하드웨어 매핑CUDA버전출시시기지원아키텍처 대표GPU 핵심 기술 변환1.x2007TeslaTesla C870GP..

리눅스 부팅 시 변경된 공인 IP를 AWS Route 53에 자동 등록하기 (DDNS 구축)홈 서버나 클라우드의 가변 IP 환경에서 서비스를 운영하다 보면, 리부팅 후 변경된 IP 때문에 연결이 끊기는 난처한 상황을 겪게 됩니다. 오늘은 Python과 systemd를 활용하여, 서버가 부팅될 때마다 자신의 공인 IP를 확인하고 AWS Route 53의 A 레코드를 자동으로 업데이트하며, 그 결과를 Discord로 즉시 통보받는 자체 제작 DDNS 시스템 구축 방법을 공유합니다.1. 솔루션 아키텍처이 시스템은 다음과 같은 메커니즘으로 동작합니다.IP Check: ipify API를 통해 현재 서버의 외부 공인 IP를 조회합니다.AWS Update: AWS CLI를 호출하여 Route 53의 Hosted Z..