링트인이 만들어 오픈소스로 공개했던 Kafka는
만들어진지 벌써 15년이나 된 시니어(?) 솔루션입니다.
현재 링트인에서 사용되고 있는 Kafka 클러스터는
하루에 32조개의 레코드를 처리하고
저장된 용량만 17PB에 이르며
40만개 토픽에 150개의 클러스터로 운영중이라고 합니다.
linkedin.com/blog/engineeri…
오래된만큼 여러가지 이슈들이 있었겠죠?
최근 Kafka의 한계를 개선한 Northguard라는
새로운 솔루션을 공개했습니다.
🚀 LinkedIn의 새 로그 인프라
1. Northguard
- Kafka의 한계를 넘어선 차세대 로그 스토리지
- 세그먼트/레인지 구조, 분산 메타데이터 관리, 자동 부하 분산으로 초대규모 환경에서도 안정적 운영 가능.
2. Xinfra
- Kafka ↔ Northguard 무중단 전환을 위한 가상 Pub/Sub 계층
- Dual-write, Virtual topic, 통합 API로 앱 수정 없이 투명하게 마이그레이션 지원.
👉 LinkedIn 내부 트래픽 대부분이 이미 Northguard + Xinfra 기반으로 전환 완료.
2K Followers 812 Following페미니즘을 향한 마녀사냥에 반대합니다.
정치적 이견으로 언팔하시려면 꼭 블언블.
파판들/코딩 하는 파차
Telegram: https://t.co/a5Pq4sRj0N
@[email protected]
🦋@finalchild.dev
2K Followers 5K Following2001.6.14 | 취미: 수학, 리눅스, 일본어, 마크, 메탈 | 나 떠난 사람도 오고 싶으면 받아 줌 | 일상적인 시사 자주 다룸 (현실도 재미도 없는 시사적 조롱/선동 절대 사절) | 게임, 음식, 여행: 미디어 탭 | 시사 재게시/리트윗 불편하면 (재게시/리트윗) 뮤트 추천 |
2K Followers 812 Following페미니즘을 향한 마녀사냥에 반대합니다.
정치적 이견으로 언팔하시려면 꼭 블언블.
파판들/코딩 하는 파차
Telegram: https://t.co/a5Pq4sRj0N
@[email protected]
🦋@finalchild.dev
2K Followers 5K Following2001.6.14 | 취미: 수학, 리눅스, 일본어, 마크, 메탈 | 나 떠난 사람도 오고 싶으면 받아 줌 | 일상적인 시사 자주 다룸 (현실도 재미도 없는 시사적 조롱/선동 절대 사절) | 게임, 음식, 여행: 미디어 탭 | 시사 재게시/리트윗 불편하면 (재게시/리트윗) 뮤트 추천 |
3K Followers 3K Following평범한 개발자. 저 팔로우 해도 재미 없어요. 개발 이야기 들으려고 팔로우 하는 분에겐 정치 이야기 해서 실망을 드리고 정치 이야기 들으려고 팔로우 하는 분에겐 개발 이야기 해서 실망을 드립니다. 제가 팔로우 했다고 맞팔 안하셔도 돼요.