빅데이터 초보인데요, 카프카에 대해 간략하게 설명해 주실 수 있는분 있으신가요??? 개념이 안 잡히네요ㅠㅠ
AI/빅데이터
kafka 써보신 분
21년 02월 11일 | 조회수 317
쏘
쏘오쿠우
댓글 4개
공감순
최신순
교
교서니
21년 02월 24일
개념적으로만 보면 MQTT라는 툴을 메시지 큐로 사용합니다. 메시지 큐는 하나의 프로그램에서 다른 프로그램으로 메시지를 전달하는 일관된 방식을 제공합니다.
메시지만 전문적으로 전달하므로 단순한 형태로 관리가 가능하죠. 그러나 전달해야할 메시지의 양이 많아지면 메시지 큐에서 병목이 발생할 수도 있고, 메시지 큐에 이상이 발생하면 메시지를 잃어버릴 가능성도 발생하게 됩니다.
Kafka는 이러한 문제를 해결하고자 MQTT에서 발전하여 Cluster형태를 가진다고 보면 됩니다.
1대로는 의미가 없고, 3, 5, 7.. 이렇게 홀수 개로 관리가 됩니다.(문제가 발생시 거수 방식 적용)
1대 다, 1대1 형태로 메시지를 전송할 수 있고, 읽다가 문제가 생겨서 process가 죽더라도 다시 실행시키면 이전에 읽던 위치에서부터 메시지를 읽는 기능을 제공합니다.
현재 Kafka는 실시간 처리를 위한 중요한 역할을 담당하고 있습니다.
개념적으로만 보면 MQTT라는 툴을 메시지 큐로 사용합니다. 메시지 큐는 하나의 프로그램에서 다른 프로그램으로 메시지를 전달하는 일관된 방식을 제공합니다.
메시지만 전문적으로 전달하므로 단순한 형태로 관리가 가능하죠. 그러나 전달해야할 메시지의 양이 많아지면 메시지 큐에서 병목이 발생할 수도 있고, 메시지 큐에 이상이 발생하면 메시지를 잃어버릴 가능성도 발생하게 됩니다.
Kafka는 이러한 문제를 해결하고자 MQTT에서 발전하여 Cluster형태를 가진다고 보면 됩니다.
1대로는 의미가 없고, 3, 5, 7.. 이렇게 홀수 개로 관리가 됩니다.(문제가 발생시 거수 방식 적용)
1대 다, 1대1 형태로 메시지를 전송할 수 있고, 읽다가 문제가 생겨서 process가 죽더라도 다시 실행시키면 이전에 읽던 위치에서부터 메시지를 읽는 기능을 제공합니다.
현재 Kafka는 실시간 처리를 위한 중요한 역할을 담당하고 있습니다.
답글 쓰기
1
지금 바로 리멤버 회원이 되어
모든 댓글을 확인하세요
모든 댓글을 확인하세요
리
리멤버
@멘션된 회사에서 재직했었음
19년 05월 28일
회사에서 풀지 못한 고민, 여기서
회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다.
회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
회사에서 풀지 못한 고민, 여기서
회사에서 업무를 하다가 풀지 못한 실무적인 어려움, 사업적인 도움이 필요한 적이 있으셨나요? <리멤버 커뮤니티>는 회원님과 같은 일을 하는 사람들과 이러한 고민을 해결할 수 있는 온라인 공간입니다.
회원 가입 하고 보다 쉽게 같은 일 하는 사람들과 소통하세요
답글 쓰기
0
리
리멤버
@멘션된 회사에서 재직했었음
19년 05월 28일
일하는 사람과 기회를 연결하여 성공으로 이끈다
일하는 사람과 기회를 연결하여 성공으로 이끈다
답글 쓰기
0
추천글
