프로그래밍/Apache Kafka

kafka 서버에 요청 시 TimeoutException 발생

kafka 3.5버전 🚀 문제 상황 zookeeper 서버 실행 -> kafka 서버 실행 -> kafka 서버에 토픽이 있는지 확인 요청 -> TimeoutException zookeeper와 kafka 서버 둘 다 서버 기동 확인하고 포트번호 확인하였고, 그 후 카프카 서버에 토픽 확인 요청이나 생성 요청을 보낼 시에 찾지못하고 TimeoutException이 발생했다. 자세한 내용을 보면 "Timed out waiting for a node assignment"로 노드 할당 대기 시간 초과라고 되어있었다. 카프카 서버에 무언가 제대로 요청이 안되었음을 직감하고 stackoverflow에 검색해보았다. 🚀 해결 방법 카프카 설정폴더 안에 server.properties를 수정한다. 위 사진처럼 주석이..

아파치 카프카란 무엇일까?

백엔드 아키텍처에서 자주 보였던 플랫폼인 아파치 카프카가 무엇인지 궁금했다. 포춘 100대 기업에서 80개 기업 이상이 도입할 정도이고, 국내 서비스 기업들도 많이 사용하고 있다. 카프카가 나오기 전, 링크드인 개발자들이 대용량·대규모 데이터를 처리하기 위해 여러 플랫폼을 조합해서 사용했지만 실패하였다. 그 후 최초로 배치성 데이터와 실시간 이벤트 스트리밍 데이터를 혼합하여 처리하는 독특한 로직의 플랫폼을 만들어 냈는데, 이것이 "아파치 카프카"의 탄생이다. 아파치 카프카는 이벤트 스트리밍뿐만 아니라, 빅데이터 아키텍처에 있어서 중요한 역할을 하는 만큼 대용량·대규모 데이터 처리에 이를 대체할 플랫폼이 없을 정도이다. 아파치 카프카는 실시간 스트리밍 데이터 처리를 하는 데에 있어 가장 주목받는 프레임워크..