[Cloud Computing] 05. Event Hub & IoT Hub, 실습

Azure Event Hub 의 TU, Partition, Consumer Group에 대하여

 

1. TU (Throughput Units) 

- 처리량 단위, 1개의 Unit에서는 수신) 초당 1MB, 송신)초당 2MB처리

- Event Hub에서 송/수신 하는 능력(=스트리밍 처리단위)

 

2. Partitions

- 2-32 개로 나뉘며, Queue와 비슷함.

- 적재되는 장소

- 수집능력은 같지만, 이벤트 소비측면에서 파티션이 많아야 동시처리가 가능함(파티션=큐형식으로 저장되기 때문)

- - 이벤트허브의 파티션 수는 처리량 단위 수보다 크거나 같아야함(어느파티션에 수집되는지 모르기때문)

 

3. Consumer Group

- Event Hub에 수집된 데이터를 처리하는주체, basic-1개, Standard는 허브당 20개까지 각 consumer group에서 모든 파티션에 저장된 데이터 처리

이벤트제작자 = event produce

데이터가 쏟아져들어오면, 파티션도 여러개 있어야함

AMQP -> MQTT / IBM

HTTP -> HTTPS

Event Hubs 밑에 event hub 여러개 만들수있다

이벤트 수신기에 Blob를 달면, 데이터의loss가 생기지 않음

 

 

 

1. Event Hubs 만들기

 

설정중 ' TU ' (처리량 단위)

1TU - 수신 : 초당 최대 1MB 또는 초당 1000회 이벤트(둘중빠른쪽 적용)

1TU - 송신 : 초당 최대 2MB 또는 4096개의 이벤트

 

2. + 이벤트허브 들어가서  'evnet1을 이름으로 이벤트 하나 만들기

 

 

colab 으로 작업 !

 

연결문자열 부분에 넣기위한 설정

 

event1 파일을 만들어주고, 

 

여기에 'me'라는 정책을 하나 만들어준다

me 안에서 표시된 위치의 기본키를 복사해서 코랩링크에 넣어준다.

 

 

- event1- 캡처에 가서 작업형식 parquet으로 설정해주고, 데이터캡처 구성시작 하고,

새 stream analytics 작업에 이름 만든다

 

이렇게 직관적인 화면 나오면, 이벤트 허브 클릭해서 연결버튼 누른다.

(화면은 이벤트허브의 데이터가 azure data lake 로 전달됨을 직관적으로 보여줌 )

azure data lake 를 업그레이드 해야되기때문에, 이 실습은 여기서 멈춘다

 

코랩 코드 관련 깃헙

https://github.com/SeungHyunKee/Python/blob/main/Event_Hub_sh.ipynb

GitHub - SeungHyunKee/Python

 

다운받기  (오래걸리니깐 가상머신에서 깔기~~^0^)

https://visualstudio.microsoft.com/ko/thank-you-downloading-visual-studio/?sku=Community&channel=Release&version=VS2022&source=VSLandingPage&passive=false&cid=2030 

Visual Studio를 다운로드해 주셔서 감사합니다. - Visual Studio

설치중 중간 과정에서 이 3개 선택해서 하기

 

- 가상머신 속 visual code 2022 , C#, Windows로 설정해서 만들기 -

 

에저에서 Iot hub 만들기