Test의 중요성은 아무리 강조해도 지나치지 않지만 아무래도 Data Engineer는 Test에 약한 편입니다.
저도 부족하지만 그동안 작성했던 Unit Test 관련된 글을을 모아봤습니다.
품질좋고 테스트 가능한 Data Pipeline을 구현하는데 도움이 될 수 있다면 좋겠습니다.
시리즈 읽기: Data Engineer를 위한 Unit Test
- okHttp3 MockWebServer를 이용한 Mock Elasticsearch
- Data Injection: Don’t produce me, I will produce myself
- Elasticsearch Test 환경 만들기 (부제: testContainers를 이용한 DB test 환경 구축)
- Kafka Unit Test with EmbeddedKafka
- Scala에서 Mockito 사용하기 with mockito-scala
- fabric8 kubernetes test 사용법 (mocking Kubernetes API Server)
- Quarkus에서의 Dependency Injection
- Spark Structured Streaming에서의 Unit Test