'분류 전체보기' 카테고리의 글 목록 (2 Page)

설명

서버에서 클라이언트로 데이터를 수신하는 방법 (단방향 통신)
WebSocket 의 경우, 서버 <-> 클라이언트 간 양방향 통신을 하지만, SSE 의 경우 단방향 통신을 함!
따라서 간단한 알림 전송 기능 개발등에 적합한 기술

구현 예제

// server-side

// case1) SseEmitter 이용
// https://tecoble.techcourse.co.kr/post/2022-10-11-server-sent-events/ 참고 


// case2) WebFlux 이용 
// ...
@GetMapping(value = "/sse", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> sse() {
    return Flux.just("Server time: " + LocalDateTime.now())
            .doFinally(signalType -> {
                if (signalType == SignalType.CANCEL || signalType == SignalType.ON_COMPLETE) {
                    log.info("Closing SSE connection");
                }
            });

    ..
}

<!-- client-side --> 
<!-- server-side 의 case2) 방식 대응 --> 

<!DOCTYPE html>
<html>
<head>
  <meta charset="UTF-8">
  <title>SSE TEST</title>
</head>
<body>
<h1>SSE TEST</h1>
<div id="sse-data"></div>
<script src="https://code.jquery.com/jquery-3.6.0.min.js"></script>
<script>

  const eventSource = new EventSource("{server-side주소}/sse");
  eventSource.onmessage = event => {
     $("#sse-data").append(event.data); // 이부분을 토스트 팝업 형태로 표현하면 됨!
  };

  eventSource.onerror = error => {
    console.error("SSE error:", error);
    eventSource.close();
  };
</script>
</body>
</html>

'개발 > etc' 카테고리의 다른 글

Vault (1)	2023.02.07
헥사고날 아키텍처 (Hexagonal Architecture) (2)	2022.09.25
JWT (JSON WEB TOKEN) (0)	2021.12.22
Rest API (0)	2021.06.02
HTTP관련 (https, spdy, ajax, websocket) (0)	2018.12.09

⭐️ 이슈상황) WebClient 으로 API 통신을 하는 상황에 결과값이 무분별하게 호출되는 상황이 발생함
- 예를들면 API 통신을 위해 webclient 을 1번 호출 → N 번의 호출 결과로 노출이 된 상황 (⁉️)

↓↓↓ 아래는 잘못 만든 JAVA 코드의 일부임.
WebClient 을 잘 모르고! Non-blocking/Asynchronous 의 특성을 생각 못하고! subscribe, block 을 무분별하게 호출한 상황 (ㅠㅠ)

// 1) testmethod 는 API 통신 메소드 의 일부 
public Mono<dto> testmethod() { 
    Mono<dto> test = WebClient.builder()..build().post().exchangeMono()..;
    return test;
}


// 2) testmethod 을 호출한 영역 
...
Mono<dto> dto = testmethod();

dto.subscribe(res -> {…}, error -> {…});
dto.subscribe(res -> {…}, error -> {…});
dto.block();
dto.block();
dto.block();

// 이 결과 testmethod()은 1번 호출하였으나 그에 따른 결과는 5번으로 호출된 상황. Non-blocking...async..의 상황...

❓❓❓❓왜❓❓❓❓

dto.block() 의 경우, mono 구독 후 응답이 올때까지 기다림!
그 사이, dto.block() 을 또 선언을? 하였다면 스레드가 2개가 실행되는 상황이 되버리는것?

dto.subscribe(res...) 의 경우도 여러개가 선언되면 각각 subscribe 내에서 처리가 끝남. = (비동기 처리 - 함수형) x 여러개 = 콜백늑낌

그러므로 비동기 특성을 잘 이해하여 로직을 구현해야함.

❗️subscribe, block 을 같이 혹은 여러개!!!!! 선언하지 않도록 하기 (무분별하게 호출해야하는 상황이라면 모를까)
❗️subscribe (함수형?)으로 받았다면 절차지향형의 프로세스와는 상관없이 subscribe 내에서 처리해도 되는것인지 잘 고민해보기. (non-blocking 특성을 활용하기 위해 webclient 을 사용하는것이 아닌가 싶음 )

'개발 > java' 카테고리의 다른 글

[java] 객체지향 모델링 (0)	2024.06.24
[RxJava] 리액티브 프로그래밍 (0)	2022.05.02
java - call by value, call by reference (0)	2021.07.11
자바-람다(lambda) (0)	2021.05.28
프로세스 / 스레드 (0)	2021.05.26

✎ Vault

API 을 사용하여 민감정보를 관리하는 시스템.

✱ 민감정보
비밀번호, 토큰, 인증서 등의 암호화 해야하는 어떠한 것들

https://www.vaultproject.io/ 에서 개발함.

✎ Vault 사용 이유

프로젝트 내에 보안적인 요소를 고려해야 하는 값(계정 및 패스워드 = 민감정보 등)들을 HTTP API 통신을 이용하여 외부(=git 저장소 등)에 노출시키지 않은 상태로 사용할 수 있기 때문에 보안에 효율적임.

✎ 간단하게 스프링부트 프로젝트 에서 사용해본 Vault

1. Vault 설치 및 실행 확인

$ brew install vault # vault 설치
$ vault server --dev --dev-root-token-id="00000000-0000-0000-0000-000000000000" # vault 서버 실행

☞ https://www.vaultproject.io/docs/commands/server 에 자세한 설명이 있다.

⁉️ 만약 Get "https://127.0.0.1:8200/v1/sys/internal/ui/mounts/secret/application/db": http: server gave HTTP response to HTTPS client 이러한 에러가 발생하였을 경우
↓↓ 아래내용 실행 (터미널)

$ export VAULT_ADDR='http://localhost:8200'

2. key/vaule 생성 및 확인

$ vault kv put secret/application username=mungmang password=12345 # key, vaule 생성

Key                Value
---                -----
created_time       2022-01-08T15:46:25.89734Z
custom_metadata    <nil>
deletion_time      n/a
destroyed          false
version            1

$ vault kv get secret/application # path 으로 key, vaule 조회 

======= Metadata =======
Key                Value
---                -----
created_time       2022-01-08T15:46:25.89734Z
custom_metadata    <nil>
deletion_time      n/a
destroyed          false
version            1

====== Data ======
Key         Value
---         -----
password    12345
username    mungmang

☞ https://learn.hashicorp.com/collections/vault/getting-started 에 vault 사용 방법에 대해 자세히 설명해준다.

3. SpringBoot project 에 vault 연동여부 적용

// build.gradle 파일에 아래의 정보 추가

ext {
    ...
    set('springCloudVersion', "2021.0.1-SNAPSHOT")
}

dependencies {
	...
	implementation 'org.springframework.cloud:spring-cloud-starter-vault-config'
}
    

dependencyManagement {
    imports {
        mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"
    }
}

// application.yml에 아래의 내용 추가
spring:
  config:
    import: vault:// 
  cloud:
    vault:
      uri: http://localhost:8200
      token: 00000000-0000-0000-0000-000000000000
      kv:
        backend: secret
        default-context: application #secret 이후의 경로

✱ 참고로 Spring Cloude Vault 3.0 및 Spring Boot 2.4 이상에선 bootstrap.yml, bootstrap.properties 가 더이상 사용되지 않는다고함. 그리고 Spring Boot Config Data 접근방식을 사용하려면 spring: config: import에 Vault 시스템을 바인딩 하기 위한 속성 설정이 필요함. (Spring Boot 의 Config Data API)
아님, application.yml에 spring:cloud:bootstrap:enabled: true or pom.xml or build.gradle 파일에 spring-cloud-starter-bootstrap import을 하여 bootstrap.yml 을 활성화를 할 수 있음.

☞ https://docs.spring.io/spring-cloud-vault/docs/current/reference/html/#client-side-usage 에 자세한 설명이 있다.

// config 패키지 생성후 아래의 클래스 생성 

@Getter
@Configuration
public class VaultData {

    @Value("${username}")
    private String username;

    @Value("${password}")
    private String password;
}

// 확인

@Slf4j
@SpringBootApplication
public class HelloApplication {

    public static void main(String[] args) {

        ConfigurableApplicationContext context = SpringApplication.run(HelloApplication.class, args);

        // vault 테스트 --
        VaultData vaultData = context.getBean(VaultData.class);
        log.info("username:{}", vaultData.getUsername());
        log.info("password:{}", vaultData.getPassword());
    }
}

end ~

'개발 > etc' 카테고리의 다른 글

SSE (Server Sent Event) (1)	2023.08.20
헥사고날 아키텍처 (Hexagonal Architecture) (2)	2022.09.25
JWT (JSON WEB TOKEN) (0)	2021.12.22
Rest API (0)	2021.06.02
HTTP관련 (https, spdy, ajax, websocket) (0)	2018.12.09

설명

‣ 포트 앤 어댑터 아키텍처을 이용
‣ 외부영역 & 내부영역 을 나눠 고수준의 내부 영역이 외부 영역에 의존하지 않도록 하는것이다!
‣ 유지보수, 유연성, 확장성에 좋음.
‣ 복잡할수록 빛을 발하지만, 단순하다면 경우 이렇게까지 구성할 필요는 없음!

🔸 외부영역
• 비지니스 처리 결과 리턴 (REST API 발행)
• 인바운드 어댑터, 아웃바운드 어댑터로 구성

🔸 내부영역
• 순수 비지니스 로직 구성
• 외부영역과 연계되는 포트를 가지고 있음
• 인바운드 포트, 아웃바운드 포트로 구성
• POJO 존재

‣ 아웃바운드 어댑터가 아웃바운드 포트에 의존해서 구현됨
‣ 어플리케이션이나 어댑터가 변경 되어도 도메인은 영향을 받지않음
‣ 클린 아키텍처와도 유사
‣ SOLID의 단일책임원칙(Single Reason to Change Principle, SRP), 의존성역전원칙(Dependency Inversion Principle, DIP) 을 이용

※ 포트 앤 어댑터 아키텍처
인터페이스나 기반 요소의 변경에 영향을 받지 않는 핵심 코드를 만들고 이를 견고하게 관리하는것이 목표
외부영역과 내부영역을 분리함
영역의 사이 input, ouput 전달은 포트(=인터페이스) 을 통해서만 함.

※ 단일책임원칙(Single Reason to Change Principle, SRP)
하나의 컴포넌트는 오로지 한 가지 일만 해야하고, 그것을 올바르게 수행해야함!
= 컴포넌트 변경 이유는 오직 하나뿐이여야함!!!

※ 의존성역전원칙(Dependency Inversion Principle, DIP)
코드상의 어떤 의존성이든 그 방향을 바꿀 수 있다.

구조

https://engineering-skcc.github.io/microservice%20inner%20achitecture/inner-architecture-2/

https://github.com/wikibook/clean-architecture

🌱 인바운드 포트
▪︎ 인바운드 어댑터가 호출(사용함)

🌱 아웃바운드 포트
▪︎ 아웃바운드 어댑터가 아웃바운드 포트에 의존하여 구현
(=아웃바운드 포트가 아웃바운드 어댑터 구현체 호출)

🌱 인바운드 어댑터
▪︎ 외부요청 처리 (API 요청/응답 결과)
▪︎ 아웃바운드 포트 인터페이스를 가져다가 사용하여 어댑터를 생성.
▪︎ 스프링 MVC 컨트롤러, 커맨드 핸들러, 이벤트 메세지 구독 핸들러 등.

🌱 아웃바운드 어댑터
▪︎ 내부 비지니스 영역과 외부 서비스간 데이터 교환
▪︎ 데이터 엑세스 처리 (DAO), 이벤트 메세지 발생, 외부 서비스 호출 등

이를 사용하계된 계기 (계층형 아키텍처의 단점)

‣ 계층형 아키텍처는 데이터베이스 주도 설계를 유도함. (도메인에 의존이 아닌 데이터베이스에 의존) - 비지니스 관점으로는 별로임
‣ ORM 프레임워크의 경우 계층형 아키텍처와 결합하면 비즈니스 규칙을 영속성 관점과 섞고 싶은 유혹을 쉽게 받음.
‣ 영속성 코드가 도메인코드에 녹아들면 마음대로 바꾸기가 쉽지 않게 됨.
‣ 웹 계층 테스트시 도메인 및 영속성 범위까지 모킹해야함. 시간소요가 많아짐.
‣ 그외에도 테스트가 어렵고 동시작업이 어려움.
‣ 유지보수 쉬운! 소프트웨어를 만들필요성이 있다.

참고

- 링크: https://engineering.linecorp.com/ko/blog/port-and-adapter-architecture/

- 링크: https://velog.io/@youngmin-mo/hexagonalarchitecture

- 인프런강의: https://www.inflearn.com/course/%EC%8B%A4%EB%AC%B4-msa-%EC%9D%B4%EC%95%BC%EA%B8%B0/dashboard

- 책: 만들면서 배우는 클린 아키텍처

'개발 > etc' 카테고리의 다른 글

SSE (Server Sent Event) (1)	2023.08.20
Vault (1)	2023.02.07
JWT (JSON WEB TOKEN) (0)	2021.12.22
Rest API (0)	2021.06.02
HTTP관련 (https, spdy, ajax, websocket) (0)	2018.12.09

목적

소스코드를 github에 반영 & Local 서버(Mac OS) 내 docker 에 배포해보기 (+dockerHub에도 반영)
‣ jenkins pipeline 이용

⭐️ https://www.youtube.com/watch?v=PKcGy9oPVXg 을 보고 실습하면서 정리해봄! ⭐️

작업순서

1️⃣ 프로젝트 셋팅 및 github push

1-1. 프로젝트 생성
‣ 나의 경우, spring Initializr or https://start.spring.io으로 프로젝트 생성

# DockerFile
FROM openjdk:11
EXPOSE 8081
ADD build/libs/cicd-study.jar cicd-study.jar
ENTRYPOINT ["java", "-jar", "/cicd-study.jar"]



...
# application.yml
server:
  port: 8081
  
  
  
...
@RestController
@SpringBootApplication
public class MainApplication {

	@GetMapping
	public String message() {
		return "HELLO !!!!!!!!!!";
	}
	public static void main(String[] args) {
		SpringApplication.run(MainApplication.class, args);
	}

}

1-2. github 프로젝트 생성 및 push

terminal 에 [...or create a new repository on the command line] 실행

$ git init
$ add .
$ git commit -m "first commit"
$ git branch -M main
$ git remote add origin git@github.com:mumgmangmange/test2.git
$ push -u origin main

만약, git add . 가 안되거든, ./gradlew clean 실행

※ gradle or gradlew 사용의 차이?
Wrapper는 선언된 버전의 Gradle을 호출하고 필요에 따라 미리 다운로드하는 스크립트이다.
작업환경 내 다른버전의 gradle이 있더라도 따로 설치가 필요 없음 (시간 및 돈 절약 가능)

http://daplus.net/gradle-gradlew%EC%99%80-gradle-%EC%82%AC%EC%9A%A9%EC%9D%98-%EC%B0%A8%EC%9D%B4%EC%A0%90/

2️⃣ docker 실행 (서버 내 없으면 설치 필요)

Install Docker Desktop on Mac

docs.docker.com

...칩셋 확인 (인텔칩,,맥칩,,)

설치 완료하면, docker-compose 및 docker version 설치됨

3️⃣ jenkins 실행 (서버 내 없으면 설치 필요)
‣ 나는 brew 으로 설치함
‣ 그리고 jenkins 계정생성 관련 → 해당 링크 내 2-5 확인

-- jenkins 설치
$ brew install jenkins 

-- jenkins 실행
$ brew services start jenkins

4️⃣ jenkins 프로젝트 셋팅 및 배포환경 설정

↓↓↓ 파이프라인 스크립트 내용 ↓↓↓

pipeline {
    agent any
    stages { 
        stage('Build Gradle') { // github 의 소스파일 불러오고, build clean 및 build
            steps {
                checkout([$class: 'GitSCM', branches: [[name: '*/main']], extensions: [], userRemoteConfigs: [[url: 'git@github.com:xxxxx/xxx.git']]])
                sh './gradlew clean build'
            }
        }
        stage('Build docker image') { // 도커 이미지 빌드 
            steps {
                // withEnv 블록 내 환경변수 설정 가능하도록 함 
                withEnv(['PATH+EXTRA=/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/bin']) {
                    sh 'docker rmi -f 도커이미지명[:TAG]'
                    sh 'docker build -t 도커이미지명[:TAG] .'
                }
            }
        }
        stage('Push image to Hub') { // docker hub 에 image 푸시 
            steps {
                withEnv(['PATH+EXTRA=/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/bin']) { // /usr/local/bin 사용 위해 withEnv 사용 
                    withCredentials([string(credentialsId: 'docker계정명', variable: 'dockerpwd')]) {
                        sh 'docker login -u 도커계정아이디 -p ${dockerpwd}'
                    }
                    sh 'docker push [OPTIONS] 도커이미지명[:TAG]'
                }
            }
        }
        stage('Image Execute') { // 이미지 컨테이너 실행 
            steps {
                withEnv(['PATH+EXTRA=/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/bin']) {
                        sh '''docker run --name cicd-study \
    -v //var/run/docker.sock:/var/run/docker.sock  \
    --privileged \
    -p 8081:8081 \
    -d \
     도커이미지명[:TAG]'''
                }
            }
        }
    }
}

❗️❗️ dockerHub 업로드 생략하려면 파이프라인 소스 관련 주석처리해도될듯!
그렇지 않다면, https://hub.docker.com/settings/security?generateToken=true 접속 및 accessToken 생성해두고, jenkins credentials 에 등록

http://jenkins주소/credentials/store/system/domain/_/newCredentials 접속 및 secret 에 accessToken 등록

5️⃣ 빌드 및 배포 성공

참고

https://bcp0109.tistory.com/352

https://chinsun9.github.io/2020/10/22/denied-requested-access-to-the-resource-is-denied/

https://i5i5.tistory.com/527

https://www.inflearn.com/questions/229989

https://m.blog.naver.com/wideeyed/221533279838

https://unix.stackexchange.com/questions/4186/what-is-usr-local-bin

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=special9486&logNo=220274932377

'개발 > infra' 카테고리의 다른 글

VM(Virtual machine) & Container (feat. docker) (1)	2022.09.04
CI/CD 및 Jenkins (0)	2022.09.04
[Jenkins] 작업 결과물(Springboot jar file, gradle 이용)을 AWS EC2에 반영해보기 (2)	2022.05.06
[k8s] 쿠버네티스 (0)	2022.02.16
[k8s] 컨테이너 오케스트레이션(container orchestration) (0)	2022.02.16

VM(Virtual machine)

▪︎ 하이퍼바이저(hypervisor)라는 소프트웨어를 이용해 하나의 시스템에서 여러개의 운영체제를 사용
▪︎ 게스트 os을 관리로 인한 오버헤드 발생, 이미지도 큼
▪︎ 배포속도 및 부팅속도 느림

Container

▪︎ 하이퍼바이저(hypervisor) 없이 컨테이너 엔진을 사용해 가상의 격리된 공간을 생성
▪︎ 호스트의 커널 공유함
▪︎ 애플리케이션 실행 위한 라이브러리 & 실행파일만 존재
▪︎ 용량 적고, 커널을 포함하지 않기 때문에 배포 빠르고 성능 손실이 거의 없음
▪︎ 마이크로 서비스에 용이
▪︎ 관련 기술로 도커(Docker)를 많이 사용

Docker

▪︎ 어플리케이션을 관리하는 것과 동일한 방식으로 인프라 관리 가능.
▪︎ 이식성, 신속성, 재사용성
▪︎ Dockerfile 로 도커 이미지 생성 자동화

❉ 도커 이미지는 실행환경, 소스코드, 쉘 스크립트 등을 파일을 묶은 형태이고, 컨테이너는 이미지를 실행한 상태

+ 그리고 컨테이너들을 관리하기 위한 기술이 컨테이너 오케스트레이션!
컨테이너 오케스트레이션 관련 도구로 유명한것이 k8s (쿠버네티스!)

참고

- 책: 도메인 주도 설계로 시작하는 마이크로서비스 개발
- 링크: http://koushki.net/2018/06/the-difference-between-vm-and-container/

The difference between VM and Container? - The blog on Virtualization and Cloud solutions

One of the most interesting terms in virtualization that is appeared recently is containers. The containers offering a new layer of virtualization that are fit for packaging application. This type of virtualization allows to quickly build and deploy a larg

koushki.net

- 링크: https://docs.docker.com/get-docker/

'개발 > infra' 카테고리의 다른 글

[Jenkins] Pipeline 으로 Docker에 소스코드 배포해보기 정리 ! (1)	2022.09.11
CI/CD 및 Jenkins (0)	2022.09.04
[Jenkins] 작업 결과물(Springboot jar file, gradle 이용)을 AWS EC2에 반영해보기 (2)	2022.05.06
[k8s] 쿠버네티스 (0)	2022.02.16
[k8s] 컨테이너 오케스트레이션(container orchestration) (0)	2022.02.16

CI/CD 란

설명

• 각각의 개발자들이 개발하는 환경을 사용자가 사용 가능한 서비스로 전달하는 모든 과정을
지속 가능한 형태로 혹은 자동으로 하여 개발자 및 사용자 사이의 격차를 없애는것
• 빌드 및 배포를 함!

개발자 → 코드작성 → 빌드(webpack, javac..) → 테스트(junit..) → 배포(ecs update,,) → 사용자

► Continuous Integration (지속적 통합)
• 통합의 대상? 코드!
• 여러 개발자들의 코드베이스를 계속해서 통합하는것.

► Continuous Delivery (서비스 배달)
• 사용자에게 제품을 서비스를 지속적으로 배달!
• 코드베이스가 항상 배포가능한 상태를 유
• Blue/green, Rolling update, Canary

► Continuous Deployment
• 코드베이스를 사용자가 사용가능한 환경에 배포하는 것을 자동화함.
• 피드백 반영하는 개발 문화를 강조

CI/CD 해야하는 이유

• 코드 관리의 어려움 때문 (여러명의 개발자가 같은영역을 개발할때 충돌등이 발생할 수 있기 때문. 이를방지)
• 빨리 코드를 코드베이스에 안착!

Jenkins

설명

• Java Runtime 위에서 동작하는 자동화 서버
• 빌드, 테스트, 배포 등 모든것을 자동화 해주는 자동화 서버
• 다양한 플러그인들을 활용해서 각종 자동화 작업을 처리할 수 있음
• 일련의 자동화 작업의 순서들의 집합인 Pipeline을 통해 CI/CD 파이프라인을 구축함
• Credentials Plugins(중요정보 aws token, git acccess token 등 저장해주는 플러그인), Gid Plugin, Pipeline, Docker plugin 등의 플러그인이 존재

Pipeline

설명

• CI/CD 파이프라인을 젠킨스에 구현하기 위한 일련의 플러그인들의 집합이자 구성.
• 파이프라인을 통해 서비스가 배포됨.
• 작업명세서.
• DSL(Domain Specific Language) 으로 작성.
• 두가지 형태의 Pipeline syntax가 존재 (Declarative, Scripted Pipeline)

Pipeline 구성 요소

● Sections
• Agent section : 어떤 젠킨스에게 일을 시킬지 지정! (젠킨스 노드 새로 띄우거나, docker 이미지를 통해 사용)
• Post section : 스테이지 끝난 후 후속조치 취할 수 있음.
• Stages section : 어떤일을 처리할지 stage 정의
• Step section : 단계별 스텝 정의

● Declaratives
• Environment : 어떤 파이프라인이나 stage scope의 환경변수 설정
• Parameter : 파이프라인 실행 시 파라미터 받음
• Triggers : 어떤 주기로 실행
• When : 언제 실행되는가

● Steps
• 여러 작업들 실행 가능.

무중단 배포 방식 3가지

❖ Rolling Update
• 컨테이너 이미지를 새 버전으로 하나씩 교체
• 최소한의 오버헤드/성능 영향/중단

❖ Canary
• 새로운 배포 버전과 현행 버전을 Prod 환경에서 동시에 검증하고자 할때 활용
• 위험 감지 배포 기법

❖ Blue/Green
• 완전하게 준비된 상황에서 서비스 교체
• 높은 오버헤드와 서비스 장애 최소화 간 조율

참고

- 링크: https://www.youtube.com/watch?v=JPDKLgX5bRg&list=PL9mhQYIlKEhfgLHvRBRKmTg6HmfSDe8tr&index=1

- 링크: https://onlywis.tistory.com/10

배포 전략: Rolling, Blue/Green, Canary

예전에는 수 개월(혹은 수 년)에 한 번씩 서비스를 릴리즈 했었지만, 최근에는 서비스를 더 작게 만들고(마이크로서비스) 더 자주 배포(Deployment) 하는 방식으로 변화하고 있다. 이러한 트렌드에

onlywis.tistory.com

- 강의: https://www.inflearn.com/course/%EC%8B%A4%EB%AC%B4-msa-%EC%9D%B4%EC%95%BC%EA%B8%B0

'개발 > infra' 카테고리의 다른 글

[Jenkins] Pipeline 으로 Docker에 소스코드 배포해보기 정리 ! (1)	2022.09.11
VM(Virtual machine) & Container (feat. docker) (1)	2022.09.04
[Jenkins] 작업 결과물(Springboot jar file, gradle 이용)을 AWS EC2에 반영해보기 (2)	2022.05.06
[k8s] 쿠버네티스 (0)	2022.02.16
[k8s] 컨테이너 오케스트레이션(container orchestration) (0)	2022.02.16

배치 처리

・ 일정량의 데이터를 모아서 한번에 처리하는것
・ 일정한 순서에 따라 처리가 이루어짐
・ 응답성보다 시간당 처리량을 우선시하는 처리방식!

⏰ 잡 스케줄러, 셸 스크립트, 프로그래밍 언어등으로 구현할 수 있다.

배치처리 충족 조건

・ 대량의 데이터를 제한된 리소스로 효율적으로 처리할 수 있어야 함
・ 가능한 한 중단된 작업을 다시 계속할 수 있어야 함
・ 다양한 실행 조건을 지원해야 함.
・ 다양한 입출력 인터페이스를 다룰 수 있어야 함

스프링 배치

・ 스프링에서 제공해주는 배치 프레임워크
・ 스프링이 가지고 있던 DI 컨테이너, AOP, 트랜잭션 관리 기능을 기본으로 가지고 있음.

💥 참고로 스프링 배치는 대량 데이터를 한번에 처리 하고
스프링 스케줄러는 스프링 배치를 일정한 시간간격 or 일정한 시간에 !!실행!!시켜주는 역할을 함! (배치랑 스케줄러 다름!!)

스케줄러 프레임워크로..
- Spring Scheduler (별도의 의존성 필요하지 않음! spring boot starter 에 기본 의존성 제공됨)
- Spring Quartz (의존성 추가 필요, 스케줄링의 세밀한 제어가 필요할때 사용..)
등이 존재함.

젠킨스로도 관리할 수 있다.

스프링 배치 특징

・ Tasklet 방식 (SQL 한번 실행, 명령 실행 등 단순 처리) / Chunk 방식 존재함 (대량 데이터 처리, 트랜잭션은 스프링 배치가 처리)
・ 다양한 실행 방법을 제공한다. (명령행 실행, 서블릿 실행 등)
・ 다양한 데이터 형식으로 입출력할 수 있다. (파일, 데이터베이스, 메세지큐 등)
・ 배치 처리를 효율적으로 수행할 수 있다. (다중실행, 병렬실행, 조건분기 등)
・ Job을 관리할 수 있다. (Job이 실행되던 상황을 저장 or 재시작 가능)

스프링 배치 구조

JobLauncher
배치 어플리케이션을 기동하기 위한 인터페이스. 모든 배치 애플리케이션은 이 클래스를 통해 실행.
인수전달 등도 여기서 처리!
Job
배치 애플리케이션에서 일련의 처리 과정을 하나의 단위로 만든 실행 단위
Step
잡을 구성하는 세부 처리 단위. 하나의 Job은 N개의 Step으로 구성될 수 있다.
하나의 Job 처리를 여러개의 Step으로 분할하면 세부 처리를 재사용하거나 병렬 처리를 적용할 수 있고, 조건 분기에 따른 제어도 할수있다.
Chunk방식이나 Step방식 중 한가지 형태로 실행됨.
ItemReader, ItemProcessor, ItemWriter
Step을 데이터의 입력, 가공, 출력의 세가지 패턴 처리로 분할하기 위한 인터페이스
Chunk방식을 구현할 때 이 세가지 패턴을 활용함.
JobRepository
Job or Step 상태를 관리함. 이러한 정보는 스프링 배치가 정의한 테이블 스키마 형태로 데이터베이스에 저장됨.

스프링 배치 아키텍처

참고

https://terasoluna-batch.github.io/guideline/5.0.0.RELEASE/en/Ch02_SpringBatchArchitecture.html

Spring Batch Architecture

Spring Batch architecture acting as a base for TERASOLUNA Server Framework for Java (5.x) is explained. What is Spring Batch Spring Batch, as the name implies is a batch application framework. Following functions are offered based on DI container of Spring

terasoluna-batch.github.io

https://sabarada.tistory.com/113

[Spring] Scheduler 어떤걸 사용해야 할까 ? - Spring Scheduler와 Spring Quartz

일정한 시간간격 또는 일정한 시각에 특정 로직을 돌리기 위해서 사용하는 것을 Scheduler라고 합니다. 이런 Scheduler는 Spring에서 Spring Scheduler와 Spring Quartz라는 2가지 방식으로 제공됩니다. 1가지 일

sabarada.tistory.com

https://blog.junu.dev/34

[우아한테크세미나] 우아한 스프링 배치 후기

우아한 스프링 배치 지난달에 이어서 운 좋게9월 우아한 테크 세미나에도 당첨되어 세미나에 다녀왔습니다. 취업준비를 할 때 가장 많은 도움을 받은 블로그 이기도 하고, 현재 제가 다니는 회

blog.junu.dev

https://jojoldu.tistory.com/325?category=902551

2. Spring Batch 가이드 - Batch Job 실행해보기

이번 시간에는 간단한 Spring Batch Job을 생성 & 실행하면서 전반적인 내용을 공부해보겠습니다. 작업한 모든 코드는 Github에 있으니 참고하시면 됩니다. 2-1. Spring Batch 프로젝트 생성하기 기본적인

jojoldu.tistory.com

책 스프링 철저 입문

RESTful, 비효율적 텍스트 기반 메세지 프로토콜

RESTful 서비스는 HTTP 1.x 와 같은 텍스트 기반 전송 프로토콜로 구축되고, JSON 처럼 사람이 읽을 수 있는 텍스트 포맷을 활용함.
그런데, 서비스간 통신을 할 경우(common server - user server 이런식?) 사람이 읽을 수 있는 텍스트 기반 포맷을 사용할 필요가 없음!
→ 비효율적이라 판단함.

클라이언트가 서버로 전송할 바이너리 콘텐츠를 만든 후, 바이너리 구조체를 텍스트로 변환함.
그리고 네트워크를 통해 텍스트로 전송하고 서비스측에서 다시 바이너리 구조로 변환함.
→ 이럴바에 비즈니스 로직으로 바로 매핑될 수 있는 바이너리 형식으로 쉽게 전송하는것이 낫다고 판단!

RPC

설명

클라이언트 - 서비스 애플리케이션을 구축하는 데 널리 사용되는 프로세스간 통신 기술
RPC을 통해 클라이언트는 로컬 메서드를 호출하는 것처럼 원격으로 메서드 기능을 호출할 수 있다.

gRPC

설명

구글에서 만든 오픈소스 원격 프로시저 호출 시스템.

※ 원격 프로시저
별도의 원격 제어를 위한 코딩 없이 다른 주소 공간에서 함수나 프로시저를 실행할 수 있게하는 프로세스 간 통신 기술이다.
다시 말해, 원격 프로시저 호출을 이용하면 프로그래머는 함수가 실행 프로그램에 로컬 위치에 있든 원격 위치에 있든 동일한 코드를 이용할 수 있다.

로컬함수를 호출하는 것 만큼 쉽게 분산된 이기종 애플리케이션을 연결/호출/운영/디버깅 할 수 있는 프로세스 간 통신 기술.
주로 통신에 동기식 요청-응답 스타일을 사용하나, 초기 통신이 설정되면 완전 비동기식이거나 스트리밍 모드에서 작동할 수 있다.
프로토콜 버퍼와 HTTP/2 프로토콜 위에 구축됨.

※ 프로토콜 버퍼
구조화된 데이터를 직렬화하고자 언어에 구애 받지 않고 플랫폼 중립적이며 확장 가능한 메커니즘인 데이터 직렬화 프로토콜.
데이터가 직렬화되면 이 프로토콜은 일반 JSON 페이로드보다 크기가 작고 강력한 형식의 바이너리 페이로드를 생성함.
→ HTTP/2라는 바이너리 전송 프로토콜을 통해 전송!

구성 프로젝트

● 인터페이스 정의
‣ 서비스를 사용하는 방법, 원격으로 호출되는 메서드 종류, 해당 메서드를 호출하기 위한 파라미터, 메세지 형식등을 포함.
‣ *.proto 파일로 정의(=인터페이스 정의 언어), 이는 프로토콜 버퍼 메세지로 RPC 메서드 파라미터 및 반환 타입과 함께 gRPC 서비스를 일반 프로토콜 버퍼 형식으로 정의함.
‣ 프로토 파일에서 코드를 생성하고자 gRPC 플러그인이 사용된다.

※ gRPC 플러그인
gRPC 서버측, 클라이언트측 코드 뿐만이 아니라
정의된 메세지 타입의 데이터 지정, 직렬화, 데이터 취득의 일반 프로토콜 버퍼 코드도 생성할 수 있다.

● 서버
‣ 인터페이스 정의가 완료되면, protoc을 사용해 서버측이나 클라이언트 측 코드를 생성할 수 있다.
‣ 스켈레톤(server skeleton) 이라는 서버측 코드 생성가능. 저수준의 통신 추상화를 통해 서버 측 로직 단순화 가능.
(gRPC 관련 상위 서비스 클래스를 오버라이드 하여 스켈레톤(server skeleton) 이라는 서버측 코드 구현!)
‣ 로직 구현 후, 서버 실행하여 클라이언트 요청 수신 및 응답!

● 클라이언트
‣ 스텁(client stub) 이라는 코드를 생성할 수 있음. 메소드 함수 호출하는것처럼 쉽게 클라이언트측에서 원격 호출 가능.
‣ 스텁(client stub)은 서버와 동일한 메서드를 제공하는데, 클라이언트 코드에서 메서드들의 호출을 네트워크상 원격 함수 호출로 변환함.

으로 구성.

클라이언트-서버 흐름

ProductInfo Service 가 인터페이스 정의부, Consumer가 클라이언트, Product Info 가 서버

▶︎ 네트워크 통신은 HTTP/2를 통해 이루어짐
▶︎ (java 기준) *.proto 파일 생성 후, 빌드하면(물론 관련 패키지 import하고,,) grpc 사용관련 클래스들이 생성되고, 이를 서버와 클라이언트가 사용하는것으로 확인

gRPC 장점

• 프로세스간 통신 효율성이 증대
텍스트 형식 대신 프로토콜 버퍼 기반 바이너리 프로토콜을 사용하여 gRPC 서비스 및 클라이언트와 통신하며,
HTTP/2 프로토콜 버퍼로 구현되기에 프로세스 간 통신 속도가 매우 빨라진다.

• 간단 명확한 서비스 인터페이스 스키마
먼저 서비스 인터페이스를 정의 하고나서 구현 세부 사항을 작업한다. (구현이 간단)

• 엄격한 타입 점검 형식
프로토콜 버퍼를 사용하기에 gRPC 서비스 계약은 애플리케이션간 통신에 사용할 데이터 타입을 명확하게 정의한다.

• 폴리글랏
여러 프로그래밍 언어와 작동하도록 설계됨. 특정언어에 구애 안받음!

• 이중 스트리밍

• 유용한 내장 기능 지원

• 클라우드 네이티브 생태계와 통합
넷플릭스 도커 시스코 등에서 채택

gRPC 단점

• 외부 서비스 부적합
외부 클라이언트에 제공하려는 경우는 적합하지 않을 수 있음.
계약 기반이고, 강력한 타입 속성을 갖기 때문
그래서 gRPC 게이트웨이는 이 문제를 해결책으로 설계됨.

• 서비스 정의의 급격한 변경에 따른 개발 프로세스 복잡성
gRPC 서비스가 재정의되면, 클라이언트 및 서버 코드 모두 변경을 해야함;

• 상대적으로 작은 생태계
브라우저 및 모바일 애플리케이션에서 gRPC 지원은 초기 단계라고함.

..

참고

책: http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791161754635
링크: https://thenewstack.io/grpc-remote-procedure-calls-in-a-nutshell/

gRPC Remote Procedure Calls in a Nutshell

gRPC (gRPC Remote Procedure Calls) is one of the most popular inter-process communication protocols in the modern microservices and cloud native era.

thenewstack.io

gRPC 시작에서 운영까지 - 교보문고

도커와 쿠버네티스를 위한 클라우드 네이티브 애플리케이션 구축 | ★ 이 책에서 다루는 내용 ★■ gRPC의 기본 사항을 이해하고 유사한 기술과 비교하기■ 실제 사례를 통한 gRPC 통신 패턴 확인

www.kyobobook.co.kr

링크: https://grpc.io/

gRPC

A high-performance, open source universal RPC framework

grpc.io

링크: https://ko.wikipedia.org/wiki/%EC%9B%90%EA%B2%A9_%ED%94%84%EB%A1%9C%EC%8B%9C%EC%A0%80_%ED%98%B8%EC%B6%9C

원격 프로시저 호출 - 위키백과, 우리 모두의 백과사전

원격 프로시저 호출(영어: remote procedure call, 리모트 프로시저 콜, RPC)은 별도의 원격 제어를 위한 코딩 없이 다른 주소 공간에서 함수나 프로시저를 실행할 수 있게하는 프로세스 간 통신 기술이

ko.wikipedia.org

목적

작업 결과물(Springboot jar file, gradle 이용)을 AWS EC2에 반영해보기
‣ jenkins 서버에 작업 결과물을 빌드 / 배포하는 셈.
‣ 작업 결과물은 개인 github 에서 가져옴! (github 의 webhook 기능 이용)

작업순서

1️⃣ EC2 생성 및 터미널 접속
‣ EC2 생성방법은 생략함. (t2.micro 이용 (메모리 1GB..jenkins 배포는 되긴함!..), aws linux 이용)
‣ pem key 소중하게 보관하도록하기 (ssh 폴더에 이동시키는 등)

1-1. EC2 보안그룹 설정하기 (인바운드 규칙 설정)

1-2. EC2 인스턴스 서버 접속 시도 (2가지)

- pem key 을 .ssh 폴더로 옮겨주는 작업을 추가함.

$ sudo mv {pem key 위치경로}/jenkins.pem ~/.ssh

⭐️ 참고로 실습의 상황이기에 EC2 서버를 내리고 올리는 경우가 존재한다면
[1. ssh 으로 접속하는 방법] 으로 하는것이 맞을듯. (IPv4가 서버 재시작시 바뀜)

1-2-1. ssh 으로 접속하는 방법

# ssh -i {pem key 경로} {ec2 인스턴스 계정ID}@{퍼블릭 IPv4 DNS or 퍼블릭 IPv4 IP}
$ ssh -i ~/.ssh/jenkins.pem ec2-user@ec2-2-3-4-5.ap-northeast-2.compute.amazonaws.com

# root 권한이 아닌 경우 
$ sudo ssh -i ~/.ssh/jenkins.pem ec2-user@ec2-2-3-4-5.ap-northeast-2.compute.amazonaws.com

1-2-2. ~/.ssh/config file 에 접속정보 추가 후, Host 명으로 접속하는 방법

$ vi ~/.ssh/config 

# 열어서 아래내용 추가
Host test_jenkins

 User ec2-user
 HostName ec2-2-3-4-5.ap-northeast-2.compute.amazonaws.com
 IdentityFile ~/.ssh/jenkins.pem
 
# 그리고 저장 (:wq!)
 
# 접속시도는 아래와 같이 함. (root 권한 아닌 경우 sudo ssh ~)
$ ssh test_jenkins

💥 그런데, Host 명으로 접속 시도중 오류가 발생했다면 ?

> pem key 권한을 변경해주니 접속이 가능함! (chmod 400 ~ 나에게만 읽기 권한 설정)

2️⃣ EC2 서버 접속 후, 프로그램 설치 및 서버 셋팅

2-1. java 설치
‣ 나의 경우, aws linux을 사용했기에 해당문서 ← 를 참고하여 설치함

2-2. 타임존 변경 (한국 시간)

$ sudo rm /etc/localtime
$ sudo ln -s /usr/share/zoneinfo/Asia/Seoul /etc/localtime

# 날짜 확인
$ date

2-3. 호스트네임 변경

$ sudo hostnamectl set-hostname mungmang-jenkins
$ sudo reboot

# 몇분 후 다시접속

# 확인
$ hostname

2-4. jenkins 설치

# jenkins repository 에 설정파일 생성 
$ sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
$ sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key

# jenkins 설치
$ sudo yum install jenkins

# jenkins 실행
$ sudo systemctl start jenkins

# 만약 부팅시 가능하게 설정하려면 다음도 추가
$ sudo systemctl enable jenkins

2-5. jenkins 접속 및 플러그인 설치

한글로 번역함. 추천 플러그인을 설치하였음. (뭐가 필요한지를 정확하게 모르기 때문!)

.. 플러그인 설치 후,
jenkins 유저 등록 화면에서 로그인할 계정정보 입력 ↓ ↓ ↓ (계정명 및 암호로 jenkins 로그인 가능!)

2-6. gradle 설치 https://docs.gradle.org/6.9.1/userguide/installation.html 참고함

$ mkdir /opt/gradle
$ unzip -d /opt/gradle gradle-6.9.1-bin.zip
$ ls /opt/gradle/gradle-6.9.1

$ export PATH=$PATH:/opt/gradle/gradle-6.9.1/bin
$ gradle -version

2-7. git 설치 https://gamoo12.tistory.com/205 참고함

$ sudo yum update -y
$ sudo yum install git -y
$ git version

3️⃣ github 설정

3-0. 반영할 프로젝트는 있다고 가정 (작업 결과물)
3-1. EC2에서 ssh key 생성

$ cd ~/.ssh
$ ssh-keygen

# id_rsa key 생성

3-2. github project 내 XXX.pub key 등록 필요
3-2-1. https://github.com/{git계정}/{git프로젝트}/settings/keys/new 이동

$ cat ~/.ssh/id_rsa.pub

# ssh-rsa ~ 내용을 복사

github > 프로젝트 > Settings > Deploy keys > Add deploy key

3-3. github 프로젝트 내 webhook 설정필요
3-2-1.https://github.com/{git계정}/{git프로젝트}/settings/hooks/new 이동
• Payload URL : http://{ec2에 jenkins 띄운 주소 (ex. ec2~~:8080}/github-webhook/ 입력
• Content type : application/json

jenkins에서 build 버튼 클릭시, github의 webhook 기능 이용하여 작업 결과물 프로젝트를 땡겨가도록 할것임

4️⃣ jenkins 설정

1. Credentials 등록 필요 (github 🔛 jenkins 연결유도)

Jenkins 관리 > Manage Credentials > Stores scoped Jenkins 의 Jenkins 클릭 > Global credentials

Kind : SSH Username with private key 선택
Private Key: .ssh/id_rsa 을 입력

2. 빌드 및 실행 (Dashboard > 대상 프로젝트 > 구성)

빌드유발
GitHub hook trigger for GITScm polling 선택

[플러그인 설치 필요] post build task (아래의 내용 기입, 작업 결과물 jar 파일로 만든 것을 실행)
JAR=$(ls -tr /var/lib/jenkins/workspace/{jenkins working directory 명}/build/libs | grep jar | tail -n 1)
echo $JAR
nohup java -jar /var/lib/jenkins/workspace/{jenkins working directory 명}/build/libs/$JAR &

• $(ls -tr /var/lib/jenkins/workspace/{jenkins working directory 명}/build/libs | grep jar | tail -n 1) : jar 파일명 추출 위함.
• nohup java -jar /var/lib/jenkins/workspace/{jenkins working directory 명}/build/libs/$JAR & : jar 실행위함, nohup 을 붙임으로써 백그라운드에서 실행! (터미널 종료 하더라도 작업 결과물은 계속 서버에 실행되어 있도록 하기위함)

느낀점

‣ 삽질을 줄일 필요성이있겠다.
‣ 파이프라인 작성을 이용한 배포도 한번 해보아야 할것같다.
‣ docker..kubernetes 등을 이용한 배포방법도 해보아야 할것같다. + 다른 서버에 배포하는 방법 등

참고

책: 스프링 부트와 AWS로 혼자 구현하는 웹 서비스

스프링 부트와 AWS로 혼자 구현하는 웹 서비스 - YES24

가장 빠르고 쉽게 웹 서비스의 모든 과정을 경험한다. 경험이 실력이 되는 순간!이 책은 제목 그대로 스프링 부트와 AWS로 웹 서비스를 구현한다. JPA와 JUnit 테스트, 그레이들, 머스테치, 스프링

www.yes24.com

링크: https://lemontia.tistory.com/656

[Linux] centos7 젠킨스 설치

1. jenkins repository를 설정파일을 생성 wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo 2. /etc/yum.repos.d/jenkins.repo 경로에 파일을 다운로드 받았는지 확인..

lemontia.tistory.com

'개발 > infra' 카테고리의 다른 글

[Jenkins] Pipeline 으로 Docker에 소스코드 배포해보기 정리 ! (1)	2022.09.11
VM(Virtual machine) & Container (feat. docker) (1)	2022.09.04
CI/CD 및 Jenkins (0)	2022.09.04
[k8s] 쿠버네티스 (0)	2022.02.16
[k8s] 컨테이너 오케스트레이션(container orchestration) (0)	2022.02.16

지식 줍줍 🐿️