rsync 동기화할때 일부 알려진 파일목록만 빠르게 동기화 하기 > 리눅스서버
리눅스서버

rsync 동기화할때 일부 알려진 파일목록만 빠르게 동기화 하기

조회 916회 댓글 0건

비동기 방식의 rsync를 많이 사용합니다.

그런데 이게 실시간 동기화 방식이 아니다 보니 파일의 양이 많을때. .. 예를 들면 최소 1백만개 이상... 그냥 말이니까. 1억개라고 합시다. 이런 경우 내가 동기화시켜야할 파일 목록은 알고 있다고 할때 사용하는 방법에 대한것입니다.


rsync --help | grep files 명령을 내려보면 --files-from=FILE 이런 옵션이 있습니다.

이것을 사용하면 저 파일 목록에 있는것만 동기화 처리 하기 때문에 전체 디렉토리 순차적으로 읽어서 동기화 시키는 방식보다는 빠르게 처리 할 수 있습니다.


파일 목록을 만들어 줄때는 / (루트) 부분부터 만들어 주는것이 아니라 rsync 에서 지정해서 나오는 디렉토리 부터 만들어 주는것입니다. 즉, 우리가 rsync -av 하면 화면에 나오는 파일명이 있는데 이 때 화면에 보여지는 디렉토리 부터 만들어 주는것입니다. 이는 다른 옵션도 동일합니다. 특정 디렉토리만 제외하거나 파일등 제외할때도 그렇습니다.


즉, 동기화 처리해주는 디렉토리 하위 부분을 명시해 주는것입니다. 

처음 해보시는 경우는 다른 디렉토리로 테스트 해보시면 좋습니다. 그리고 rsync에서 중요한것은 마지막에 / 있는것과 없는것은 다릅니다. /이 있으면 이 디렉토리 안에 있는것을 말하며 없으면 그 디렉토리 자체를 말합니다.



  • 페이스북으로 공유
  • 트위터로  공유
  • 구글플러스로 공유
전체 161건 1 페이지
  • profile_image 리눅스에서 OpenSSL을 사용해 생성한 사설 인증서의 유효 기간을 확인하려면 터미널에서 OpenSSL 명령어를 사용 하면 된다.아래 openssl 명령어를 사용해 인증서의 유효 기간을 확인할 수 있다.openssl x509 -in [인증서 파일 경로] -noout -datesopenssl x509 -in mycert.pem -noout -datesopenssl x509 -in rootCA.crt -noout -datesopenssl x509 …
  • profile_image OpenSSL로 인증서 생성시 -days 36500 = 100년 옵션을 사용해서 유휴기간을 길게 준다. 우선 만료 되는 기간을 길게준 다음 후에 사용할 계획이 없으면 사용하지 않으면 되기 때문이다.지난것을 경고 무시하고 사용하는것 보다는 이편이 더 좋을것이다.아래는 간단하게 개인 인증서 생성하는 방법이며두번째 csr 생성할때 입력 해야 하는것이 잇는데 아래처럼 입력하면 되며 비밀번호는 넣지 않아도 된다.(비밀번호 넣으면 다음에 진행할때 같이 넣…
  • profile_image DKIM, SPF, 및 DMARC는 이메일을 보다 안전하게 하고, 스팸이나 피싱 공격을 방지하기 위해 사용되는 이메일 인증 메커니즘들입니다.공통적으로 네임서버 설정을 해줘야 하는 것들이다.DKIM (DomainKeys Identified Mail)DKIM은 발신자의 도메인이 실제로 해당 이메일을 보냈다는 것을 증명하기 위해 디지털 서명을 사용합니다.이메일 발송자는 이메일의 헤더에 디지털 서명을 추가하고, 이 서명은 발신자의 도메인에 공개적으로 …
  • profile_image 리눅스에서 디스크 사용량이 많은 프로그램을 찾기 위해서는 주로 du (Disk Usage) 명령어를 사용합니다. du 명령어는 디렉토리나 파일이 사용하는 디스크 공간의 양을 확인할 때 사용됩니다. du 명령의 기본적인 사용 방법 전체 사용량은 df 명령을 사용하지만 하위 디렉토리의 사용량을 보려면 du 명령을 사용 합니다. 운영하다 보면 어느곳에서 사용을 많이 하는지 알기 위해 은근히 많이 사용 되는 명령 입니다. 특정 디렉토리의 사용량을 확…
  • profile_image 디스크 I/O 부하를 많이 주는 프로그램 확인 디스크 I/O 부하를 많이 주는 프로그램을 찾으려면 iotop이라는 도구를 사용 하면 되며 이 도구는 각 프로세스의 I/O 사용량을 실시간으로 모니터링하며, 높은 I/O 사용량을 가진 프로세스를 쉽게 찾을 수 있도록 도와준다. io를 보는데는 iostat 도 있고. vmstat 1 명령으로 CPU 부하와 같이 쓰기나 읽기가 어느정도 인지 보는 방법도 있는데 iotop을 사용하면 프로그램 까지 알…
  • profile_image INSERT 할때 현재 날짜를 디폴트 값으로 처리 MySQL에서 날짜와 시간을 자동으로 입력하려면, TIMESTAMP 또는 DATETIME 필드 타입에 DEFAULT CURRENT_TIMESTAMP 또는 ON UPDATE CURRENT_TIMESTAMP 옵션을 사용할 수 있습니다. 예를 들어, 테이블을 생성할 때 다음과 같이 작성할 수 있습니다  # 5.6 버전 부터는 아래 처럼 디폴트 값으로 CURRENT_TIMESTAMP 를 2개 이상의 컬…
  • profile_image MySQL 5 버전사용 할때는 없었던 문제가 발생을 해서 확인한 것들을 정리한것입니다.이에대해 글이 있는데 전 적용이 안되던데요. 호스트 플러시 해도 안되어 systemctl stop mysqld 로 멈춘다음 다시 시작 시켰습니다.제경우에는 CentOS7에서 설치된 MySQL8 버번에서 안되었습니다.그리고 중요한것은 왜? 그런지 접속하는 클라이언트(보통은 프로그램 이겠지요) 원인을 찾아야 합니다.그렇지 않으면 다시 상황이 발생합니다.여기서 수치…