REDU : 삭제 코딩 된 저장소에서 다중 실패 복구를 위해 중복성과 중복성을 줄입니다.
징 장 작가 Shanshan 리 Xiangke 리아 오.
데이터 안정성은 대규모 스토리지 시스템에서 중요한 문제입니다. 삭제 코드는 데이터 복구를 통해 높은 데이터 안정성을 제공하지만 네트워크에서 많은 양의 데이터 전송을 생성합니다. 복구시 데이터 전송의 대역폭 비용은 찾은 클러스터의 성능에 상당한 영향을 미칩니다. 기존의 작업은 단일 실패를 가장 일반적인 실패 패턴으로 간주하고 주로 단일 실패 복구의 데이터 전송 비용을 줄이는 데 주력합니다. 이는 불행히도 다중 실패 복구를 효율적으로 지원하지 못합니다. 이 작업에서는 먼저 마르코프 모델을 기반으로 한 다중 실패 평균 시간 (Mean Time To Multi-Failure) 메트릭을 제공하여 삭제 코딩 된 저장소에서 다중 실패의 빈도와 패턴을 보여줍니다. 그 다음, 우리는 소거 코드 저장 장치의 다중 고장 복구에서 중복과 중복을 줄이기 위해 REDU를 제안한다. REDU에서는 중복 된 데이터 전송을 줄이기위한 병합 기반 중복 제거와 중복 정보 전송을 줄이기위한 집계 기반 중복 제거를 제안하고 실제 클러스터 토폴로지를 기반으로 위의 두 가지 방법을 효율적으로 사용하기위한 협업 라우팅을 제안합니다. 분석 및 실험 결과는 다중 고장 복구 문제의 중요성과 REDU의 효율성을 입증한다.
노트.
감사 인사.
이 연구는 Nature Science Foundation of China Nos. 61379146, 61272483, 61402511, 61402514 및 NUDT No. JC13-06-03에 부분적으로 지원됩니다.
참조.
저작권 정보.
저자 및 제휴사.
Jing Zhang 1 저자 Shanshan Li 1 Xiangke Liao 1 1. 창사 중국 국립 과학 기술 대학교 컴퓨터 과학 기술 대학.
이 기사에 관하여.
개인화 된 권장 사항.
기사를 인용하십시오.
.RIS 논문 참조 관리자 RefWorks Zotero.
.BIB BibTeX JabRef Mendeley.
기사 공유.
해당 기사에 대한 무제한 액세스 즉석 다운로드 해당되는 경우 현지 판매 세 포함.
기사를 인용하십시오.
.RIS 논문 참조 관리자 RefWorks Zotero.
.BIB BibTeX JabRef Mendeley.
기사 공유.
손끝에서 천만 가지 이상의 과학적 문서를 제공합니다.
전환 판.
&부; 2017 Springer International Publishing AG. 스프링거 자연의 일부입니다.
핫 임시 데이터를 저장하기위한 데이터 검사 기반 분산 저장 모델.
하이라이트.
분산 저장소 모델은 XOR 체크섬을 기반으로 제안되고 해당 알고리즘을 설계합니다.
이 모델은 중복성 백업 모델에서 데이터 버전 제어를 단순화합니다.
이 모델은 데이터 백업 모델의 성능을 향상시킵니다.
데이터 보안을 보장하기 위해 기존의 시스템에서는 여러 데이터 사본을 저장하기 위해 중복 백업을 널리 사용했습니다. 다중 사본 기술은 높은 신뢰성을 가지지 만 높은 중복성 저장 및 낮은 공간 활용이라는 단점을 가지고 있습니다. 반대로 EC (Erasure Coding) 기술은 저장 공간의 활용도가 높지만 코딩, 디코딩 및 데이터 재구성의 오버 헤드가 크다. 따라서이 백서에서는 핫 임시 데이터를 저장하는 데 적합한 XOR 체크섬을 기반으로하는 데이터 백업 방법을 보여줍니다. 이 임시 데이터는 먼저 두 부분으로 데이터를 분할 한 다음 두 부분의 XOR 연산을 수행하여 데이터의 다른 부분을 생성합니다. 마지막으로 XOR 체크섬은 세 개의 데이터 부분을 다른 노드에 저장합니다. 체크섬은 데이터 보안을 보장 할뿐만 아니라 저장 공간을 절약하여 읽기 및 쓰기 성능을 향상시킵니다. 이 전략은 데이터 보안을 보장하기 위해 세 노드 간의 상호 백업을 수행합니다. 시스템에 원래 데이터 사본이 하나만 있기 때문에이 모델은 데이터 불일치 문제를 합리적으로 해결하고 중복성 백업 모델에 존재하는 데이터 버전 제어를 단순화합니다. 실제 데이터 테스트 결과에 따르면 현재 주류 인 카산드라 중복 백업 모델과 비교하여 본 백서에서 제안 및 구현 된 XOR 체크섬을 기반으로 한 데이터 백업 모델의 성능이 크게 향상되었습니다. 읽기 성능은 평균 10 % , 쓰기 성능은 평균 30 % 향상됩니다.
이 기사를 찾고 액세스 할 수있는 옵션을 선택하십시오.
로그인 자격 증명이나 기관을 통해 액세스 할 수 있는지 확인하십시오.
이 기사는 다른 곳에서 확인하십시오.
Jianjiang Li는 현재 중국 북경 과학 기술 대학교 부교수입니다. 그는 박사 학위를 받았다. 그는 2014 년 1 월부터 2015 년 1 월까지 Temple University에서 객원 연구원으로 재직했으며 현재 병렬 컴퓨팅, 클라우드 컴퓨팅, 병렬 편집 및 빅 데이터를 연구하고 있습니다.
Peng Zhang은 현재 중국 북경 과학 기술 대학교 (University of Science and Technology Beijing)에서 석사 학위를 취득했습니다. 그는 B. S.를 받았다. 현재 2015 년 당산 사범 대학에서 정보 관리 및 정보 시스템 학위를 취득했습니다. 현재 클라우드 컴퓨팅 및 병렬 컴퓨팅 분야의 연구 분야에 종사하고 있습니다.
Yuance Li는 중국 북경 과학 기술 대학교 (University of Science and Technology Beijing)에서 석사 학위를 받았습니다. 그의 연구 관심사는 클라우드 컴퓨팅, 클라우드 스토리지 및 빅 데이터를 포함합니다.
자체 수리 코드.
Frédérique Oggier Anwitaman Datta 작가.
네트워크로 연결된 분산 데이터 스토리지 시스템은 대용량의 데이터를 저장해야하는 필요성을 해결하는 데 필수적입니다. 이러한 시스템의 신뢰성은 내결함성 (노드 장애시 데이터를 사용할 수 있어야 함)과 유지 보수 가능성 (시간이 지남에 따라 중복 된 보충을 보장하기 위해 손실 된 데이터를 복구하는 능력)에 달려 있습니다. 삭제 코드는 스토리지 시스템의 복제 기반 중복성에 대한 스토리지 효율적인 대안을 제공하여 낮은 스토리지 오버 헤드 비용으로 동일한 내결함성을 보장합니다. 그러나 기존의 삭제 코드에는 저장 장치 오류로 인해 인코딩 된 조각이 손실되어 새로운 노드에 다시 채워질 필요가있는 유지 관리에 대한 높은 통신 오버 헤드가 수반된다는 단점이 있습니다. 우리는 분산 스토리지 시스템의 특성, 특히 수리를 '현지화'하여 유지 관리 능력을 향상시키기 위해 SRC (Self-Repairing Code)라는 새로운 삭제 코드 제품군을 제안합니다. SRC는 인코딩 된 단편을 다른 작은 부분 집합 (일반적으로 2 또는 3)으로 인코딩 된 단편에서 직접 복구 할 수 있다는 특성이 있습니다. 이러한 코드 속성을 통해 여러 오류가 발생하더라도 대역폭을 효율적으로 신속하게 복구 할 수 있으므로 시스템 안정성이 향상됩니다. 이와 같은 국부적으로 수리 가능한 코드의 구체적인 패밀리, 즉 유사 동성 SRC가 제안되고, 전통적인 삭제 코드를 포함한 다른 코드들에 대해서도 양적으로 또는 질적으로 (비교 될 수있는 바와 같이) 다양한 측면과 특성이 상세히 연구되고 비교 - 정량적으로 연구된다 최근 스토리지 응용 프로그램 용으로 설계된 대표적인 코드입니다.
수학 과목 분류.
감사 인사.
이 작업은 MoE Tier-2 보조금 MOE2013-T2-1-068 "eCODE : 데이터 센터 환경 용 삭제 코드"에서 지원되었습니다.
참조.
저작권 정보.
저자 및 제휴사.
Frédérique Oggier 1 Anwitaman Datta 2 저자 1. 물리 및 수리 과학 학교 Nanyang Technological University Singapore 싱가포르 2. 컴퓨터 공학부 Nanyang Technological University Singapore Singapore.
이 기사에 관하여.
개인화 된 권장 사항.
기사를 인용하십시오.
.RIS 논문 참조 관리자 RefWorks Zotero.
.BIB BibTeX JabRef Mendeley.
기사 공유.
해당 기사에 대한 무제한 액세스 즉석 다운로드 해당되는 경우 현지 판매 세 포함.
기사를 인용하십시오.
.RIS 논문 참조 관리자 RefWorks Zotero.
.BIB BibTeX JabRef Mendeley.
기사 공유.
손끝에서 천만 가지 이상의 과학적 문서를 제공합니다.
전환 판.
&부; 2017 Springer International Publishing AG. 스프링거 자연의 일부입니다.
피라미드 코드 : 신뢰할 수있는 데이터 저장소 시스템에서 액세스 효율성을위한 공간을 바꾸는 유연한 체계
쳉 황 Minghua 첸 진 리.
게시 유형.
번호.
© 2008 Microsoft Corporation. 판권 소유.
신뢰할 수있는 데이터 스토리지 시스템에서 스토리지 공간과 액세스 효율성 사이의 절충점을 탐색 할 수있는 유연한 계획을 설명합니다. 이 목표를 달성하기 위해 두 가지 근본적으로 다른 클래스의 코드가 동일한 명명 우산 인 피라미드 코드에 도입되었습니다. 기본 피라미드 코드는 기존 코드 (MDS 코드 [18]가 바람직 함)에서 파생되므로 인코딩 / 디코딩 최적화에 대한 기존의 모든 작업이 직접 적용됩니다. 일반화 된 피라미드 코드는 근본적으로 개선 된 새로운 코드이므로 기본 피라미드 코드에서 안정성 및 / 또는 액세스 효율성을 더욱 향상시킬 수 있습니다. 또한, 우리는 장애 패턴을 복구 할 수있는 필수 조건을 정의하고 일반화 된 피라미드 코드가이 조건에서 최적임을 보여줍니다. 우리가 알고있는 바로는 이러한 조건을 정의하는 첫 번째 작업이며 일반화 된 피라미드 코드는 이러한 최적의 특성을 가진 유일한 비 MDS 코드입니다.
No comments:
Post a Comment