淘寶分布式文件存儲(chǔ)系統(tǒng)( 三 ) ->>TFS
目錄 :
- 文件重新映射的接口介紹
- 文件映射 mmap_file.cpp的實(shí)現(xiàn)
- 進(jìn)行測(cè)試
文件重新映射 (增加 或者 減少 文件映射區(qū)域的大小)
mremap() 函數(shù)的原型如下
#include <sys/mman.h>
void *mremap( void * old_address , size_t old_size , size_t new_size , int flags );
參數(shù)說(shuō)明 ：
-
old_address：指向原映射區(qū)域的起始地址。 -
old_size：原映射區(qū)域的大小，以字節(jié)為單位。 -
new_size：新映射區(qū)域的大小，以字節(jié)為單位。 -
flags：標(biāo)志參數(shù)，用于指定映射操作的行為。常用的標(biāo)志是MREMAP_MAYMOVE，表示允許系統(tǒng)將映射區(qū)域移動(dòng)到新的位置。
返回值 :
- 成功時(shí)，返回新映射區(qū)域的起始地址。
- 失敗時(shí)，返回
MAP_FAILED，并設(shè)置errno錯(cuò)誤碼來(lái)指示具體錯(cuò)誤。
注意 :
在使用mremap()函數(shù)前，需要通過(guò)mmap()函數(shù)創(chuàng)建原始的內(nèi)存映射區(qū)域，并確保該內(nèi)存映射區(qū)域是有效的。另外，mremap()函數(shù)只能用于修改已存在的內(nèi)存映射區(qū)域，無(wú)法在不同的文件描述符之間創(chuàng)建新的映射。
文件映射 mmap_file.cpp的實(shí)現(xiàn) :
#include"mmap_file.h"
#include<stdio.h>
int static Debug=1 ;
namespace qiniu
{
namespace largefile
{
//構(gòu)造函數(shù)
MMapFile::MMapFile():
size_(0),fd_(-1),data_(NULL)
{
}
MMapFile::MMapFile(const int fd):
size_(0),fd_(fd),data_(NULL)
{
}
MMapFile::MMapFile(const MMapOption& mmp_option, const int fd):
size_(0),fd_(fd),data_(0)
{
mmap_file_option_.max_mmap_size_=mmp_option.max_mmap_size_;
mmap_file_option_.frist_mmap_size_=mmp_option.frist_mmap_size_;
mmap_file_option_.pri_mmap_size_=mmp_option.pri_mmap_size_;
}
//析構(gòu)函數(shù)
MMapFile::~MMapFile()
{
if(data_){ //映射內(nèi)容不為空,說(shuō)明映射成功
if(Debug) printf("file information size : %d ,fd : %d , data : %p\n",size_,fd_,data_);
msync(data_, size_, MS_SYNC); //當(dāng)我們的數(shù)據(jù)發(fā)生改變,同步信號(hào),更新完成后一起返回
//解除文件映射
munmap(data_ , size_ );
size_=0;
fd_=-1;
data_=NULL;
mmap_file_option_.max_mmap_size_=0;
mmap_file_option_.frist_mmap_size_=0;
mmap_file_option_.pri_mmap_size_=0;
}
}
//同步文件
bool MMapFile::sync_file()
{
if(data_!=NULL && size_>0){ //如果data_為空,或者 映射的大小<0 ,則說(shuō)明沒(méi)有映射
if( msync(data_ , size_ , MS_SYNC)<0){ //同步失敗
fprintf( stderr, "file sync falied %s \n", strerror(errno));
return false;
}
return true;
}
return false;
}
//文件映射
bool MMapFile::map_file(const bool write)
{
int flags=PROT_READ;
if(write){
flags |= PROT_WRITE; //同時(shí)設(shè)置為可讀
}
if(fd_ < 0){
return false ;
}
if(size_ > mmap_file_option_.max_mmap_size_){ //如果初始化的大小,比我們?cè)O(shè)定的最大的映射大小還要大
size_=mmap_file_option_.max_mmap_size_;
}
if(size_< mmap_file_option_.frist_mmap_size_){ //如果size_ 的大小,小于我們第一次分配的大小
size_=mmap_file_option_.frist_mmap_size_ ;
}
if(!ensure_flie_size(size_)){ //調(diào)整大小
fprintf(stderr , "ensure_flie_size falied: %d\n", size_);
return false;
}
data_=mmap(NULL, size_ , flags, MAP_SHARED , fd_ , 0); //文件映射
if( MAP_FAILED==data_ ){ //內(nèi)存映射失敗,返回 MAP_FAILED
fprintf(stderr, "file failed :%s\n",strerror(errno));
fd_=-1;
data_=NULL;
size_=0;
return false;
}
if(Debug){
printf("file map succeed : size_ : %d ,fd : %d , data : %p\n",size_,fd_,data_);
}
return true;
}
//獲取映射內(nèi)存的首地址
void* MMapFile::get_data()const
{
return data_; //返回映射內(nèi)存的起始地址
}
//獲取映射內(nèi)存的大小
int32_t MMapFile::get_size()const
{
return size_; //返回映射內(nèi)存的大小
}
bool MMapFile::munmap_file()
{
if(munmap(data_ , size_)==-1){ //解除文件映射失敗
fprintf(stderr , "remove file map falied :%s \n",strerror(errno));
return false;
}
return true;
}
//解除映射
bool MMapFile::ensure_flie_size(const int32_t size)
{
struct stat s; //存放文件狀態(tài)(這個(gè)是系統(tǒng)提供的)
if(fstat(fd_ , &s) < 0 ){ //獲取文件狀態(tài)
fprintf(stderr , "fstat falied :%s \n",strerror(errno));
return false;
}
if(s.st_size<size){ //設(shè)置文件大小
int res=ftruncate(fd_ , size); //對(duì)大小進(jìn)行調(diào)整
if(res<0){ //在 linux系統(tǒng)中,大多數(shù)情況返回值<0 表示失敗
fprintf(stderr , "resize failed :%s \n",strerror(errno));
return false;
}
}
return true;
}
/*
重新執(zhí)行映射 (追加，減少內(nèi)存)
mremap()
*/
//重新映射
bool MMapFile::remap_file()
{
//防御性編程
if(data_==NULL || size_<0 || fd_< 0){//判斷是否存在映射區(qū)域
fprintf(stderr, "not map file\n");
return false;
}
if(size_==mmap_file_option_.max_mmap_size_){//當(dāng)前映射區(qū)域的大小,已經(jīng)達(dá)到我們?cè)O(shè)置的最大值
fprintf(stderr,"size is already max\n");
return false;
}
int32_t new_size=size_+mmap_file_option_.pri_mmap_size_; //新的映射區(qū)域的大小
if(new_size>mmap_file_option_.max_mmap_size_){//如果新的大小大于我們的最大值
new_size=mmap_file_option_.max_mmap_size_;
}
//調(diào)整文件大小
if(!ensure_flie_size(new_size)){ //調(diào)整大小
fprintf(stderr , "ensure_flie_size falied: %d\n", size_);
return false;
}
if(Debug) printf("file map succeed : %d ,fd : %d , data : %p\n",size_,fd_,data_);
//最后進(jìn)行重新映射
void *new_data=mremap(data_ , size_ , size_+ mmap_file_option_.pri_mmap_size_,MREMAP_MAYMOVE);//調(diào)整映射區(qū)域
if(new_data==MAP_FAILED){
fprintf(stderr , "remap_file failed :%s \n",strerror(errno));
return false;
}
//賦值
data_=new_data;
size_=new_size;
return true;
}
}
}
-
補(bǔ)充：
這里呢,給大家分享一些方法,當(dāng)我們?cè)趯懸恍┐笮晚?xiàng)目的時(shí)候,我們一般會(huì)將標(biāo)準(zhǔn)化的頭文件,函數(shù)調(diào)用需要的頭文件,放到一個(gè) .h的文件中,我這里演示的也是這樣操作的 :
#ifndef _COMMON_H_
#define _COMMON_H_
#include<iostream>
#include<fcntl.h>
#include<sys/stat.h>
#include<string>
#include<sys/types.h>
#include<stdint.h>
#include <errno.h>
#include<string.h>
#include<stdio.h>
#include <error.h>
#include<sys/mman.h>
#endif /*_COMMON_H_*/ //這樣注釋起來(lái)更加清晰 , 因?yàn)槲覀兛赡懿恢拱粋€(gè)
技巧提示：
如果不知道,我們所寫的函數(shù)需要什么頭文件 ,可以這樣操作 man APi
演示 :
man mmap
對(duì)代碼的可行性進(jìn)行測(cè)試 :
提示: 整個(gè)測(cè)試我們需要綜合我的上一篇內(nèi)容, 結(jié)合 mmap_file.h 頭文件一起 .
#include"mmap_file.h"
#include"common.h"
using namespace std;
using namespace qiniu;
static const mode_t OPEN_MODE=0644; //文件的權(quán)限
const static largefile::MMapOption mmp_option={10240000,4096 ,4096}; //設(shè)置內(nèi)存映射參數(shù)
int open_file(string file_name, int open_flags)
{
//OPEN_MODE 如果文件不存在，則創(chuàng)建
int fd=open( file_name.c_str(), open_flags, OPEN_MODE); //成功返回值一定>0
if( fd<0 ){
return -errno;
}
return fd;
}
int main(){
const char* file_name="./mapfile_test.txt";
//打開(kāi)一個(gè)文件,獲取文件的句柄
int fd=open_file(file_name , O_RDWR | O_CREAT | O_LARGEFILE );
if( fd <0 ){ //返回的文件句柄不合法
fprintf(stderr ," open file failed : %s error desc : %s\n",file_name , strerror(-fd));
return -1;
}
printf("%d\n",fd);
largefile::MMapFile *map_file=new largefile::MMapFile(mmp_option,fd);
bool is_mmap=map_file->map_file(true); //文件映射到內(nèi)存
//printf("文件映射的起始地址: %p\n", map_file->get_data());
//printf("映射內(nèi)存的大小 : %d\n", map_file->get_size());
printf(" is_mmap: %d\n",is_mmap);
if(is_mmap){
memset(map_file->get_data(),'8',map_file->get_size()); //將映射的內(nèi)存全部置為'8'
map_file->sync_file(); //同步文件
//解除映射
map_file->munmap_file();
}else{
fprintf(stderr,"map file failed \n");
}
close(fd);
return 0;
}
測(cè)試結(jié)果:
size: 文件映射到內(nèi)存的大小。
data: 文件映射到內(nèi)存的起始地址。
fd: 文件的句柄。
對(duì)測(cè)試結(jié)果進(jìn)行說(shuō)明：文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-732480.html
- 測(cè)試程序成功將文件映射到內(nèi)存，然后將文件映射到內(nèi)存的起始地址、映射的大小、文件的句柄，打印了出來(lái)。當(dāng)我們對(duì)文件mapfile_test.txt進(jìn)行查看的時(shí)候，文件的內(nèi)容全是8，說(shuō)明，映射內(nèi)存的改變，會(huì)同時(shí)導(dǎo)致我們?cè)次募母淖?t同步的，當(dāng)然我們也可以對(duì)其進(jìn)行設(shè)置，文件只是共享，映射內(nèi)存改變不會(huì)影響到我們的源文件)。
- 文件映射大概就是這樣 , 后續(xù)我會(huì)給大家介紹 文件映射操作的實(shí)戰(zhàn),還會(huì)講一些大神級(jí)別的寫法 .
最后給大家分享一個(gè)liunx函數(shù)幫助文檔:
函數(shù)幫助文檔
*提取碼: * 0307文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-732480.html
到了這里，關(guān)于淘寶分布式文件存儲(chǔ)系統(tǒng)( 三 ) -TFS的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
