xml地图|网站地图|网站标签 [设为首页] [加入收藏]
数据库网络之xml解析之第三方解析XML,并行IO的使
分类:编程

  写的MPI程序需要用到并行IO来操作文件,但是搜遍了度娘都没有找到多少关于并行IO函数的使用方法。最后在知网搜到了一些有用的论文,看了一下,感觉豁然开朗。

1.导入第三方插件(GDalaXMLNode)

如果你是小白,建议只要安装官网的python-3.7.0-amd64.exe

  MPI-1对文件的操作是使用绑定语言的函数调用来进行的,通常采用的是串行IO的读写方式,一般情况下是用一个主进程打开文件和读取数据,然后分发给其他进程来处理,这种串行IO数据的通信量很大、效率较低。MPI-2实现了并行IO,允许多个进程同时对文件进行操作,从而避免了文件数据在不同进程间的传送,对于需要密集文件操作的程序而言,简直是一大福祉!

 

然后在电脑cmd命令提示符  输入检查是否已经安装pip,一般安装了python都会有的。

  并行IO可分为三种方法:指定显式偏移量、独立文件指针和共享文件指针,每种方式又可分为阻塞和非阻塞两种情况。

2.第三方插件配置

>pip            (有的话会提示一大串说明,没有的话会提示没有)

  下面以读写一个二进制文件数组为例,阐述这三种方法的函数调用。下面的三个mian函数分别对应三种方法,读取“data"二进制文件数组(文件内容:行数、列数、数组元素),读取完整后由进程0输出其读取的数据以验证读取是否正确,最后所有进程将其读取的数据写入一个叫“data2"的二进制文件。怎么来查看二进制文件的内容以验证是否读写正确呢,或者说二进制文件和可读内容的文本文件之间怎么转换呢?下面也给出简单代码。

 

假设有了pip,下面来用pip 来安装pygame   

  

libxml/tree.h 路径

>pip install pygame           (执行这条命令会自动链接pygame下载并安装)

  code:

 

这样你的轻量环境就具备了,本人就读于刘大拿的教学下,其教学方式是安装anaconda 和  pycharm 两个软件

  1 #include<stdio.h>
  2 #include<stdlib.h>
  3 #include<string.h>
  4 #include"mpi.h"
  5 
  6 #define BLOCK_LOW(rank,size,n)    ((rank)*(n)/(size))
  7 #define BLOCK_HIGH(rank,size,n)    (BLOCK_LOW((rank)+1,size,n)-1)
  8 #define BLOCK_SIZE(rank,size,n)    (BLOCK_HIGH(rank,size,n)-BLOCK_LOW(rank,size,n)+1)
  9 
 10 //并行IO:指定显式偏移的文件操作
 11 int main(int argc, char *argv[])
 12 {
 13     int size,rank,i;
 14     int n,m;
 15     float *array;
 16     MPI_File fh;
 17     MPI_Status status;
 18     MPI_Init(&argc,&argv);
 19     MPI_Comm_rank(MPI_COMM_WORLD,&rank);
 20     MPI_Comm_size(MPI_COMM_WORLD,&size);
 21 
 22     MPI_File_open(MPI_COMM_WORLD,"data",MPI_MODE_RDONLY,MPI_INFO_NULL,&fh);
 23     MPI_File_read_at_all(fh,0,&n,1,MPI_INT,&status);    //从偏移量0处读取
 24     MPI_File_read_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);    //从偏移量1个int处读取
 25     array=(float *)malloc(BLOCK_SIZE(rank,size,n)*m*sizeof(float));
 26     MPI_File_read_at_all(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);
 27     MPI_File_close(&fh);
 28 
 29     if(rank==0){
 30         printf("rank=%d: %d %dn",rank,n,m);
 31         for(i=0;i<BLOCK_SIZE(rank,size,n)*m;i++){
 32             printf("% .0f",array[i]);
 33             if((i+1)%m==0)    putchar('n');
 34         }
 35     }
 36 
 37     MPI_File_open(MPI_COMM_WORLD,"data2",MPI_MODE_CREATE|MPI_MODE_WRONLY,MPI_INFO_NULL,&fh);
 38     MPI_File_write_at_all(fh,0,&n,1,MPI_INT,&status);
 39     MPI_File_write_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);
 40     MPI_File_write_at_all(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);
 41     MPI_File_close(&fh);
 42 
 43     MPI_Finalize();
 44     return 0;
 45 }
 46  
 47 /*
 48 //并行IO:独立文件指针
 49 int main(int argc,char *argv[])
 50 {
 51     int size,rank,i;
 52     int n,m;
 53     float *array;
 54     MPI_File fh;
 55     MPI_Status status;
 56     MPI_Init(&argc,&argv);
 57     MPI_Comm_rank(MPI_COMM_WORLD,&rank);
 58     MPI_Comm_size(MPI_COMM_WORLD,&size);
 59 
 60     MPI_File_open(MPI_COMM_WORLD,"data",MPI_MODE_RDONLY,MPI_INFO_NULL,&fh);
 61     MPI_File_set_view(fh,0,MPI_INT,MPI_INT,"internal",MPI_INFO_NULL);    //设置绝对偏移量为0
 62     MPI_File_read_all(fh,&n,1,MPI_INT,&status);    //读取后偏移量自动加1
 63     MPI_File_read_all(fh,&m,1,MPI_INT,&status);
 64     array=(float *)malloc(BLOCK_SIZE(rank,size,n)*m*sizeof(float));
 65     MPI_File_set_view(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),MPI_FLOAT,MPI_FLOAT,"internal",MPI_INFO_NULL);//重置偏移量
 66     MPI_File_read_all(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_INT,&status);
 67     MPI_File_close(&fh);
 68 
 69     if(rank==0){
 70         printf("rank=%d: %d %dn",rank,n,m);
 71         for(i=0;i<BLOCK_SIZE(rank,size,n)*m;i++){
 72             printf("% .0f",array[i]);
 73             if((i+1)%m==0)    putchar('n');
 75         }
 76     }
 77     
 78     MPI_File_open(MPI_COMM_WORLD,"data2",MPI_MODE_CREATE|MPI_MODE_WRONLY,MPI_INFO_NULL,&fh);
 79     MPI_File_set_view(fh,0,MPI_INT,MPI_INT,"internal",MPI_INFO_NULL);
 80     MPI_File_write_all(fh,&n,1,MPI_INT,&status);
 81     MPI_File_write_all(fh,&m,1,MPI_INT,&status);
 82     MPI_File_set_view(fh,2*sizeof(int)+BLOCK_LOW(rank,size,n)*m*sizeof(float),MPI_FLOAT,MPI_FLOAT,"internal",MPI_INFO_NULL); 
 83     MPI_File_write_all(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);
 84     MPI_File_close(&fh);
 85 
 86     MPI_Finalize();
 87 }
 88 */
 89 
 90 /*
 91 //并行IO:共享文件指针
 92 int main(int argc,char *argv[])
 93 {
 94     int size,rank,i;
 95     int n,m;
 96     float *array;
 97     MPI_File fh;
 98     MPI_Status status;
 99     MPI_Init(&argc,&argv);
100     MPI_Comm_rank(MPI_COMM_WORLD,&rank);
101     MPI_Comm_size(MPI_COMM_WORLD,&size);
102 
103     MPI_File_open(MPI_COMM_WORLD,"data",MPI_MODE_RDONLY,MPI_INFO_NULL,&fh);
104     MPI_File_read_at_all(fh,0,&n,1,MPI_INT,&status);    //指定显式偏移的读取
105     MPI_File_read_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);
106     array=(float *)malloc(BLOCK_SIZE(rank,size,n)*m*sizeof(float));
107     MPI_File_seek_shared(fh,2*sizeof(int),MPI_SEEK_SET);    //共享文件指针,偏移量是2个int
108     MPI_File_read_ordered(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);    //按序读取
109     MPI_File_close(&fh);
110 
111     if(rank==0){
112         printf("rank=%d: %d %dn",rank,n,m);
113         for(i=0;i<BLOCK_SIZE(rank,size,n)*m;i++){
114             printf("% .0f",array[i]);
115             if((i+1)%m==0)    putchar('n');
117         }
118     }
119  
120     MPI_File_open(MPI_COMM_WORLD,"data2",MPI_MODE_CREATE|MPI_MODE_WRONLY,MPI_INFO_NULL,&fh);
121     MPI_File_write_at_all(fh,0,&n,1,MPI_INT,&status);    //指定显式偏移的写入
122     MPI_File_write_at_all(fh,sizeof(int),&m,1,MPI_INT,&status);
123     MPI_File_seek_shared(fh,2*sizeof(int),MPI_SEEK_SET);    //共享文件指针,偏移量是2个int
124     MPI_File_write_ordered(fh,array,BLOCK_SIZE(rank,size,n)*m,MPI_FLOAT,&status);    //按序写入
125     MPI_File_close(&fh);
126 
127     MPI_Finalize();
128 }
129 */

在项目属性中--Bulid Settings中搜索 Search

申明:本文仅零星知识点回顾(就是想到哪里就写哪里)如小白偶遇可能知识点说的不细,请谅解!

 

 

首先基础,我们都知道数据、字符串、四则运算啊,重点要知道啥是变量,这个不做解释

 1 //将二进制数组文件转换为文本文件。要求二进制文件的内容:行数 列数 数组元素
 2 #include <stdio.h>
 3 #include <stdlib.h>
 4 
 5 typedef float type;
 6 
 7 int main()
 8 {
 9     int i,j;
10     int n,m;
11     type **array;
12     FILE *fp;
13     fp=fopen("data","rb");
14     fread(&n,sizeof(int),1,fp);
15     fread(&m,sizeof(int),1,fp);
16 
17     array=(type **)malloc(n*sizeof(type *));
18     *array=(type *)malloc(n*m*sizeof(type));
19     for(i=1;i<n;i++)    array[i]=array[i-1]+m;
20 
21     fread(&array[0][0],n*m*sizeof(type),1,fp);  //注意不能是地址 array
22     fclose(fp);
23 
24     fp=fopen("data.txt","w");
25     fprintf(fp," %d %dn",n,m);
26     for(i=0;i<n;i++){
27         for(j=0;j<m;j++)
28             fprintf(fp,"% f ",array[i][j]);
29         putc('n',fp);
30     }
31     fprintf(stdout,"Successfully!n");
32 }

--Search Paths 中--Headr Search Paths 添加路径(/usr/include/libxml2)

在Python中,有这样一句话是非常重要的:对象有类型,变量无类型          type()函数来检验其类型

 

 

另外知道啥是“整数溢出”其他语言有这个问题   参考

 1 //将数组文本文件转换为二进制文件。要求文本文件的内容:行数 列数 数组元素
 2 #include <stdio.h>
 3 #include <stdlib.h>
 4 
 5 typedef float type;
 6 
 7 int main()
 8 {
 9     int i,j;
10     int n,m;
11     type **array;
12     FILE *fp;
13     fp=fopen("data.txt","r");
14     fscanf(fp,"%d",&n);
15     fscanf(fp,"%d",&m);
16 
17     array=(type **)malloc(n*sizeof(type *));
18     *array=(type *)malloc(n*m*sizeof(type));
19     for(i=1;i<n;i++)    array[i]=array[i-1]+m;
20 
21     for(i=0;i<n;i++)
22         for(j=0;j<m;j++)
23             fscanf(fp,"%f",&array[i][j]);
24     fclose(fp);
25 
26     fp=fopen("data","wb");
27     fwrite(&n,sizeof(int),1,fp);
28     fwrite(&m,sizeof(int),1,fp);
29     fwrite(&array[0][0],n*m*sizeof(type),1,fp);  //注意不能是地址 &array
30     fclose(fp);
31     fprintf(stdout,"Successfully!n");
32 }

非ARC

但是python不存在这个问题  参考

 

 

>>> 5 // 2
2
>>> 5 / 2
2.5

  一个示例的文本文件数组data.txt:

在项目属性中--Bulid Phases

>>> 5 % 2
1

  8 8
  1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000
  2.000000 2.000000 2.000000 2.000000 2.000000 2.000000 2.000000 2.000000
  3.000000 3.000000 3.000000 3.000000 3.000000 3.000000 3.000000 3.000000
  4.000000 4.000000 4.000000 4.000000 4.000000 4.000000 4.000000 4.000000
  5.000000 5.000000 5.000000 5.000000 5.000000 5.000000 5.000000 5.000000
  6.000000 6.000000 6.000000 6.000000 6.000000 6.000000 6.000000 6.000000
  7.000000 7.000000 7.000000 7.000000 7.000000 7.000000 7.000000 7.000000
  8.000000 8.000000 8.000000 8.000000 8.000000 8.000000 8.000000 8.000000

 

看出不同没?一个返回的商数,一个是正常计算,一个返回的余数

--Compile Sources 中--GDataXMLNode.m 添加参数(-fno-objc-arc)

>>> round(1.234567,3)

 

1.234

第三方库文件加载

这是四舍五入,取的2位小数点,但发现为何不是1.235呢?这不是BUG,归根到底这是浮点数中的十进制转化为二进制惹的祸(如果有兴趣自己去查资料)

 

比如乘方、开方、对数运算等等,要实现这些运算,需要用到python中的一个模块:Math

在项目属性中--Bulid Phases--Link Binary With Libraies--libxml2 文件

>>> import math

 

>>> math.pi                           (圆周率)

3.使用第三方插件

3.141592653589793

 

pow函数和x**y是等效的,都是计算x的y次方

//设置URL

>>> math.pow(4,2)

 

16.0

NSURL * url=[NSURL URLwithString:@"XML远程路径"];

开平方

 

>>> math.sqrt(9)

//会话

3.0

 

求绝对值

NSURLSession * session=[NSURLSession sharedSession];

>>> abs(-10)

 

10

//任务

最常用是print() 其就是显示出来内容,常用这个主要是为了在知识理解上方便,代替一些复杂的代码作为返回值。

 

特别要提醒的是,print()默认是以n结尾的,所以,会看到每个输出语句之后,输出内容后面自动带上了n,于是就换行了

本文由澳门新葡亰手机版发布于编程,转载请注明出处:数据库网络之xml解析之第三方解析XML,并行IO的使

上一篇:0与融云IMKIT开发问题,为什么Python为这么慢 下一篇:没有了
猜你喜欢
热门排行
精彩图文