subject_33647.htm

一些关于vc的问答

<p>
序号：33647 发表者：hiha 发表日期：2003-03-22 20:47:18
<br>主题：如何进行大批量的数据处理
<br>内容：我的采样频率为100kHz，每秒钟就有100000个点，这样采个几分钟数据大得很，是转化成文本格式好呢？还是转为数据库？文本格式容量小，但数据处理不方便，而且数据量大了，一般的文本阅读器根本打不开，如果存为数据库文件，写入数据库的时间特别长，而且转化后的文件比较大。我该怎么办？一般如何进行大批量的数据处理？ 
<br><a href="javascript:history.go(-1)">返回上页</a><br><a href=http://www.copathway.com/cndevforum/>访问论坛</a></p>
<hr size=1>
<blockquote><p>
回复者：小年 回复日期：2003-03-22 20:53:12
<br>内容：将数据成批写入数据库，而不是一次写入一个数据，试一试
<br>
<a href="javascript:history.go(-1)">返回上页</a><br><a href=http://www.copathway.com/cndevforum/>访问论坛</a></p></blockquote>
<hr size=1>
<blockquote><p>
回复者：hiha 回复日期：2003-03-23 15:48:35
<br>内容：谢谢，我是成批写入的，500个点写入一次，而且access数据库文件是不是有大小限制，不能大于2G不知道是不是？
<br>
<a href="javascript:history.go(-1)">返回上页</a><br><a href=http://www.copathway.com/cndevforum/>访问论坛</a></p></blockquote>
<hr size=1>
<blockquote><p>
回复者：happywyg 回复日期：2003-04-12 10:36:55
<br>内容：请问能不能具体一点怎么样才能成批写入
<br>
<a href="javascript:history.go(-1)">返回上页</a><br><a href=http://www.copathway.com/cndevforum/>访问论坛</a></p></blockquote>
<hr size=1>
<blockquote><p>
回复者：FirstHoward 回复日期：2003-04-29 22:45:17
<br>内容：这又何苦呢？你可以存储成n个文件吗，每个文件的长度可以小一些吗。数据库写磁盘，还不如你自己写磁盘呢。<BR><BR>另外，我感觉你应该采用多线程，每个线程写一个文件。<BR><BR>这样，估计会有一个平衡点，比如1个采集进程 + 10个左右的线程，可以保证你的采集不会丢失数据。<BR><BR>如果你还要事后的数据分析，在线程里你可以建立数据库将每个文件的详细信息（时间、峰值等）记录到数据库，这样会不会更加好一些呢？<BR>
<br>
<a href="javascript:history.go(-1)">返回上页</a><br><a href=http://www.copathway.com/cndevforum/>访问论坛</a></p></blockquote>
<hr size=1>
<blockquote><p>
<font color=red>答案被接受</font><br>回复者：FirstHoward 回复日期：2003-04-29 22:47:43
<br>内容：如果非要一个文件，采用“内存映射文件”技术吧。
<br>
<a href="javascript:history.go(-1)">返回上页</a><br><a href=http://www.copathway.com/cndevforum/>访问论坛</a></p></blockquote>