在PHP中怎么解決大量數(shù)據(jù)處理的問題

mysql_query函數(shù)查詢的方式是查詢出全部結(jié)果后緩存到內(nèi)存中，這樣就會(huì)出現(xiàn)超內(nèi)存的現(xiàn)象，使用另外一個(gè)函數(shù)mysql_unbuffered_query可以解決這個(gè)問題，mysql_unbuffered_query不會(huì)緩存結(jié)果集，而是查詢出來(lái)數(shù)據(jù)后立馬對(duì)結(jié)果集進(jìn)行操作，也就是便查詢邊返回，這樣就不會(huì)出現(xiàn)超出內(nèi)存的現(xiàn)象，但是使用mysql_unbuffered_query的是時(shí)候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前，必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結(jié)果行。例如：

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序定制開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了會(huì)同免費(fèi)建站歡迎大家使用！

使用緩存結(jié)果集的代碼：

function selecttest()

{

try {

$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');

// 不使用緩存結(jié)果集方式

// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $pdo-prepare('select * from test');

$sth-execute();

echo '最初占用內(nèi)存大小：' . memory_get_usage() . "\n";

$i = 0;

while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {

$i += 1;

if ($i 10) {

break;

}

sleep(1);

print_r($result);

echo '占用內(nèi)存大小：' . memory_get_usage() . "\n";

}

} catch (Exception $e) {

echo $e-getMessage();

}

}

執(zhí)行時(shí)將會(huì)報(bào)超出內(nèi)存的錯(cuò)誤：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0

0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85

0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結(jié)果集，這時(shí)運(yùn)行該函數(shù)的結(jié)果如下：

最初占用內(nèi)存大小：144808

Array

(

[id] = 1

[a] = v

[b] = w

[c] = i

)

占用內(nèi)存大小：145544

Array

(

[id] = 2

[a] = b

[b] = l

[c] = q

)

占用內(nèi)存大小：145544

Array

(

[id] = 3

[a] = m

[b] = p

[c] = h

)

占用內(nèi)存大小：145536

Array

(

[id] = 4

[a] = j

[b] = i

[c] = b

)

占用內(nèi)存大小：145536

可以看到，這時(shí)返回一條數(shù)據(jù)內(nèi)存占用非常的小，也就700多字節(jié)，這樣就不會(huì)出現(xiàn)超出內(nèi)存的錯(cuò)誤了。

在PHP中怎么解決大量數(shù)據(jù)處理的問題？許昌鯉魚IT計(jì)算機(jī)電腦軟件編程培訓(xùn)中心

目前主流的編程軟件VisualBasic的版本是VisualBasic 6.0專業(yè)版。我們所使用的操作系統(tǒng)是Windows10。

先把VisualBasic 6.0的安裝光盤放入電腦的光盤驅(qū)動(dòng)器中，通常電腦能夠自動(dòng)運(yùn)行光盤上的安裝程序。在安裝VisualBasic之前，最好先詳細(xì)地閱讀一下光盤上的Readme.txt文件，了解安裝VisualBasic 6.0需要的一些基本知識(shí)，然后單擊光盤上的Setup.exe文件，并按照安裝程序的提示進(jìn)行操作。

首先，安裝程序會(huì)顯示一個(gè)啟動(dòng)畫面。如果使用的是不同的安裝盤，也許Readme文件的格式可能有所不同，但是不影響應(yīng)用程序的安裝。

在上面的對(duì)話框中可以直接單擊對(duì)話框上的【下一步】按鈕，進(jìn)入下面的操作。這時(shí)會(huì)進(jìn)入一個(gè)顯示微軟的最終用戶許可協(xié)議書的窗口，里面的內(nèi)容規(guī)定了最終用戶的一些必要的義務(wù)。在這里只能選擇同意，因?yàn)槿绻x擇不同意，安裝程序就退出了。

在下面的窗口中，將要求用戶輸入用戶名和所屬的公司名稱，并輸入產(chǎn)品的ID號(hào)。這個(gè)ID號(hào)應(yīng)該包含在購(gòu)買的光盤中。輸入相應(yīng)的信息之后，單擊【下一步】按鈕。如果輸入的ID號(hào)正確，那么將進(jìn)入VisualBasic 6.0安裝程序的下一個(gè)窗口，在這里有兩個(gè)選項(xiàng)，對(duì)話框中對(duì)這兩個(gè)選項(xiàng)進(jìn)行了必要的解釋。在這里選擇第一個(gè)選項(xiàng)，也是安裝程序的默認(rèn)選項(xiàng)。

單擊【下一步】按鈕，進(jìn)入安裝程序的下一個(gè)對(duì)話框。在這個(gè)對(duì)話框中，安裝程序要求選擇VisualBasic 6.0應(yīng)用程序的公共文件的安裝路徑。在這里可以根據(jù)自己的需要把應(yīng)用程序安裝到希望的路徑中。在完成了路徑的選擇之后，單擊【下一步】按鈕，進(jìn)入安裝程序的下一步操作。?這時(shí)完成了安裝程序的初始配置，現(xiàn)在進(jìn)入了真正和VisualBasic 6.0相關(guān)的安裝程序，在經(jīng)過(guò)一段初始化操作之后，安裝程序?qū)@示選擇安裝類型的對(duì)話框。

在這個(gè)對(duì)話框中，要進(jìn)行兩個(gè)操作，一個(gè)是選擇VisualBasic 6.0系統(tǒng)的安裝路徑，第二個(gè)是選擇程序的安裝類型。這里同樣可以任意指定程序的安裝位置，比如指定到“E:/VB”。在選擇安裝類型的時(shí)候，有兩個(gè)選擇：典型安裝，是安裝程序根據(jù)最常用的選項(xiàng)安裝，第二項(xiàng)是允許根據(jù)需要來(lái)配置安裝選項(xiàng)。

單擊【自定義安裝】按鈕，會(huì)顯示設(shè)置安裝選項(xiàng)的對(duì)話框。

在左邊的列表框中選中或者清除復(fù)選框，就表示要或者不要安裝相應(yīng)的組件。單擊對(duì)話框右邊的【更改選項(xiàng)】按鈕，可以進(jìn)行更為細(xì)致的設(shè)置。

選擇好了需要的選項(xiàng)之后，單擊【繼續(xù)】按鈕，可以開始復(fù)制VisualBasic 6.0的文件，當(dāng)程序復(fù)制完所有的文件，并進(jìn)行相應(yīng)的系統(tǒng)配置之后，就會(huì)要求重新啟動(dòng)Windows，按照要求重新啟動(dòng)系統(tǒng)之后，VisualBasic 6.0的安裝工作就基本完成了。

在重新啟動(dòng)電腦之后，系統(tǒng)會(huì)詢問是否安裝MSDN，這是VisualBasic 6.0的幫助系統(tǒng)，可以根據(jù)自己的需要安裝這個(gè)系統(tǒng)。

希望我能幫助你解疑釋惑。

php怎么導(dǎo)出大量數(shù)據(jù)的Excel

php導(dǎo)出大量數(shù)據(jù)Excel的具體操作步驟如下：

1、使用phpstudy搭建一個(gè)測(cè)試平臺(tái)，直接訪問數(shù)據(jù)庫(kù)。

2、下載的phpcms安裝包拷貝到IIS目錄，開通訪問，即可搭建成功。

3、登錄網(wǎng)站后臺(tái)，系統(tǒng)權(quán)限，文件目錄以及數(shù)據(jù)庫(kù)等功能，進(jìn)行管理。

4、在phpcms后臺(tái)，擴(kuò)展，數(shù)據(jù)庫(kù)工具，數(shù)據(jù)庫(kù)導(dǎo)出，程序池選擇phpcmsv9，開始備份數(shù)據(jù)。

5、打開IIS網(wǎng)站目錄，在D:\wwwroot\kmxy\wwwroot\caches\bakup\default文件夾，查看導(dǎo)出的數(shù)據(jù)庫(kù)文件。

6、登錄phpmyadmin，選擇數(shù)據(jù)庫(kù)導(dǎo)出，選擇Excel格式，即可導(dǎo)出。

php curl 大量數(shù)據(jù)采集

這個(gè)需要配合js，打開一個(gè)html頁(yè)面，首先js用ajax請(qǐng)求頁(yè)面，返回第一個(gè)頁(yè)面信息確定處理完畢（ajax有強(qiáng)制同步功能），ajax再訪問第二個(gè)頁(yè)面。（或者根據(jù)服務(wù)器狀況，你可以同時(shí)提交幾個(gè)URL，跑幾個(gè)相同的頁(yè)面）

參數(shù)可以由js產(chǎn)生并傳遞url，php后臺(tái)頁(yè)面根據(jù)URL抓頁(yè)面。然后ajax通過(guò)php，在數(shù)據(jù)庫(kù)或者是哪里設(shè)一個(gè)標(biāo)量，標(biāo)明檢測(cè)到哪里。由于前臺(tái)的html頁(yè)面執(zhí)行多少時(shí)候都沒問題，這樣php的內(nèi)存限制和執(zhí)行時(shí)間限制就解決了。

因?yàn)椴粫?huì)浪費(fèi)大量的資源用一個(gè)頁(yè)面來(lái)跑一個(gè)瞬間500次的for循環(huán)了。（你的500次for循環(huán)死了原因可能是獲取的數(shù)據(jù)太多，大過(guò)了php限制的內(nèi)存）

不過(guò)印象中curl好像也有強(qiáng)制同步的選項(xiàng)，就是等待一個(gè)抓取后再執(zhí)行下一步。但是這個(gè)500次都是用一個(gè)頁(yè)面線程處理，也就是說(shuō)肯定會(huì)遠(yuǎn)遠(yuǎn)大于30秒的默認(rèn)執(zhí)行時(shí)間。

求 php 循環(huán)執(zhí)行大量數(shù)據(jù) 解決辦法。

你用網(wǎng)頁(yè)的方式，讓人點(diǎn)擊，服務(wù)器采集，簡(jiǎn)直是弱爆了。每個(gè)人的點(diǎn)擊循環(huán)1000次，來(lái)個(gè)100人同時(shí)點(diǎn)，你要用的是普通的虛擬機(jī)就不行了。

最好是換種方式實(shí)現(xiàn)，不要通過(guò)網(wǎng)頁(yè)進(jìn)行采集。

可以非常簡(jiǎn)單的在數(shù)據(jù)庫(kù)的表，創(chuàng)建一個(gè)采集隊(duì)列，后臺(tái)執(zhí)行一個(gè)crontab的計(jì)劃任務(wù)，去完成隊(duì)列里的采集任務(wù)。

分享名稱：php怎么跑大量數(shù)據(jù) php能做大數(shù)據(jù)嗎
網(wǎng)站URL：http://newbst.com/article36/doojgpg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站策劃、App設(shè)計(jì)、企業(yè)網(wǎng)站制作、面包屑導(dǎo)航、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)