php海量數(shù)據(jù)處理,php百萬(wàn)數(shù)據(jù)查詢優(yōu)化
php處理大量數(shù)據(jù)時(shí)，運(yùn)行到一定時(shí)間就中斷了，請(qǐng)問(wèn)如何解決
php處理數(shù)據(jù)時(shí)會(huì)有一個(gè)等待時(shí)間，就是所說(shuō)的超時(shí)時(shí)間，而且如果使用mysql的話，它也有一個(gè)超時(shí)時(shí)間，運(yùn)行一串代碼時(shí)間如果超過(guò)配置文件的時(shí)間，會(huì)被中斷不運(yùn)行。第一種你可以修改php配置文件timeout的運(yùn)行時(shí)間，第二你可以分批處理大量數(shù)據(jù)，注意是分批處理，就OK了。
創(chuàng)新互聯(lián)公司專注于信宜網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供信宜營(yíng)銷型網(wǎng)站建設(shè)，信宜網(wǎng)站制作、信宜網(wǎng)頁(yè)設(shè)計(jì)、信宜網(wǎng)站官網(wǎng)定制、微信小程序開發(fā)服務(wù)，打造信宜網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供信宜網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。
PHP-大數(shù)據(jù)量怎么處理優(yōu)化
大數(shù)據(jù)的話可以進(jìn)行以下操作：
減少對(duì)數(shù)據(jù)庫(kù)的讀取，也就是減少調(diào)用數(shù)據(jù)庫(kù)，
進(jìn)行數(shù)據(jù)緩存，
利用數(shù)據(jù)庫(kù)的自身優(yōu)化技術(shù)，如索引等
精確查詢條件，有利于提高查找速度
在PHP中怎么解決大量數(shù)據(jù)處理的問(wèn)題
mysql_query函數(shù)查詢的方式是查詢出全部結(jié)果后緩存到內(nèi)存中，這樣就會(huì)出現(xiàn)超內(nèi)存的現(xiàn)象，使用另外一個(gè)函數(shù)mysql_unbuffered_query可以解決這個(gè)問(wèn)題，mysql_unbuffered_query不會(huì)緩存結(jié)果集，而是查詢出來(lái)數(shù)據(jù)后立馬對(duì)結(jié)果集進(jìn)行操作，也就是便查詢邊返回，這樣就不會(huì)出現(xiàn)超出內(nèi)存的現(xiàn)象，但是使用mysql_unbuffered_query的是時(shí)候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前，必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結(jié)果行。例如：
使用緩存結(jié)果集的代碼：
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用緩存結(jié)果集方式
// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用內(nèi)存大?。? . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i 10) {
break;
}
sleep(1);
print_r($result);
echo '占用內(nèi)存大?。? . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
執(zhí)行時(shí)將會(huì)報(bào)超出內(nèi)存的錯(cuò)誤：
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結(jié)果集，這時(shí)運(yùn)行該函數(shù)的結(jié)果如下：
最初占用內(nèi)存大?。?44808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用內(nèi)存大小：145544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用內(nèi)存大?。?45544
Array
(
[id] = 3
[a] = m
[b] = p
[c] = h
)
占用內(nèi)存大小：145536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用內(nèi)存大?。?45536
可以看到，這時(shí)返回一條數(shù)據(jù)內(nèi)存占用非常的小，也就700多字節(jié)，這樣就不會(huì)出現(xiàn)超出內(nèi)存的錯(cuò)誤了。
分享名稱：php海量數(shù)據(jù)處理,php百萬(wàn)數(shù)據(jù)查詢優(yōu)化
文章源于：http://m.jiaotiyi.com/article/hsghsc.html