問題
多線程libcurl運行一段時間后出現崩掉,沒有確定的點,沒有確定的URL。一直查看源代碼沒有問題,最后通過debug跟蹤發現是在訪問SSL的時候出現的crash。
才想起來openssl是不支持多線程的,要自己做加鎖處理。而且libcurl中并沒有支持相關的加鎖操作。
解決辦法:
在初始化libcurl的時候為openssl創建一個互斥鎖函數,一個回調函數傳給openss
openssl鎖l函數原形 :void (* func )(int ,int , const char * ,int)
設置方式:CRYPTO_set_locking_callback(void (* func )(int ,int , const char * ,int));
設置這樣一個函數還不夠,另外還要配置一個鎖id回調函數,這個可以參考openssl多線程下的使用相關。
id函數原形:unsigned int (*func)(void)
設置方式:CRYPTO_set_id_callback(unsigned int (*func)(void));
通過這兩個設置就可以解決HTTPS多線程請求出現crash的問題。
代碼示例:
下面是引用了libcurl示例的一個代碼http://curl.haxx.se/libcurl/c/opensslthreadlock.html
最關鍵就是,兩個callback的實現,還有初始化鎖(init_locks)和釋放鎖(kill_locks)的位置
- #define USE_OPENSSL
-
- #include <stdio.h>
- #include <pthread.h>
- #include <curl/curl.h>
-
- #define NUMT 4
-
- /* we have this global to let the callback get easy access to it */
- static pthread_mutex_t *lockarray;
-
- #ifdef USE_OPENSSL
- #include <openssl/crypto.h>
- static void lock_callback(int mode, int type, char *file, int line)
- {
- (void)file;
- (void)line;
- if (mode & CRYPTO_LOCK) {
- pthread_mutex_lock(&(lockarray[type]));
- }
- else {
- pthread_mutex_unlock(&(lockarray[type]));
- }
- }
-
- static unsigned long thread_id(void)
- {
- unsigned long ret;
-
- ret=(unsigned long)pthread_self();
- return(ret);
- }
-
- static void init_locks(void)
- {
- int i;
-
- lockarray=(pthread_mutex_t *)OPENSSL_malloc(CRYPTO_num_locks() *
- sizeof(pthread_mutex_t));
- for (i=0; i<CRYPTO_num_locks(); i++) {
- pthread_mutex_init(&(lockarray[i]),NULL);
- }
-
- CRYPTO_set_id_callback((unsigned long (*)())thread_id);
- CRYPTO_set_locking_callback((void (*)())lock_callback);
- }
-
- static void kill_locks(void)
- {
- int i;
-
- CRYPTO_set_locking_callback(NULL);
- for (i=0; i<CRYPTO_num_locks(); i++)
- pthread_mutex_destroy(&(lockarray[i]));
-
- OPENSSL_free(lockarray);
- }
- #endif
-
- #ifdef USE_GNUTLS
- #include <gcrypt.h>
- #include <errno.h>
-
- GCRY_THREAD_OPTION_PTHREAD_IMPL;
-
- void init_locks(void)
- {
- gcry_control(GCRYCTL_SET_THREAD_CBS);
- }
-
- #define kill_locks()
- #endif
-
- /* List of URLs to fetch.*/
- const char * const urls[]= {
- "https://www.example.com/",
- "https://www2.example.com/",
- "https://www3.example.com/",
- "https://www4.example.com/",
- };
-
- static void *pull_one_url(void *url)
- {
- CURL *curl;
-
- curl = curl_easy_init();
- curl_easy_setopt(curl, CURLOPT_URL, url);
- /* this example doesn't verify the server's certificate, which means we
- might be downloading stuff from an impostor */
- curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);
- curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);
- curl_easy_perform(curl); /* ignores error */
- curl_easy_cleanup(curl);
-
- return NULL;
- }
-
- int main(int argc, char **argv)
- {
- pthread_t tid[NUMT];
- int i;
- int error;
- (void)argc; /* we don't use any arguments in this example */
- (void)argv;
-
- /* Must initialize libcurl before any threads are started */
- curl_global_init(CURL_GLOBAL_ALL);
-
- init_locks();
-
- for(i=0; i< NUMT; i++) {
- error = pthread_create(&tid[i],
- NULL, /* default attributes please */
- pull_one_url,
- (void *)urls[i]);
- if(0 != error)
- fprintf(stderr, "Couldn't run thread number %d, errno %d\n", i, error);
- else
- fprintf(stderr, "Thread %d, gets %s\n", i, urls[i]);
- }
-
- /* now wait for all threads to terminate */
- for(i=0; i< NUMT; i++) {
- error = pthread_join(tid[i], NULL);
- fprintf(stderr, "Thread %d terminated\n", i);
- }
-
- kill_locks();
-
- return 0;
- }
BIOS 即basic input output system,在計算機的開機過程中伴有很重要的角色。它的啟動順序如下:
第一步: 當我們按下電源開關時,電源就開始向主板和其它設備供電,此時電壓還不太穩定,主板上的控制芯片組會向CPU發出并保持一個RESET(重置)信號,讓 CPU內部自動恢復到初始狀態,但CPU在此刻不會馬上執行指令。當芯片組檢測到電源已經開始穩定供電了(當然從不穩定到穩定的過程只是一瞬間的事情), 它便撤去RESET信號(如果是手工按下計算機面板上的Reset按鈕來重啟機器,那么松開該按鈕時芯片組就會撤去RESET信號),CPU馬上就從地址 FFFF0H處開始執行指令,從前面的介紹可知,這個地址實際上在系統BIOS的地址范圍內,無論是Award BIOS還是AMI BIOS,放在這里的只是一條跳轉指令,跳到系統BIOS中真正的啟動代碼處。
第二步: 系統BIOS的啟動代碼首先要做的事情就是進行POST(Power-On Self Test,加電后自檢),POST的主要任務是檢測系統中一些關鍵設備是否存在和能否正常工作,例如內存和顯卡等設備。由 于POST是最早進行的檢測過 程,此時顯卡還沒有初始化,如果系統BIOS在進行POST的過程中發現了一些致命錯誤,例如沒有找到內存或者內存有問題(此時只會檢查640K常規內 存),那么系統BIOS就會直接控制喇叭發聲來報告錯誤,聲音的長短和次數代表了錯誤的類型。在正常情況下,POST過程進行得非常快,我們幾乎無法感覺 到它的存在,POST結束之后就會調用其它代碼來進行更完整的硬件檢測。
第三步: 接下來系統BIOS將查找顯卡的BIOS,前面說過,存放顯卡BIOS的ROM芯片的起始地址通常設在C0000H處,系統BIOS在這個地方找到顯卡 BIOS之后就調用它的初始化代 碼,由顯卡BIOS來初始化顯卡,此時多數顯卡都會在屏幕上顯示出一些初始化信息,介紹生產廠商、圖形芯片類型等內容,不 過這個畫面幾乎是一閃而過。系統BIOS接著會查找其它設備的BIOS程序,找到之后同樣要調用這些BIOS內部的初始化代碼來初始化相關的設備。
第四步: 查找完所有其它設備的BIOS之后,系統BIOS將顯示出它自己的啟動畫面,其中包括有系統BIOS的類型、序列號和版本號等內容。
第五步: 接著系統BIOS將檢測和顯示CPU的類型和工作頻率,然后開始測試所有的RAM,并同時在屏幕上顯示內存測試的進度,我們可以在CMOS設置中自行決定 使用簡單耗時少或者詳細耗時多的測試方式。
第六步: 內存測試通過之后,系統BIOS將開始檢測系統中安裝的一些標準硬件設備,包括硬盤、CD-ROM、串口、并口、軟驅等設備,另外絕大多數較新版本的系統BIOS在這 一過程中還要自動檢測和設置內存的定時參數、硬盤參數和訪問模式等。
第七步: 標準設備檢測完畢后,系統BIOS內部的支持即插即用的代碼將開始檢測和配置系統中安裝的即插即用設備,每找到一個設備之后,系統BIOS都會在屏幕上顯 示出設備的名稱和型號等信息,同時為該設備分配中斷、DMA通道和I/O端口等資源。
第八步: 到這一步為止,所有硬件都已經檢測配置完畢了,多數系統BIOS會重新清屏并在屏幕上方顯示出一個表格,其中概略地列出了系統中安裝的各種標準硬件設備, 以及它們使用的資源和一些相關工作參數。
第九步: 接下來系統BIOS將更新ESCD(Extended System Configuration Data,擴展系統配置數據)。ESCD是系統BIOS用來與操作系統交換硬件配置信息的一種手段,這些數據被存放在CMOS(一小塊特殊的RAM,由主 板上的電池來供電)之中。通常ESCD數據只在系統硬件配置發生改變后才會更新,所以不是每次啟動機器時我們都能夠看到“Update ESCD… Success”這樣的信息,不過,某些主板的系統BIOS在保存ESCD數據時使用了與Windows 9x不相同的數據格式,于是Windows 9x在它自己的啟動過程中會把ESCD數據修改成自己的格式,但在下一次啟動機器時,即使硬件配置沒有發生改變,系統BIOS也會把ESCD的數據格式改 回來,如此循環,將會導致在每次啟動機器時,系統BIOS都要更新一遍ESCD,這就是為什么有些機器在每次啟動時都會顯示出相關信息的原因。
第十步: ESCD更新完畢后,系統BIOS的啟動代碼將進行它的最后一項工作,即根據用戶指定的啟動順序從軟盤、硬盤或光驅啟動。 以從C盤啟動為例,系統BIOS 將讀取并執行硬盤上的主引導記錄,主引導記錄接著從分區表中找到第一個活動分區,然后讀取并執行這個活動分區的分區引導記錄,而分區引導記錄將負責讀取并 執行IO.SYS,這是DOS和Windows 9x最基本的系統文件。Windows 9x的IO.SYS首先要初始化一些重要的系統數據,然后就顯示出我們熟悉的藍天白云,在這幅畫面之下,Windows將繼續進行DOS部分和GUI(圖 形用戶界面)部分的引導和初始化工作。
1/ 多線程下程序蹦的問題
查找 crul_easy_getinfo
將上面的 int http_code = 0; 改為 long http_code = 0;
2/ 多線程下超時退出 signal 11問題
在 curl_easy_perform(curl);前加上 curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1L);
3/ 多線程環境下,程序啟動時調用一次 curl_global_init(CURL_GLOBAL_ALL);
程序退出時調用curl_global_cleanup();
http://blog.csdn.net/jaylong35/article/details/6988690
----------------------------------------------------------------------------------------------
包含tb_player和79669的行
tb_player.*?79669
----------------------------------------------------------------------------------------------
數據庫的PITR是一般數據庫都必須滿足的技術。其原理是依據之前的物理備份文件加上wal的預寫日志模式備份做的恢復。該技術支持8.*及以上版本。下面主要概述PITR的準備和恢復過程。 測試環境
OS 環境:CentOS 6.2
數據庫 :PostgreSQL 9.1.9
一、前期工作既要恢復,肯定是需要一個備份基礎的,否則再怎么的巧婦也難為無米之炊。
1.修改數據庫參數,修改postgresql.conf:
archive_mode = on
archive_timeout = 300 --單位是秒,此處以5分鐘為限強制歸檔,僅作測試
archive_command = 'cp %p /data/pgbackup/archive/%f' -- 注意/data/pgbackup/archive/目錄權限, chmod -R 777 /data/pgbackup/archive/
wal_level = archive
修改完重啟下reload,DB
2.基于文件級別的持續備份,
a.基礎備份
postgres=# select pg_start_backup('backup_2012_05_20_14:22:10');
b.打包備份pg_data
# cd /data
# tar -cvzf pgdata.tar ./postgres
mv pgdata.tar /data/pgbackup/base/
c.結束基礎備份并切換歸檔
postgres=# select pg_stop_backup();
postgres=# select pg_switch_xlog();
pg_switch_xlog
----------------
0/C000020
(1 row)
postgres=# select pg_current_xlog_location();
pg_current_xlog_location
--------------------------
0/C000020
(1 row)
postgres=# create table test_1(id int,name varchar(50));
postgres=# insert into test_1 values (1,'kenyon');
INSERT 0 1
此時在pg_data路徑下會產生一個label,可以查看內容有checkpoint時間,基礎備份的開始和結束時間,以及標簽名稱等。因為之前已經設置了archive的三個參數,可以在archive的備份路徑pg_home/archive下看到歸檔的文件會定時傳過來。
二、恢復過程
停數據庫
# pg_stop
假定數據庫的崩潰場景,將pgdata數據刪除
# rm -rf /database/pgdata
恢復之前備份的tar文件
# tar xvf pgdata.tar
刪除pg_xlog文件夾并重建
# rm -rf pg_xlog
# mkdir -p pg_xlog/archive_status
新建recovery.conf文件并修改
# vi /data/postgres/recovery.conf
--新增內容,指定恢復文件和路徑,%f,%p見上面說明
restore_command = 'cp /data/pgbackup/archive/%f "%p"'
啟動數據庫
# pg_start
[postgres@localhost archive]$ psql
spsql (9.1.3)
Type "help" for help.
postgres=# select * from test_1;
id | name
----+--------
1 | kenyon
(1 rows)
--恢復成功,會恢復到之前接收到的最后一個歸檔文件。另外recovery.conf會改名變成recovery.done
日志內容:
LOG: shutting down
LOG: database system is shut down
LOG: database system was interrupted; last known up at 2012-05-20 22:23:15 CST
LOG: starting archive recovery
LOG: restored log file "000000010000000000000002" from archive
LOG: redo starts at 0/8000078
LOG: consistent recovery state reached at 0/C000000
LOG: restored log file "000000010000000000000003" from archive
LOG: restored log file "000000010000000000000004" from archive
LOG: restored log file "000000010000000000000005" from archive
LOG: restored log file "000000010000000000000006" from archive
LOG: restored log file "000000010000000000000007" from archive
cp: cannot stat `/home/postgres/archive/000000010000000000000008': No such file or directory
LOG: could not open file "pg_xlog/000000010000000000000008" (log file 0, segment 8): No such file or directory
LOG: redo done at 0/1C000078
LOG: last completed transaction was at log time 2012-05-20 23:01:22.960591+08
LOG: restored log file "000000010000000000000007" from archive
cp: cannot stat `/home/postgres/archive/00000002.history': No such file or directory
LOG: selected new timeline ID: 2
cp: cannot stat `/home/postgres/archive/00000001.history': No such file or directory
LOG: archive recovery complete
LOG: database system is ready to accept connections
LOG: autovacuum launcher started
PS:若要恢復到指定時間,還需要再recovery.conf中設置recovrey_target_time,recovery_target_timeline等參數
總結:pitr技術對于7*24小時支撐是至關重要的,但是如果數據庫非常小,增大pg_dump備份的頻率可能更方便,但對于大數據庫就需要了。
由于Cron 是Linux的內置服務,可以用以下的方法啟動、關閉這個服務:
/sbin/service crond start //啟動服務
/sbin/service crond stop //關閉服務
/sbin/service crond restart //重啟服務
/sbin/service crond reload //重新載入配置
Crontab命令的格式為:crontab –l|-r|-e|-i [username],其參數含義如表一
crontab -e //編輯crontab文件
crontab 格式
第1列分鐘1~59
第2列小時1~23(0表示子夜)
第3列日1~31
第4列月1~12
第5列星期0~6(0表示星期天)
第6列要運行的命令
下面是crontab的格式:
分 時 日 月 星期 要運行的命令
這里有crontab文件條目的一些例子:
30 21 * * * /usr/local/apache/bin/apachectl restart
上面的例子表示每晚的21:30重啟apache。
45 4 1,10,22 * * /usr/local/apache/bin/apachectl restart
上面的例子表示每月1、10、22日的4 : 45重啟apache。
10 1 * * 6,0 /usr/local/apache/bin/apachectl restart
上面的例子表示每周六、周日的1 : 10重啟apache。
0,30 18-23 * * * /usr/local/apache/bin/apachectl restart
上面的例子表示在每天18 : 00至23 : 00之間每隔30分鐘重啟apache。
0 23 * * 6 /usr/local/apache/bin/apachectl restart
上面的例子表示每星期六的11 : 00 pm重啟apache。
* */1 * * * /usr/local/apache/bin/apachectl restart
每一小時重啟apache
* 23-7/1 * * * /usr/local/apache/bin/apachectl restart
晚上11點到早上7點之間,每隔一小時重啟apache
0 11 4 * mon-wed /usr/local/apache/bin/apachectl restart
每月的4號與每周一到周三的11點重啟apache
0 4 1 jan * /usr/local/apache/bin/apachectl restart
一月一號的4點重啟apache
-----------------------------------------------------------------------------
grep 一次排除多個
grep -v 'aaaa\|bbbb' // 排除aaaa和bbbb
-----------------------------------------------------------------------------
查看文件數
ls |wc -l
-----------------------------------------------------------------------------
查看文件夾大小
du -sh *
du -sh /home
du -sh
------------------------------------------------------------------------------
查找最新的文件
(1)將文件按從新到舊排列,取第一個。
ls -t *.cpp | head -1
(2)將文件按從舊到新排列,取最后一個。
ls -rt *.cpp | tail -1
------------------------------------------------------------------------------
linux下遞歸刪除某個文件夾或文件
今天給學校部署校慶網站,做網站的同學傳給我的網站文件夾里,有很多exe文件,而且這些exe的文件名都是原來的目錄名,看起來是他的機器中了病毒。雖然exe文件在linux下無法運行,但是還是要刪除這些exe文件。在網上找了一下,《linux下遞歸刪除某個文件夾或文件》給了我滿意的方法,讓我可以一次性刪除某目錄及其子目錄下所有的exe文件。
find . -name '*.exe' -type f -print -exec rm -rf {} \;
(1) "." 表示從當前目錄開始遞歸查找
(2) “ -name '*.exe' "根據名稱來查找,要查找所有以.exe結尾的文件夾或者文件
(3) " -type f "查找的類型為文件
(4) "-print" 輸出查找的文件目錄名
(5) 最主要的是是-exec了,-exec選項后邊跟著一個所要執行的命令,表示將find出來的文件或目錄執行該命令。exec選項后面跟隨著所要執行的命令或腳本,然后是一對兒{},一個空格和一個\,最后是一個分號
-----------------------------------------------------------------------------
yum install readline-devel
./configure -without-zlib
make
su
make install
mkdir -p /data/postgres
ln -s /data/postgres/ /home/
groupadd postgres
useradd -d /home/postgres -g postgres postgres
chown -R postgres:postgres /data/postgres/
su - postgres
/usr/local/pgsql/bin/initdb -A md5 --locale=en_US.utf8 --lc-ctype=en_US.utf8 -E UTF-8 -W /data/postgres
ln -s /usr/local/pgsql/bin/ ./
mkdir /data/postgres/pg_log
chown -R postgres:postgres /data/postgres/pg_log
//開啟pg
bin/postgres -D /data/postgres >pg_log/logfile 2>&1 &
// 設為開機啟動
cp /data/zc/postgresql-9.1.9/contrib/start-scripts/linux /etc/init.d/postgresql
chmod a+x /etc/init.d/postgresql
// 修改/etc/init.d/postgresql
prefix 設為postgres安裝路徑
PGDATA 設為數據庫路徑(/data/postgres)
chkconfig --add postgresql
前幾篇文章中已經介紹過局部變量和環境變量的含義,接下來我們來拓展下,看看變量怎樣實現在shell腳本
中的傳遞shell腳本其實是用當前shell的子shell去執行的,所以在shell腳本中定義的普通變量只適用于當前
shell的子shell環境,也就是說在當前shell環境中不適用,也不適用于這個shell腳本的子shell。
在shell腳本中定義的環境變量可以傳承給它的子shell,但是也不能傳遞給當前shell(不能逆向傳遞)
如果在一個腳本中需要執行另一個腳本,并且運用其中的變量,改如何申明變量呢,我們來看一個例子:
/root/test1.sh內容如下:
#!/bin/bash
aaa=yuanfaxiang
echo "test1:$aaa"
/root/test2.sh內容如下:
#!/bin/bash
/root/test1.sh
echo "test2:$aaa"
執行test2.sh結果如下:
[root@centos ~]# sh test2.sh
test1:yuanfaxiang
test2:
從結果可以看出test1.sh沒有把變量aaa的值傳遞給test2.sh
我們把test2.sh改成:
#!/bin/bash
source /root/test1.sh
echo "test2:$aaa"
執行test2.sh結果如下:
[root@centos ~]# sh test2.sh
test1:yuanfaxiang
test2:yuanfaxiang
結果顯示test2.sh繼承了test1.sh中定義的變量aaa。
原因分析:在第一次執行test2.sh時,test1.sh被作為了test2.sh的子shell來執行,其中定義的變量只
在test1.sh中起效,不能逆向傳遞到test2.sh中;而在第二次執行中,采用source來執行test1.sh,意思
是直接把test1.sh在當前的test2.sh中執行,沒有作為子shell去執行,test1.sh中定義的變量,就影響
到了test2.sh。
如果我們再建一個test3.sh
#!/bin/bash
echo "test3:$aaa"
把test2.sh改成:
#!/bin/bash
source /root/test1.sh
echo "test2:$aaa"
/root/test3.sh
執行test2.sh:
[root@shenji ~]# sh test2.sh
test1:yuanfaxiang
test2:yuanfaxiang
test3:
結果顯示test3.sh沒有繼承test1.sh中申明的變量,因為source /root/test1.sh只是讓test1.sh
中的變量在test2.sh中生效,aaa畢竟還是個普通局部變量,并不能被test3.sh這個子shell所繼承,
所以我們可以想到環境變量,把aaa變成test2.sh這個腳本的環境變量,讓test2.sh的子進程也能繼承。
將test1.sh改成:
#!/bin/bash
export aaa=yuanfaxiang
echo "test1:$aaa"
執行test2.sh后有如下結果:
[root@shenji ~]# sh test2.sh
test1:yuanfaxiang
test2:yuanfaxiang
test3:yuanfaxiang
在test1.sh中聲明了環境變量也就是全局變量,在test2.sh中用source執行test1.sh,將變量帶到了
test2.sh中,并使之成為test2.sh執行過程中的環境變量,可以被test2.sh的子進程繼承,起到了順向
傳遞效果。
最近項目要上QQ平臺, 用到騰迅開放平臺的SDK, SDK使用的是libcurl. 發現很多bug,
其中最大的問題是, sdk在單線程下正常, 在多線程下就蹦, 后來研究發現 是curl_easy_getinfo第三個參數需要的是long, 而SDK傳給它的是int, 其它地方還有類似的錯誤.
哎,騰迅也是坑爹啊.
-------------------------------------------------------------
1.libcurl中常用的API
#include <curl/curl.h>
CURL *curl_easy_init()
必須第一個調用,返回一個CURL指針,用于表示當前的curl會話。
如果之前沒有執行curl_global_init(long flags),則它會自動先執行。
但是由于curl_global_init(long flags)和其調用的函數在多線程中是不安全的,所以多線程程序中必須在其它線程啟動之前執行curl_global_init(long flags)。
void curl_easy_cleanup(CURL * handle )
會話結束后調用,以清除一個CURL * handle
CURLcode curl_easy_setopt(CURL *handle, CURLoption option, parameter)
設置libcurl執行參數
CURLcode curl_easy_perform(CURL * handle)
根據設置的參數執行網絡數據傳輸,在初始化和參數設置后調用
CURLcode curl_easy_getinfo(CURL *curl, CURLINFO info, ... )
獲取所指向的libcurl會話的執行信息
2.libcurl最簡單使用流程
#include <stdio.h>
#include <curl/curl.h>
int main(void)
{
CURL *curl;
CURLcode res;
int response;
res = curl_global_init(CURL_GLOBAL_ALL);
curl = curl_easy_init();
if(curl) {
curl_easy_setopt(curl, CURLOPT_URL, "curl.haxx.se");
res = curl_easy_perform(curl);
res = curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &response);
curl_easy_cleanup(curl);
}
curl_global_cleanup();
return 0;
}
3.libcurl使用實例
更多的使用示例可以參考官方網站上的以下網頁
http://curl.haxx.se/libcurl/c/example.html
參考資料:
http://curl.haxx.se