一年十二月  誰主春秋
關(guān)注:基礎(chǔ)系統(tǒng)工程 密碼學(xué) 人工智能
C++博客
首頁
新隨筆
聯(lián)系
聚合
管理
隨筆-162 評(píng)論-223 文章-30 trackbacks-0
Shell應(yīng)用(9):自動(dòng)化批量編譯
腳本概述
當(dāng)需要在很多(比如幾十至幾百)臺(tái)機(jī)器上編譯同一程序時(shí),如果一個(gè)個(gè)地手工拷貝源碼、再編譯,那么效率就很低,為了能大量節(jié)省手工、并行地編譯,因此寫了一個(gè)腳本,該腳本基于自動(dòng)化腳本語言expect(expect基于tcl)實(shí)現(xiàn),基本原理是針對(duì)每個(gè)遠(yuǎn)程主機(jī),創(chuàng)建一個(gè)子進(jìn)程,在該子進(jìn)程內(nèi)先調(diào)用scp拷貝源碼到遠(yuǎn)程主機(jī),再用ssh登錄到遠(yuǎn)程主機(jī)、發(fā)送cd、configure和make命令,交互期間的命令輸出多用正則分析,最終的編譯輸出保存到當(dāng)前目錄output子目錄下。其命令行參數(shù)說明如下:
●
第1參數(shù)為遠(yuǎn)程主機(jī)配置文件:一個(gè)多行文本文件,每行格式為IP 用戶名 密碼,空格符分隔,支持#注釋。
●
第2參數(shù)為本地主機(jī)源碼目錄:要求該目錄存在Makefile和configure文件。
●
第3參數(shù)為遠(yuǎn)程主機(jī)目標(biāo)目錄:用于存放源碼的位置。
腳本實(shí)現(xiàn)
拷貝源碼
1
proc
copy_file
{host user srcdir dstdir passwd {
to
10
} } {
2
if
[catch
"
spawn scp -rq $srcdir $user@$host:$dstdir
"
msg] {
3
send_error
"
failed to spawn scp: $msg\n
"
4
exit
1
5
}
6
7
set
timeout $
to
8
expect_after eof
{
9
send_error
"
$host scp died unexpectedly\n
"
10
exit
1
11
}
12
expect {
13
"
(yes/no)?
"
{ send
"
yes\r
"
; exp_continue }
14
-
re
"
(?:P|p)assword:
"
{ send
"
$passwd\r
"
}
15
timeout { do_timeout
"
$host scp
"
}
16
}
17
18
expect {
19
full_buffer
{ exp_continue }
20
timeou
t
{ exp_continue }
21
eof
22
}
23
}
第2行調(diào)用spawn命令執(zhí)行scp命令,并用catch捕捉錯(cuò)誤;當(dāng)執(zhí)行成功后,第12行用expect等待遠(yuǎn)端輸出(超時(shí)默認(rèn)為10秒),第13、14行自動(dòng)輸入用戶名和密碼,當(dāng)過程中網(wǎng)絡(luò)連接斷開時(shí),會(huì)匹配到第8行的eof;當(dāng)輸出完成連接關(guān)閉時(shí),會(huì)匹配到第21行的eof;如果輸出太多超過expect內(nèi)部的buffer時(shí),會(huì)匹配到第19行的full_buffer,這里由于為了提高效率,使用了靜默方式的scp,因些實(shí)際會(huì)匹配到第20行的timeout,不管匹配到哪種情況,都要繼續(xù)直到eof。
執(zhí)行編譯
1
proc
do_make
{host user passwd subdir {
to
10
} } {
2
if
[catch {spawn ssh $user@$host} msg ] {
3
send_error
"
failed to spawn ssh: $msg\n
"
4
exit
1
5
}
6
7
set
timeout $
to
8
expect_after eof {
9
send_error
"
$host ssh died unexpectedly\n
"
10
exit
1
11
}
12
13
expect {
14
"
*yes/no
"
{ send
"
yes\r
"
; exp_continue }
15
-
re
"
(?:P|p)assword:
"
{ send
"
$passwd\r
"
}
16
timeout { do_timeout
"
$host ssh
"
}
17
}
18
wait_cmd $spawn_id passwd
19
20
send
"
cd
$subdir\r
"
21
wait_cmd $spawn_id cd
22
23
send
"
source configure
\r
"
24
wait_cmd $spawn_id configure
25
26
send
"
make
\r
"
27
wait_cmd $spawn_id make
28
29
send
"
exit\r
"
30
expect eof
31
}
關(guān)于spawn和expect的解釋與上節(jié)
拷貝源碼
相同,不同的是依次發(fā)送命令cd、source configure、make,每個(gè)命令須等到命令提示符后(調(diào)用自定義函數(shù)wait_cmd)再發(fā)下一個(gè),最后發(fā)送exit退出ssh、導(dǎo)致連接關(guān)閉,匹配到最后一行的eof。對(duì)于有的項(xiàng)目源碼,可能沒有或不用配置,那么configure文件可以不存在或內(nèi)容為空,如果不存在導(dǎo)致報(bào)錯(cuò)也沒關(guān)系,不影響make;如果configure出錯(cuò),那么make也會(huì)出錯(cuò)。這里使用source是為了使配置在當(dāng)前shell中生效。
主循環(huán)
1
set
f [open $file r]
2
set
curtime [clock seconds]
3
4
log_user
0
5
set
s {[:blank:]}
6
set
pattern
"
^(\[^#$s]+)\[$s]+(\[^$s]+)\[$s]+(\[^$s]+)
"
7
8
while
{ [gets $f line] !
=
-
1
} {
9
if
{ ![
regexp
$pattern [
string
trimleft $line] ? host user passwd] } {
10
continue
11
}
12
send_user
"
$host $user $passwd\n
"
13
if
{ ![fork] } {
14
15
set
filename output
/
${host}_[clock format $curtime
-
format %y.%m.%d_%H.%M.%S].log
16
log_file
-
noappend
-
a
$filename
17
18
copy_file $host $user $srcdir $dstdir $passwd
30
19
do_make $host $user $passwd $subdir
30
20
21
send_user
"
$host finish\n
"
22
exit
23
}
24
}
打開遠(yuǎn)程主機(jī)配置文件,讀取每一行直到文件尾,忽略注釋行,用正則提取IP、用戶名和密碼,創(chuàng)建子進(jìn)程,按IP和當(dāng)前時(shí)間命名log文件(由于前面調(diào)用log_user 0關(guān)閉了控制臺(tái)輸出,因此為了能記錄輸出到日志文件,一定要加-a選項(xiàng)),最后調(diào)用函數(shù)copy_file和do_make。
完整腳本下載:
autobuild.zip
posted on 2016-09-28 11:04
春秋十二月
閱讀(3857)
評(píng)論(0)
編輯
收藏
引用
所屬分類:
System
只有注冊(cè)用戶
登錄
后才能發(fā)表評(píng)論。
【推薦】100%開源!大型工業(yè)跨平臺(tái)軟件C++源碼提供,建模,組態(tài)!
相關(guān)文章:
Windows異常分發(fā)與子系統(tǒng)圖表集 -- 摘自Windows內(nèi)核原理與實(shí)現(xiàn)
淺談Linux共享庫庫函數(shù)掛鉤檢測(cè)
kretprobe探究思考
基于Rust構(gòu)建WebAssembly
基于VSS可傳輸卷影拷貝的備份架構(gòu)
Shell(11): 創(chuàng)建和刪除so庫軟鏈接
關(guān)于make依賴文件的自動(dòng)生成
Shell應(yīng)用(10):支持開源庫編譯的Makefile
Shell應(yīng)用(9):自動(dòng)化批量編譯
一種攔截Linux動(dòng)態(tài)庫API的方法及裝置
網(wǎng)站導(dǎo)航:
博客園
IT新聞
BlogJava
博問
Chat2DB
管理
本博客所有隨筆均為原創(chuàng),因?yàn)椴欢ㄆ诰S護(hù)更新,所以轉(zhuǎn)載請(qǐng)注明出處,如有問題和建議,請(qǐng)留言或評(píng)論,發(fā)表您的寶貴意見,藉此平臺(tái)以分享交流、共同進(jìn)步。
聯(lián)系方式:微信math-engineer
<
2025年8月
>
日
一
二
三
四
五
六
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
6
常用鏈接
我的隨筆
我的評(píng)論
我參與的隨筆
留言簿
(78)
給我留言
查看公開留言
查看私人留言
隨筆分類
(161)
Algorithm(49)
C/C++(24)
Compiler(25)
Compute Theory(5)
Database(4)
Network(17)
Opensrc(13)
System(24)
隨筆檔案
(162)
2025年7月 (1)
2025年6月 (2)
2025年4月 (2)
2024年12月 (1)
2024年11月 (1)
2024年9月 (1)
2024年8月 (2)
2024年6月 (1)
2024年5月 (1)
2024年4月 (1)
2024年3月 (2)
2024年2月 (2)
2023年12月 (1)
2023年11月 (2)
2023年10月 (2)
2023年9月 (37)
2021年12月 (1)
2021年10月 (1)
2021年9月 (1)
2021年2月 (1)
2020年5月 (3)
2020年4月 (1)
2019年11月 (4)
2019年7月 (1)
2018年11月 (1)
2017年12月 (1)
2016年12月 (1)
2016年11月 (2)
2016年10月 (1)
2016年9月 (1)
2016年8月 (3)
2016年7月 (4)
2016年5月 (1)
2015年10月 (2)
2015年9月 (1)
2015年6月 (2)
2015年5月 (3)
2015年2月 (1)
2015年1月 (1)
2014年12月 (2)
2014年4月 (2)
2014年3月 (1)
2014年1月 (1)
2013年10月 (1)
2013年9月 (1)
2013年8月 (3)
2013年5月 (1)
2013年3月 (1)
2012年11月 (1)
2012年9月 (3)
2012年8月 (1)
2012年7月 (1)
2012年6月 (5)
2012年5月 (3)
2011年12月 (5)
2011年11月 (1)
2011年10月 (5)
2011年8月 (7)
2011年7月 (6)
2011年6月 (6)
2010年6月 (1)
2009年12月 (1)
2009年8月 (1)
2009年7月 (1)
2009年6月 (1)
2009年4月 (3)
文章分類
(30)
詩詞作品集(30)
關(guān)注的開源項(xiàng)目
LLVM
編譯系統(tǒng)
nginx
高性能Web服務(wù)器
OpenSSL
密碼學(xué)庫
suricata
網(wǎng)絡(luò)IPS引擎
最新隨筆
1.?關(guān)于分圓域的一般結(jié)論
2.?一個(gè)歐拉數(shù)整除問題的兩種證法
3.?有限域上的特征與指數(shù)和之?dāng)U展
4.?二元二次型的相似變換、正定性與正交分解
5.?關(guān)于群的一些結(jié)論及應(yīng)用
6.?不定方程的代數(shù)數(shù)論解法
7.?關(guān)于橢圓曲線的驗(yàn)證計(jì)算
8.?不可約多項(xiàng)式判別算法的改正
9.?論證有限域上平方根的求解
10.?求解離散對(duì)數(shù)問題的Terr算法
積分與排名
積分 - 419547
排名 - 56
最新評(píng)論
1.?re: 一種攔截Linux原始套接字IO的方法[未登錄]
很有前途和很有錢途啊。
--chipset
2.?re: 一種攔截Linux原始套接字IO的方法[未登錄]
@chipset
是的
--春秋十二月
3.?re: 一種攔截Linux原始套接字IO的方法[未登錄]
工作是做網(wǎng)絡(luò)安全?
--chipset
4.?re: 一種使用函數(shù)指針實(shí)現(xiàn)狀態(tài)機(jī)的方法
函數(shù)指針實(shí)現(xiàn)狀態(tài)機(jī)
--linda
5.?re: 多標(biāo)簽視圖類CTabView的設(shè)計(jì)實(shí)現(xiàn)
為啥代碼缺少一些呢,給新手個(gè)完整點(diǎn)的啊
--pekingliu
6.?re: 工作線程與消息循環(huán)
從消息隊(duì)列取出消息 mark了
--mmocake
7.?re: 一種簡單的跨平臺(tái)套接字管道
評(píng)論內(nèi)容較長,點(diǎn)擊標(biāo)題查看
--IT搬運(yùn)工
8.?re: 一種簡單的跨平臺(tái)套接字管道
windows僅支持af_init和af_init6地址族有錯(cuò)別字么?
af_init和af_init6
--IT搬運(yùn)工
9.?re: Shell應(yīng)用(8):使用awk定位反匯編輸出[未登錄]
厲害
--Chipset
10.?re: TCP分組丟失時(shí)的狀態(tài)變遷
不錯(cuò)
--Binky
閱讀排行榜
1.?基于OpenSSL實(shí)現(xiàn)的安全連接(14033)
2.?字符串16進(jìn)制顯示(12900)
3.?基于boost asio實(shí)現(xiàn)的ssl socket框架(12351)
4.?Linux套接字與虛擬文件系統(tǒng)(1):初始化和創(chuàng)建(8701)
5.?關(guān)于數(shù)據(jù)庫的一些學(xué)習(xí)研究心得(8137)
6.?使用CString GetBuffer自適應(yīng)獲取計(jì)算機(jī)名稱(7992)
7.?使用正則表達(dá)式解析URL(7958)
8.?basic_string內(nèi)存泄露問題之分析解決(7767)
9.?Shell應(yīng)用(4): 使用sed刪除行尾的^M字符(7700)
10.?nginx iocp(1):tcp異步連接(7671)
評(píng)論排行榜
1.?basic_string內(nèi)存泄露問題之分析解決(19)
2.?求單向鏈表倒序第m個(gè)元素(11)
3.?基于順序存儲(chǔ)實(shí)現(xiàn)的多叉樹(1):深度優(yōu)先存儲(chǔ)(9)
4.?字符大小寫轉(zhuǎn)換(7)
5.?字符串16進(jìn)制顯示(6)
6.?面向?qū)ο箧i框架的設(shè)計(jì)與實(shí)現(xiàn)(6)
7.?Shell應(yīng)用(4): 使用sed刪除行尾的^M字符(5)
8.?使用正則表達(dá)式解析URL(5)
9.?工作線程與消息循環(huán)(5)
10.?十進(jìn)制整數(shù)千位分隔符(4)
Powered by:
博客園
模板提供:
滬江博客
Copyright ©2025 春秋十二月
久久精品a亚洲国产v高清不卡
|
国产成人AV综合久久
|
亚洲午夜久久久久妓女影院
|
亚洲精品NV久久久久久久久久
|
久久久WWW免费人成精品
|
久久精品国产AV一区二区三区
|
久久大香香蕉国产
|
中文精品久久久久人妻
|
久久精品人人做人人爽电影
|
久久WWW免费人成—看片
|
亚洲人成伊人成综合网久久久
|
中文字幕一区二区三区久久网站
|
少妇久久久久久被弄到高潮
|
久久国产免费直播
|
亚洲午夜精品久久久久久人妖
|
久久综合色老色
|
国产精自产拍久久久久久蜜
|
无码久久精品国产亚洲Av影片
|
一本大道久久东京热无码AV
|
国产精品99久久久久久董美香
|
久久免费视频1
|
香港aa三级久久三级
|
久久亚洲AV成人无码国产
|
欧洲国产伦久久久久久久
|
久久精品国产99国产精品澳门
|
国产成人精品久久
|
精品国产青草久久久久福利
|
精品久久久久久99人妻
|
国产精品热久久无码av
|
好属妞这里只有精品久久
|
72种姿势欧美久久久久大黄蕉
|
亚洲va久久久噜噜噜久久天堂
|
久久精品国产亚洲AV影院
|
中文字幕无码久久人妻
|
久久亚洲精品国产亚洲老地址
|
国内精品久久久久久久亚洲
|
老司机国内精品久久久久
|
日韩一区二区久久久久久
|
国产精品伦理久久久久久
|
久久天天躁狠狠躁夜夜不卡
|
久久久久久国产精品免费免费
|