|
級別： 初級
肖文鵬 (xiaowp@263.net), 北京理工大學計算機系碩士研究生
2003 年 2 月 03 日
Pyton和C分別有著各自的優缺點，用Python開發程序速度快，可靠性高，并且有許多現成模塊可供使用，但執行速度相對較慢；C語言則正好相反，其執行速度快，但開發效率低。為了充分利用兩種語言各自的優點，比較好的做法是用Python開發整個軟件框架，而用C語言實現其關鍵模塊。本文介紹如何利用C語言來擴展Python的功能，并輔以具體的實例講述如何編寫Python的擴展模塊。
一、簡介
Python是一門功能強大的高級腳本語言，它的強大不僅表現在其自身的功能上，而且還表現在其良好的可擴展性上，正因如此，Python已經開始受到越來越多人的青睞，并且被屢屢成功地應用于各類大型軟件系統的開發過程中。
與其它普通腳本語言有所不同，Python程序員可以借助Python語言提供的API，使用C或者C++來對Python進行功能性擴展，從而即可以利用Python方便靈活的語法和功能，又可以獲得與C或者C++幾乎相同的執行性能。執行速度慢是幾乎所有腳本語言都具有的共性，也是倍受人們指責的一個重要因素，Python則通過與C語言的有機結合巧妙地解決了這一問題，從而使腳本語言的應用范圍得到了很大擴展。
在用Python開發實際軟件系統時，很多時候都需要使用C/C++來對Python進行擴展。最常見的情況是目前已經存在一個用C編寫的庫，需要在Python語言中使用該庫的某些功能，此時就可以借助Python提供的擴展功能來實現。此外，由于Python從本質上講還是一種腳本語言，某些功能用Python實現可能很難滿足實際軟件系統對執行效率的要求，此時也可以借助Python提供的擴展功能，將這些關鍵代碼段用C或者C++實現，從而提供程序的執行性能。
本文主要介紹Python提供的C語言擴展接口，以及如何使用這些接口和C/C++語言來對Python進行功能性擴展，并輔以具體的實例講述如何實現Python的功能擴展。
二、Python的C語言接口
Python是用C語言實現的一種腳本語言，本身具有優良的開放性和可擴展性，并提供了方便靈活的應用程序接口(API)，從而使得C/C++程序員能夠在各個級別上對Python解釋器的功能進行擴展。在使用C/C++對Python進行功能擴展之前，必須首先掌握Python解釋所提供的C語言接口。
2.1 Python對象(PyObject)
Python是一門面向對象的腳本語言，所有的對象在Python解釋器中都被表示成PyObject，PyObject結構包含Python對象的所有成員指針，并且對Python對象的類型信息和引用計數進行維護。在進行Python的擴展編程時，一旦要在C或者C++中對Python對象進行處理，就意味著要維護一個PyObject結構。
在Python的C語言擴展接口中，大部分函數都有一個或者多個參數為PyObject指針類型，并且返回值也大都為PyObject指針。
2.2 引用計數
為了簡化內存管理，Python通過引用計數機制實現了自動的垃圾回收功能，Python中的每個對象都有一個引用計數，用來計數該對象在不同場所分別被引用了多少次。每當引用一次Python對象，相應的引用計數就增1，每當消毀一次Python對象，則相應的引用就減1，只有當引用計數為零時，才真正從內存中刪除Python對象。
下面的例子說明了Python解釋器如何利用引用計數來對Pyhon對象進行管理：
例1:refcount.py
class refcount:
# etc.
r1 = refcount() # 引用計數為1
r2 = r1 # 引用計數為2
del(r1) # 引用計數為1
del(r2) # 引用計數為0，刪除對象
|
在C/C++中處理Python對象時，對引用計數進行正確的維護是一個關鍵問題，處理不好將很容易產生內存泄漏。Python的C語言接口提供了一些宏來對引用計數進行維護，最常見的是用Py_INCREF()來增加使Python對象的引用計數增1，用Py_DECREF()來使Python對象的引用計數減1。
2.3 數據類型
Python定義了六種數據類型：整型、浮點型、字符串、元組、列表和字典，在使用C語言對Python進行功能擴展時，首先要了解如何在C和Python的數據類型間進行轉化。
2.3.1 整型、浮點型和字符串
在Python的C語言擴展中要用到整型、浮點型和字符串這三種數據類型時相對比較簡單，只需要知道如何生成和維護它們就可以了。下面的例子給出了如何在C語言中使用Python的這三種數據類型：
例2：typeifs.c
// build an integer
PyObject* pInt = Py_BuildValue("i", 2003);
assert(PyInt_Check(pInt));
int i = PyInt_AsLong(pInt);
Py_DECREF(pInt);
// build a float
PyObject* pFloat = Py_BuildValue("f", 3.14f);
assert(PyFloat_Check(pFloat));
float f = PyFloat_AsDouble(pFloat);
Py_DECREF(pFloat);
// build a string
PyObject* pString = Py_BuildValue("s", "Python");
assert(PyString_Check(pString);
int nLen = PyString_Size(pString);
char* s = PyString_AsString(pString);
Py_DECREF(pString);
|
2.3.2 元組
Python語言中的元組是一個長度固定的數組，當Python解釋器調用C語言擴展中的方法時，所有非關鍵字(non-keyword)參數都以元組方式進行傳遞。下面的例子示范了如何在C語言中使用Python的元組類型：
例3：typetuple.c
// create the tuple
PyObject* pTuple = PyTuple_New(3);
assert(PyTuple_Check(pTuple));
assert(PyTuple_Size(pTuple) == 3);
// set the item
PyTuple_SetItem(pTuple, 0, Py_BuildValue("i", 2003));
PyTuple_SetItem(pTuple, 1, Py_BuildValue("f", 3.14f));
PyTuple_SetItem(pTuple, 2, Py_BuildValue("s", "Python"));
// parse tuple items
int i;
float f;
char *s;
if (!PyArg_ParseTuple(pTuple, "ifs", &i, &f, &s))
PyErr_SetString(PyExc_TypeError, "invalid parameter");
// cleanup
Py_DECREF(pTuple);
|
2.3.3 列表
Python語言中的列表是一個長度可變的數組，列表比元組更為靈活，使用列表可以對其存儲的Python對象進行隨機訪問。下面的例子示范了如何在C語言中使用Python的列表類型：
例4：typelist.c
// create the list
PyObject* pList = PyList_New(3); // new reference
assert(PyList_Check(pList));
// set some initial values
for(int i = 0; i < 3; ++i)
PyList_SetItem(pList, i, Py_BuildValue("i", i));
// insert an item
PyList_Insert(pList, 2, Py_BuildValue("s", "inserted"));
// append an item
PyList_Append(pList, Py_BuildValue("s", "appended"));
// sort the list
PyList_Sort(pList);
// reverse the list
PyList_Reverse(pList);
// fetch and manipulate a list slice
PyObject* pSlice = PyList_GetSlice(pList, 2, 4); // new reference
for(int j = 0; j < PyList_Size(pSlice); ++j) {
PyObject *pValue = PyList_GetItem(pList, j);
assert(pValue);
}
Py_DECREF(pSlice);
// cleanup
Py_DECREF(pList);
|
2.3.4 字典
Python語言中的字典是一個根據關鍵字進行訪問的數據類型。下面的例子示范了如何在C語言中使用Python的字典類型：
例5：typedic.c
// create the dictionary
PyObject* pDict = PyDict_New(); // new reference
assert(PyDict_Check(pDict));
// add a few named values
PyDict_SetItemString(pDict, "first",
Py_BuildValue("i", 2003));
PyDict_SetItemString(pDict, "second",
Py_BuildValue("f", 3.14f));
// enumerate all named values
PyObject* pKeys = PyDict_Keys(); // new reference
for(int i = 0; i < PyList_Size(pKeys); ++i) {
PyObject *pKey = PyList_GetItem(pKeys, i);
PyObject *pValue = PyDict_GetItem(pDict, pKey);
assert(pValue);
}
Py_DECREF(pKeys);
// remove a named value
PyDict_DelItemString(pDict, "second");
// cleanup
Py_DECREF(pDict);
|
三、Python的C語言擴展
3.1 模塊封裝
在了解了Python的C語言接口后，就可以利用Python解釋器提供的這些接口來編寫Python的C語言擴展，假設有如下一個C語言函數：
例6：example.c
int fact(int n)
{
if (n <= 1)
return 1;
else
return n * fact(n - 1);
}
|
該函數的功能是計算某個給定自然數的階乘，如果想在Python解釋器中調用該函數，則應該首先將其實現為Python中的一個模塊，這需要編寫相應的封裝接口，如下所示：
例7: wrap.c
#include <Python.h>
PyObject* wrap_fact(PyObject* self, PyObject* args)
{
int n, result;
if (! PyArg_ParseTuple(args, "i:fact", &n))
return NULL;
result = fact(n);
return Py_BuildValue("i", result);
}
static PyMethodDef exampleMethods[] =
{
{"fact", wrap_fact, METH_VARARGS, "Caculate N!"},
{NULL, NULL}
};
void initexample()
{
PyObject* m;
m = Py_InitModule("example", exampleMethods);
}
|
一個典型的Python擴展模塊至少應該包含三個部分：導出函數、方法列表和初始化函數。
3.2 導出函數
要在Python解釋器中使用C語言中的某個函數，首先要為其編寫相應的導出函數，上述例子中的導出函數為wrap_fact。在Python的C語言擴展中，所有的導出函數都具有相同的函數原型：
PyObject* method(PyObject* self, PyObject* args);
該函數是Python解釋器和C函數進行交互的接口，帶有兩個參數：self和args。參數self只在C函數被實現為內聯方法(built-in method)時才被用到，通常該參數的值為空(NULL)。參數args中包含了Python解釋器要傳遞給C函數的所有參數，通常使用Python的C語言擴展接口提供的函數PyArg_ParseTuple()來獲得這些參數值。
所有的導出函數都返回一個PyObject指針，如果對應的C函數沒有真正的返回值(即返回值類型為void)，則應返回一個全局的None對象(Py_None)，并將其引用計數增1，如下所示：
PyObject* method(PyObject *self, PyObject *args)
{
Py_INCREF(Py_None);
return Py_None;
}
|
3.3 方法列表
方法列表中給出了所有可以被Python解釋器使用的方法，上述例子對應的方法列表為：
static PyMethodDef exampleMethods[] =
{
{"fact", wrap_fact, METH_VARARGS, "Caculate N!"},
{NULL, NULL}
};
|
方法列表中的每項由四個部分組成：方法名、導出函數、參數傳遞方式和方法描述。方法名是從Python解釋器中調用該方法時所使用的名字。參數傳遞方式則規定了Python向C函數傳遞參數的具體形式，可選的兩種方式是METH_VARARGS和METH_KEYWORDS，其中METH_VARARGS是參數傳遞的標準形式，它通過Python的元組在Python解釋器和C函數之間傳遞參數，若采用METH_KEYWORD方式，則Python解釋器和C函數之間將通過Python的字典類型在兩者之間進行參數傳遞。
3.4 初始化函數
所有的Python擴展模塊都必須要有一個初始化函數，以便Python解釋器能夠對模塊進行正確的初始化。Python解釋器規定所有的初始化函數的函數名都必須以init開頭，并加上模塊的名字。對于模塊example來說，則相應的初始化函數為:
void initexample()
{
PyObject* m;
m = Py_InitModule("example", exampleMethods);
}
|
當Python解釋器需要導入該模塊時，將根據該模塊的名稱查找相應的初始化函數，一旦找到則調用該函數進行相應的初始化工作，初始化函數則通過調用Python的C語言擴展接口所提供的函數Py_InitModule()，來向Python解釋器注冊該模塊中所有可以用到的方法。
3.5 編譯鏈接
要在Python解釋器中使用C語言編寫的擴展模塊，必須將其編譯成動態鏈接庫的形式。下面以RedHat Linux 8.0為例，介紹如何將C編寫的Python擴展模塊編譯成動態鏈接庫：
[xiaowp@gary code]$ gcc -fpic -c -I/usr/include/python2.2 \
-I /usr/lib/python2.2/config \
example.c wrapper.c
[xiaowp@gary code]$ gcc -shared -o example.so example.o wrapper.o
|
3.6 引入Python解釋器
當生成Python擴展模塊的動態鏈接庫后，就可以在Python解釋器中使用該擴展模塊了，與Python自帶的模塊一樣，擴展模塊也是通過import命令引入后再使用的，如下所示：
[xiaowp@gary code]$ python
Python 2.2.1 (#1, Aug 30 2002, 12:15:30)
[GCC 3.2 20020822 (Red Hat Linux Rawhide 3.2-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import example
>>> example.fact(4)
24
>>>
|
四、結束語
作為一門功能強大的腳本語言，Python將被更加廣泛地應用于各個領域。為了克服腳本語言執行速度慢的問題，Python提供了相應的C語言擴展接口，通過將影響執行性能的關鍵代碼用C語言實現，可以很大程度上提高用Python編寫的腳本在運行時的速度，從而滿足實際需要。
參考資料
- 可以從Python( http://www.python.org)網站著手了解所有關于Python的內容。
- 可以在Python網站上找到正式的Python C/API文檔( http://www.python.org/doc/current/api/api.html)。
- 可以在Python網站上找到正式的編寫Python擴展模塊的文檔( http://www.python.org/doc/current/api/api.html)。
關于作者
|
|
|
|
|
肖文鵬，是北京理工大學計算機系的一名碩士研究生，主要從事操作系統和分布式計算環境的研究，喜愛Linux和Python。你可以通過 xiaowp@263.net與他取得聯系。
|
|