S.l.e!ep.￠%

像打了激速一樣，以四倍的速度運(yùn)轉(zhuǎn)，開心的工作
簡(jiǎn)單、開放、平等的公司文化；尊重個(gè)性、自由與個(gè)人價(jià)值；

posts - 1098, comments - 335, trackbacks - 0, articles - 1

C++博客 :: 首頁(yè) :: 新隨筆 :: 聯(lián)系 :: 聚合

:: 管理

用C語(yǔ)言擴(kuò)展Python的功能

Posted on 2009-10-12 22:08 S.l.e!ep.￠% 閱讀(774) 評(píng)論(0) 編輯收藏引用所屬分類: python

用C語(yǔ)言擴(kuò)展Python的功能

如何找到、使用和參與開放源代碼項(xiàng)目

文檔選項(xiàng)

未顯示需要 JavaScript 的文檔選項(xiàng)

		打印本頁(yè)
		將此頁(yè)作為電子郵件發(fā)送

級(jí)別：初級(jí)

肖文鵬 (xiaowp@263.net), 北京理工大學(xué)計(jì)算機(jī)系碩士研究生

2003 年 2 月 03 日

Pyton和C分別有著各自的優(yōu)缺點(diǎn)，用Python開發(fā)程序速度快，可靠性高，并且有許多現(xiàn)成模塊可供使用，但執(zhí)行速度相對(duì)較慢；C語(yǔ)言則正好相反，其執(zhí)行速度快，但開發(fā)效率低。為了充分利用兩種語(yǔ)言各自的優(yōu)點(diǎn)，比較好的做法是用Python開發(fā)整個(gè)軟件框架，而用C語(yǔ)言實(shí)現(xiàn)其關(guān)鍵模塊。本文介紹如何利用C語(yǔ)言來(lái)擴(kuò)展Python的功能，并輔以具體的實(shí)例講述如何編寫Python的擴(kuò)展模塊。

一、簡(jiǎn)介

Python是一門功能強(qiáng)大的高級(jí)腳本語(yǔ)言，它的強(qiáng)大不僅表現(xiàn)在其自身的功能上，而且還表現(xiàn)在其良好的可擴(kuò)展性上，正因如此，Python已經(jīng)開始受到越來(lái)越多人的青睞，并且被屢屢成功地應(yīng)用于各類大型軟件系統(tǒng)的開發(fā)過(guò)程中。

與其它普通腳本語(yǔ)言有所不同，Python程序員可以借助Python語(yǔ)言提供的API，使用C或者C++來(lái)對(duì)Python進(jìn)行功能性擴(kuò)展，從而即可以利用Python方便靈活的語(yǔ)法和功能，又可以獲得與C或者C++幾乎相同的執(zhí)行性能。執(zhí)行速度慢是幾乎所有腳本語(yǔ)言都具有的共性，也是倍受人們指責(zé)的一個(gè)重要因素，Python則通過(guò)與C語(yǔ)言的有機(jī)結(jié)合巧妙地解決了這一問(wèn)題，從而使腳本語(yǔ)言的應(yīng)用范圍得到了很大擴(kuò)展。

在用Python開發(fā)實(shí)際軟件系統(tǒng)時(shí)，很多時(shí)候都需要使用C/C++來(lái)對(duì)Python進(jìn)行擴(kuò)展。最常見的情況是目前已經(jīng)存在一個(gè)用C編寫的庫(kù)，需要在Python語(yǔ)言中使用該庫(kù)的某些功能，此時(shí)就可以借助Python提供的擴(kuò)展功能來(lái)實(shí)現(xiàn)。此外，由于Python從本質(zhì)上講還是一種腳本語(yǔ)言，某些功能用Python實(shí)現(xiàn)可能很難滿足實(shí)際軟件系統(tǒng)對(duì)執(zhí)行效率的要求，此時(shí)也可以借助Python提供的擴(kuò)展功能，將這些關(guān)鍵代碼段用C或者C++實(shí)現(xiàn)，從而提供程序的執(zhí)行性能。

本文主要介紹Python提供的C語(yǔ)言擴(kuò)展接口，以及如何使用這些接口和C/C++語(yǔ)言來(lái)對(duì)Python進(jìn)行功能性擴(kuò)展，并輔以具體的實(shí)例講述如何實(shí)現(xiàn)Python的功能擴(kuò)展。

回頁(yè)首

二、Python的C語(yǔ)言接口

Python是用C語(yǔ)言實(shí)現(xiàn)的一種腳本語(yǔ)言，本身具有優(yōu)良的開放性和可擴(kuò)展性，并提供了方便靈活的應(yīng)用程序接口(API)，從而使得C/C++程序員能夠在各個(gè)級(jí)別上對(duì)Python解釋器的功能進(jìn)行擴(kuò)展。在使用C/C++對(duì)Python進(jìn)行功能擴(kuò)展之前，必須首先掌握Python解釋所提供的C語(yǔ)言接口。

2.1 Python對(duì)象(PyObject)

Python是一門面向?qū)ο蟮哪_本語(yǔ)言，所有的對(duì)象在Python解釋器中都被表示成PyObject，PyObject結(jié)構(gòu)包含Python對(duì)象的所有成員指針，并且對(duì)Python對(duì)象的類型信息和引用計(jì)數(shù)進(jìn)行維護(hù)。在進(jìn)行Python的擴(kuò)展編程時(shí)，一旦要在C或者C++中對(duì)Python對(duì)象進(jìn)行處理，就意味著要維護(hù)一個(gè)PyObject結(jié)構(gòu)。

在Python的C語(yǔ)言擴(kuò)展接口中，大部分函數(shù)都有一個(gè)或者多個(gè)參數(shù)為PyObject指針類型，并且返回值也大都為PyObject指針。

2.2 引用計(jì)數(shù)

為了簡(jiǎn)化內(nèi)存管理，Python通過(guò)引用計(jì)數(shù)機(jī)制實(shí)現(xiàn)了自動(dòng)的垃圾回收功能，Python中的每個(gè)對(duì)象都有一個(gè)引用計(jì)數(shù)，用來(lái)計(jì)數(shù)該對(duì)象在不同場(chǎng)所分別被引用了多少次。每當(dāng)引用一次Python對(duì)象，相應(yīng)的引用計(jì)數(shù)就增1，每當(dāng)消毀一次Python對(duì)象，則相應(yīng)的引用就減1，只有當(dāng)引用計(jì)數(shù)為零時(shí)，才真正從內(nèi)存中刪除Python對(duì)象。

下面的例子說(shuō)明了Python解釋器如何利用引用計(jì)數(shù)來(lái)對(duì)Pyhon對(duì)象進(jìn)行管理：

例1:refcount.py
class refcount:
    # etc.
r1 = refcount() # 引用計(jì)數(shù)為1
r2 = r1         # 引用計(jì)數(shù)為2
del(r1)         # 引用計(jì)數(shù)為1
del(r2)         # 引用計(jì)數(shù)為0，刪除對(duì)象

在C/C++中處理Python對(duì)象時(shí)，對(duì)引用計(jì)數(shù)進(jìn)行正確的維護(hù)是一個(gè)關(guān)鍵問(wèn)題，處理不好將很容易產(chǎn)生內(nèi)存泄漏。Python的C語(yǔ)言接口提供了一些宏來(lái)對(duì)引用計(jì)數(shù)進(jìn)行維護(hù)，最常見的是用Py_INCREF()來(lái)增加使Python對(duì)象的引用計(jì)數(shù)增1，用Py_DECREF()來(lái)使Python對(duì)象的引用計(jì)數(shù)減1。

2.3 數(shù)據(jù)類型

Python定義了六種數(shù)據(jù)類型：整型、浮點(diǎn)型、字符串、元組、列表和字典，在使用C語(yǔ)言對(duì)Python進(jìn)行功能擴(kuò)展時(shí)，首先要了解如何在C和Python的數(shù)據(jù)類型間進(jìn)行轉(zhuǎn)化。

2.3.1 整型、浮點(diǎn)型和字符串

在Python的C語(yǔ)言擴(kuò)展中要用到整型、浮點(diǎn)型和字符串這三種數(shù)據(jù)類型時(shí)相對(duì)比較簡(jiǎn)單，只需要知道如何生成和維護(hù)它們就可以了。下面的例子給出了如何在C語(yǔ)言中使用Python的這三種數(shù)據(jù)類型：

例2：typeifs.c
// build an integer
PyObject* pInt = Py_BuildValue("i", 2003);
assert(PyInt_Check(pInt));
int i = PyInt_AsLong(pInt);
Py_DECREF(pInt);
// build a float
PyObject* pFloat = Py_BuildValue("f", 3.14f);
assert(PyFloat_Check(pFloat));
float f = PyFloat_AsDouble(pFloat);
Py_DECREF(pFloat);
// build a string
PyObject* pString = Py_BuildValue("s", "Python");
assert(PyString_Check(pString);
int nLen = PyString_Size(pString);
char* s = PyString_AsString(pString);
Py_DECREF(pString);

2.3.2 元組

Python語(yǔ)言中的元組是一個(gè)長(zhǎng)度固定的數(shù)組，當(dāng)Python解釋器調(diào)用C語(yǔ)言擴(kuò)展中的方法時(shí)，所有非關(guān)鍵字(non-keyword)參數(shù)都以元組方式進(jìn)行傳遞。下面的例子示范了如何在C語(yǔ)言中使用Python的元組類型：

例3：typetuple.c
// create the tuple
PyObject* pTuple = PyTuple_New(3);
assert(PyTuple_Check(pTuple));
assert(PyTuple_Size(pTuple) == 3);
// set the item
PyTuple_SetItem(pTuple, 0, Py_BuildValue("i", 2003));
PyTuple_SetItem(pTuple, 1, Py_BuildValue("f", 3.14f));
PyTuple_SetItem(pTuple, 2, Py_BuildValue("s", "Python"));
// parse tuple items
int i;
float f;
char *s;
if (!PyArg_ParseTuple(pTuple, "ifs", &i, &f, &s))
    PyErr_SetString(PyExc_TypeError, "invalid parameter");
// cleanup
Py_DECREF(pTuple);

2.3.3 列表

Python語(yǔ)言中的列表是一個(gè)長(zhǎng)度可變的數(shù)組，列表比元組更為靈活，使用列表可以對(duì)其存儲(chǔ)的Python對(duì)象進(jìn)行隨機(jī)訪問(wèn)。下面的例子示范了如何在C語(yǔ)言中使用Python的列表類型：

例4：typelist.c
// create the list
PyObject* pList = PyList_New(3); // new reference
assert(PyList_Check(pList));
// set some initial values
for(int i = 0; i < 3; ++i)
    PyList_SetItem(pList, i, Py_BuildValue("i", i));
// insert an item
PyList_Insert(pList, 2, Py_BuildValue("s", "inserted"));
// append an item
PyList_Append(pList, Py_BuildValue("s", "appended"));
// sort the list
PyList_Sort(pList);
// reverse the list
PyList_Reverse(pList);
// fetch and manipulate a list slice
PyObject* pSlice = PyList_GetSlice(pList, 2, 4); // new reference
for(int j = 0; j < PyList_Size(pSlice); ++j) {
  PyObject *pValue = PyList_GetItem(pList, j);
  assert(pValue);
}
Py_DECREF(pSlice);
// cleanup
Py_DECREF(pList);

2.3.4 字典

Python語(yǔ)言中的字典是一個(gè)根據(jù)關(guān)鍵字進(jìn)行訪問(wèn)的數(shù)據(jù)類型。下面的例子示范了如何在C語(yǔ)言中使用Python的字典類型：

例5：typedic.c
// create the dictionary
PyObject* pDict = PyDict_New(); // new reference
assert(PyDict_Check(pDict));
// add a few named values
PyDict_SetItemString(pDict, "first", 
                     Py_BuildValue("i", 2003));
PyDict_SetItemString(pDict, "second", 
                     Py_BuildValue("f", 3.14f));
// enumerate all named values
PyObject* pKeys = PyDict_Keys(); // new reference
for(int i = 0; i < PyList_Size(pKeys); ++i) {
  PyObject *pKey = PyList_GetItem(pKeys, i);
  PyObject *pValue = PyDict_GetItem(pDict, pKey);
  assert(pValue);
}
Py_DECREF(pKeys);
// remove a named value
PyDict_DelItemString(pDict, "second");
// cleanup
Py_DECREF(pDict);

回頁(yè)首

三、Python的C語(yǔ)言擴(kuò)展

3.1 模塊封裝

在了解了Python的C語(yǔ)言接口后，就可以利用Python解釋器提供的這些接口來(lái)編寫Python的C語(yǔ)言擴(kuò)展，假設(shè)有如下一個(gè)C語(yǔ)言函數(shù)：

例6：example.c
int fact(int n)
{
  if (n <= 1) 
    return 1;
  else 
    return n * fact(n - 1);
}

該函數(shù)的功能是計(jì)算某個(gè)給定自然數(shù)的階乘，如果想在Python解釋器中調(diào)用該函數(shù)，則應(yīng)該首先將其實(shí)現(xiàn)為Python中的一個(gè)模塊，這需要編寫相應(yīng)的封裝接口，如下所示：

例7: wrap.c
#include <Python.h>
PyObject* wrap_fact(PyObject* self, PyObject* args) 
{
  int n, result;
  
  if (! PyArg_ParseTuple(args, "i:fact", &n))
    return NULL;
  result = fact(n);
  return Py_BuildValue("i", result);
}
static PyMethodDef exampleMethods[] = 
{
  {"fact", wrap_fact, METH_VARARGS, "Caculate N!"},
  {NULL, NULL}
};
void initexample() 
{
  PyObject* m;
  m = Py_InitModule("example", exampleMethods);
}

一個(gè)典型的Python擴(kuò)展模塊至少應(yīng)該包含三個(gè)部分：導(dǎo)出函數(shù)、方法列表和初始化函數(shù)。

3.2 導(dǎo)出函數(shù)

要在Python解釋器中使用C語(yǔ)言中的某個(gè)函數(shù)，首先要為其編寫相應(yīng)的導(dǎo)出函數(shù)，上述例子中的導(dǎo)出函數(shù)為wrap_fact。在Python的C語(yǔ)言擴(kuò)展中，所有的導(dǎo)出函數(shù)都具有相同的函數(shù)原型：

PyObject* method(PyObject* self, PyObject* args);

該函數(shù)是Python解釋器和C函數(shù)進(jìn)行交互的接口，帶有兩個(gè)參數(shù)：self和args。參數(shù)self只在C函數(shù)被實(shí)現(xiàn)為內(nèi)聯(lián)方法(built-in method)時(shí)才被用到，通常該參數(shù)的值為空(NULL)。參數(shù)args中包含了Python解釋器要傳遞給C函數(shù)的所有參數(shù)，通常使用Python的C語(yǔ)言擴(kuò)展接口提供的函數(shù)PyArg_ParseTuple()來(lái)獲得這些參數(shù)值。

所有的導(dǎo)出函數(shù)都返回一個(gè)PyObject指針，如果對(duì)應(yīng)的C函數(shù)沒(méi)有真正的返回值(即返回值類型為void)，則應(yīng)返回一個(gè)全局的None對(duì)象(Py_None)，并將其引用計(jì)數(shù)增1，如下所示：

PyObject* method(PyObject *self, PyObject *args) 
{
  Py_INCREF(Py_None);
  return Py_None;
}

3.3 方法列表

方法列表中給出了所有可以被Python解釋器使用的方法，上述例子對(duì)應(yīng)的方法列表為：

static PyMethodDef exampleMethods[] = 
{
  {"fact", wrap_fact, METH_VARARGS, "Caculate N!"},
  {NULL, NULL}
};

方法列表中的每項(xiàng)由四個(gè)部分組成：方法名、導(dǎo)出函數(shù)、參數(shù)傳遞方式和方法描述。方法名是從Python解釋器中調(diào)用該方法時(shí)所使用的名字。參數(shù)傳遞方式則規(guī)定了Python向C函數(shù)傳遞參數(shù)的具體形式，可選的兩種方式是METH_VARARGS和METH_KEYWORDS，其中METH_VARARGS是參數(shù)傳遞的標(biāo)準(zhǔn)形式，它通過(guò)Python的元組在Python解釋器和C函數(shù)之間傳遞參數(shù)，若采用METH_KEYWORD方式，則Python解釋器和C函數(shù)之間將通過(guò)Python的字典類型在兩者之間進(jìn)行參數(shù)傳遞。

3.4 初始化函數(shù)

所有的Python擴(kuò)展模塊都必須要有一個(gè)初始化函數(shù)，以便Python解釋器能夠?qū)δK進(jìn)行正確的初始化。Python解釋器規(guī)定所有的初始化函數(shù)的函數(shù)名都必須以init開頭，并加上模塊的名字。對(duì)于模塊example來(lái)說(shuō)，則相應(yīng)的初始化函數(shù)為:

void initexample() 
{
  PyObject* m;
  m = Py_InitModule("example", exampleMethods);
}

當(dāng)Python解釋器需要導(dǎo)入該模塊時(shí)，將根據(jù)該模塊的名稱查找相應(yīng)的初始化函數(shù)，一旦找到則調(diào)用該函數(shù)進(jìn)行相應(yīng)的初始化工作，初始化函數(shù)則通過(guò)調(diào)用Python的C語(yǔ)言擴(kuò)展接口所提供的函數(shù)Py_InitModule()，來(lái)向Python解釋器注冊(cè)該模塊中所有可以用到的方法。

3.5 編譯鏈接

要在Python解釋器中使用C語(yǔ)言編寫的擴(kuò)展模塊，必須將其編譯成動(dòng)態(tài)鏈接庫(kù)的形式。下面以RedHat Linux 8.0為例，介紹如何將C編寫的Python擴(kuò)展模塊編譯成動(dòng)態(tài)鏈接庫(kù)：

[xiaowp@gary code]$ gcc -fpic -c -I/usr/include/python2.2 \
                    -I /usr/lib/python2.2/config \
                    example.c wrapper.c
[xiaowp@gary code]$ gcc -shared -o example.so example.o wrapper.o

3.6 引入Python解釋器

當(dāng)生成Python擴(kuò)展模塊的動(dòng)態(tài)鏈接庫(kù)后，就可以在Python解釋器中使用該擴(kuò)展模塊了，與Python自帶的模塊一樣，擴(kuò)展模塊也是通過(guò)import命令引入后再使用的，如下所示：

[xiaowp@gary code]$ python
Python 2.2.1 (#1, Aug 30 2002, 12:15:30)
[GCC 3.2 20020822 (Red Hat Linux Rawhide 3.2-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import example
>>> example.fact(4)
24
>>>

回頁(yè)首

四、結(jié)束語(yǔ)

作為一門功能強(qiáng)大的腳本語(yǔ)言，Python將被更加廣泛地應(yīng)用于各個(gè)領(lǐng)域。為了克服腳本語(yǔ)言執(zhí)行速度慢的問(wèn)題，Python提供了相應(yīng)的C語(yǔ)言擴(kuò)展接口，通過(guò)將影響執(zhí)行性能的關(guān)鍵代碼用C語(yǔ)言實(shí)現(xiàn)，可以很大程度上提高用Python編寫的腳本在運(yùn)行時(shí)的速度，從而滿足實(shí)際需要。

參考資料

可以從Python( http://www.python.org)網(wǎng)站著手了解所有關(guān)于Python的內(nèi)容。
可以在Python網(wǎng)站上找到正式的Python C/API文檔( http://www.python.org/doc/current/api/api.html)。
可以在Python網(wǎng)站上找到正式的編寫Python擴(kuò)展模塊的文檔( http://www.python.org/doc/current/api/api.html)。

關(guān)于作者


		肖文鵬，是北京理工大學(xué)計(jì)算機(jī)系的一名碩士研究生，主要從事操作系統(tǒng)和分布式計(jì)算環(huán)境的研究，喜愛(ài)Linux和Python。你可以通過(guò) xiaowp@263.net與他取得聯(lián)系。

只有注冊(cè)用戶登錄后才能發(fā)表評(píng)論。


相關(guān)文章: print SyntaxError: invalid syntax錯(cuò)誤的問(wèn)題在 C++ 中使用 Python script 用C語(yǔ)言擴(kuò)展Python的功能

網(wǎng)站導(dǎo)航: 博客園 IT新聞 BlogJava 博問(wèn) Chat2DB 管理