將一個awk腳本移植到Python主要在于代碼風格而不是轉譯。

腳本是解決問題的有效方法，而awk是編寫腳本的出色語言。它特別擅長于簡單的文本處理，它可以帶你完成配置文件的某些復雜重寫或目錄中文件名的重新格式化。

何時從awk轉向Python

但是在某些方面，awk的限制開始顯現出來。它沒有將文件分解為模塊的真正概念，它缺乏質量錯誤報告，并且缺少了現在被認為是編程語言工作原理的其他內容。當編程語言的這些豐富功能有助于維護關鍵腳本時，移植將是一個不錯的選擇。

我最喜歡的完美移植awk的現代編程語言是Python。

在將awk腳本移植到Python之前，通常值得考慮一下其原始使用場景。例如，由于awk的局限性，通常從Bash腳本調用awk代碼，其中包括一些對sed、sort之類的其它命令行常見工具的調用。最好將所有內容轉換為一個一致的Python程序。有時，腳本會做出過于寬泛的假設，例如，即使實際上只運行一個文件，該代碼也可能允許任意數量的文件。

在仔細考慮了上下文并確定了要用Python替代的東西之后，該編寫代碼了。

標準awk到Python功能

以下Python功能是有用的，需要記住：

withopen(some_file_name)asfpin:

forlineinfpin:

pass#dosomethingwithline

此代碼將逐行循環遍歷文件并處理這些行。

如果要訪問行號(相當于awk的NR)，則可以使用以下代碼：

withopen(some_file_name)asfpin:

fornr,lineinenumerate(fpin):

pass#dosomethingwithline

在Python中實現多文件的awk式行為

如果你需要能夠遍歷任意數量的文件同時保持行數的持續計數(類似awk的FNR)，則此循環可以做到這一點：

defawk_like_lines(list_of_file_names):

def_all_lines():

forfilenameinlist_of_file_names:

withopen(filename)asfpin:

yieldfromfpin

yieldfromenumerate(_all_lines())

此語法使用Python的生成器和yieldfrom來構建迭代器，該迭代器將遍歷所有行并保持一個持久計數。

如果你需要同時使用FNR和NR，這是一個更復雜的循環：

defawk_like_lines(list_of_file_names):

def_all_lines():

forfilenameinlist_of_file_names:

withopen(filename)asfpin:

yieldfromenumerate(fpin)

fornr,(fnr,line)in_all_lines:

yieldnr,fnr,line

更復雜的FNR、NR和行數的awk行為

如果FNR、NR和行數這三個你全都需要，仍然會有一些問題。如果確實如此，則使用三元組(其中兩個項目是數字)會導致混淆。命名參數可使該代碼更易于閱讀，因此最好使用dataclass：

importdataclass

@dataclass.dataclass(frozen=True)

classAwkLikeLine:

content:str

fnr:int

nr:int

defawk_like_lines(list_of_file_names):

def_all_lines():

forfilenameinlist_of_file_names:

withopen(filename)asfpin:

yieldfromenumerate(fpin)

fornr,(fnr,line)in_all_lines:

yieldAwkLikeLine(nr=nr,fnr=fnr,line=line)

你可能想知道，為什么不一直用這種方法呢?使用其它方式的的原因是總用這種方法太復雜了。如果你的目標是把一個通用庫更容易地從awk移植到Python，請考慮這樣做。但是編寫一個可以使你確切地了解特定情況所需的循環的方法通常更容易實現，也更容易理解(因而易于維護)。

理解awk字段

一旦有了與一行相對應的字符串，如果要轉換awk程序，則通常需要將其分解為字段。Python有幾種方法可以做到這一點。這將把行按任意數量的連續空格拆分，返回一個字符串列表：

line.split()

如果需要另一個字段分隔符，比如以:分隔行，則需要rstrip方法來刪除最后一個換行符：

line.rstrip("\n").split(":")

完成以下操作后，列表parts將存有分解的字符串：

parts=line.rstrip("\n").split(":")

這種拆分非常適合用來處理參數，但是我們處于偏差一個的錯誤場景中。現在parts[0]將對應于awk的$1，parts[1]將對應于awk的$2，依此類推。之所以偏差一個，是因為awk計數“字段”從1開始，而Python從0開始計數。在awk中，$0是整個行——等同于line.rstrip("\n")，而awk的NF(字段數)更容易以len(parts)的形式得到。

移植awk字段到Python

例如，讓我們將這個單行代碼“如何使用awk從文件中刪除重復行”轉換為Python。

awk中的原始代碼是：

awk'!visited[$0]++'your_file>deduplicated_file

“真實的”Python轉換將是：

importcollections

importsys

visited=collections.defaultdict(int)

forlineinopen("your_file"):

did_visit=visited[line]

visited[line]+=1

ifnotdid_visit:

sys.stdout.write(line)

但是，Python比awk具有更多的數據結構。與其計數訪問次數(除了知道是否看到一行，我們不使用它)，為什么不記錄訪問的行呢?

importsys

visited=set()

forlineinopen("your_file"):

iflineinvisited:

continue

visited.add(line)

sys.stdout.write(line)

編寫Python化的awk代碼

Python社區提倡編寫Python化的代碼，這意味著它要遵循公認的代碼風格。更加Python化的方法將區分唯一性和輸入/輸出的關注點。此更改將使對代碼進行單元測試更加容易：

defunique_generator(things):

visited=set()

forthinginthings:

ifthinginvisited:

continue

visited.add(things)

yieldthing

importsys

forlineinunique_generator(open("your_file")):

sys.stdout.write(line)

將所有邏輯置于輸入/輸出代碼之外，可以更好地分離問題，并提高代碼的可用性和可測試性。

結論：Python可能是一個不錯的選擇

將awk腳本移植到Python時，通常是在考慮適當的Python代碼風格時重新實現核心需求，而不是按條件/操作進行笨拙的音譯。考慮原始上下文并產生高質量的Python解決方案。雖然有時候使用awk的Bash單行代碼可以完成這項工作，但Python編碼是通往更易于維護的代碼的途徑。

以上內容為大家介紹了如何把awk腳本移植到Python，希望對大家有所幫助，如果想要了解更多Python相關知識，請關注IT培訓機構:千鋒教育。http://www.e7g2kmi.cn/