非同步、交互式程式編寫工具 (sikuli、expect)
非同步、交互式程式編寫工具 (sikuli、expect)
先前發布的相見恨晚自動化測試工具 sikuli,可以用圖案去編寫程式流程,適用於自動化測試、一鍵執行程式及指令。
用 sikuli 編寫程式是很特別的體驗,概念上來說在程式流程裡,因為無法預期下一個作業或圖案的出現時間,常會有 wait 的情形,
這樣非同步的訊息傳遞、接收、執行,在這工具上變得很自然。
這次在 unix 系統上透過 expect 自動連上 bbs,透過 expect 自動收集想要的資料,並經由 log file 取回資料,再做進一步的資料整理。
expect 讓我有一種既視感,啊~就是 sikuli 呀!
寫程式流程時的體驗相近,sikuli 流程控制時,當發現某個圖形就去點擊另一個圖形。
expect 流程控制時,當發現某段文字就輸入你要的文字。
wait then action,又是個不可多得的好工具。
expect 是用 Tcl 語法 (筆者也是第一次看到 Tcl),expect 相關資料很少,不過還是有找到比較完整的語法書。
Welcome to the Tclers Wiki!
這次以 expect 為主體完成的練習題,自動登入 ptt、查詢某位網友的動態、上線時間、ip等資料,再進行資料整理。
條列中間遇到的一些問題
1. 編碼問題: ptt 是 BIG5 編碼,ubuntu shell 預設是 UTF-8 編碼,所以會出現有亂碼的問題。
解決方法是透過 iconv -f UTF-8 -t BIG5 file_name -o output_file_name (將 UTF-8 轉成 BIG5)
如果遇到錯誤訊息, iconv: 位置 xxxx 有不合法的輸入序列,可能是語系的問題,locale LANG 設成 BIG5 就可以了。
範例:
[osboxes@osboxes log]$ locale
LANG=zh_TW.UTF-8
LANGUAGE=zh_TW:en_GB:en
LC_CTYPE="zh_TW.UTF-8"
LC_NUMERIC=zh_TW.UTF-8
LC_TIME=zh_TW.UTF-8
LC_COLLATE="zh_TW.UTF-8"
LC_MONETARY=zh_TW.UTF-8
LC_MESSAGES="zh_TW.UTF-8"
LC_PAPER=zh_TW.UTF-8
LC_NAME=zh_TW.UTF-8
LC_ADDRESS=zh_TW.UTF-8
LC_TELEPHONE=zh_TW.UTF-8
LC_MEASUREMENT=zh_TW.UTF-8
LC_IDENTIFICATION=zh_TW.UTF-8
LC_ALL=
下個指令就好了 (這問題整死我了)
LANG=zh_TW.BIG5
2. expect 是遇到某段文字就輸出某段指令的寫作方式,大部分這些文字會出現在輸入框之前,很容易發生輸入框還沒出現,指令就送出去的狀況。
解決方法是 sleep(1) (單位是秒)
最後,為了達到自動執行、自動登入 ptt、自動輸入帳號密碼、自動執行相關查詢步驟、自動資料整理,這次把會的工具、不會但聽過的工具都用上了。
linux shell 包裝整個自動化作業及將 expect 輸出的資料擷取需要的部份。
linux crontab 排程達到自動執行功能。
expect 達到自動登入、帳密輸入、查詢網友資料。
python 將收集的資料做進一步的篩選及輸出。
最後的結果還算滿意,將收集的資料排列出來,可以得到一些很私人的資訊。
透過 ip 可以推出網友的部份行蹤、透過上次上站時間可以推出網友的作息時間、透過動態可以關注網友上站的行為。
至於會不會有個資法的問題,請自行斟酌,只能說現今的網路社會,很容易在不知不覺中洩漏出一些祕密。
解決之道就是不要用網路、當個原始人。
先前發布的相見恨晚自動化測試工具 sikuli,可以用圖案去編寫程式流程,適用於自動化測試、一鍵執行程式及指令。
用 sikuli 編寫程式是很特別的體驗,概念上來說在程式流程裡,因為無法預期下一個作業或圖案的出現時間,常會有 wait 的情形,
這樣非同步的訊息傳遞、接收、執行,在這工具上變得很自然。
這次在 unix 系統上透過 expect 自動連上 bbs,透過 expect 自動收集想要的資料,並經由 log file 取回資料,再做進一步的資料整理。
expect 讓我有一種既視感,啊~就是 sikuli 呀!
寫程式流程時的體驗相近,sikuli 流程控制時,當發現某個圖形就去點擊另一個圖形。
expect 流程控制時,當發現某段文字就輸入你要的文字。
wait then action,又是個不可多得的好工具。
expect 是用 Tcl 語法 (筆者也是第一次看到 Tcl),expect 相關資料很少,不過還是有找到比較完整的語法書。
Welcome to the Tclers Wiki!
這次以 expect 為主體完成的練習題,自動登入 ptt、查詢某位網友的動態、上線時間、ip等資料,再進行資料整理。
條列中間遇到的一些問題
1. 編碼問題: ptt 是 BIG5 編碼,ubuntu shell 預設是 UTF-8 編碼,所以會出現有亂碼的問題。
解決方法是透過 iconv -f UTF-8 -t BIG5 file_name -o output_file_name (將 UTF-8 轉成 BIG5)
如果遇到錯誤訊息, iconv: 位置 xxxx 有不合法的輸入序列,可能是語系的問題,locale LANG 設成 BIG5 就可以了。
範例:
[osboxes@osboxes log]$ locale
LANG=zh_TW.UTF-8
LANGUAGE=zh_TW:en_GB:en
LC_CTYPE="zh_TW.UTF-8"
LC_NUMERIC=zh_TW.UTF-8
LC_TIME=zh_TW.UTF-8
LC_COLLATE="zh_TW.UTF-8"
LC_MONETARY=zh_TW.UTF-8
LC_MESSAGES="zh_TW.UTF-8"
LC_PAPER=zh_TW.UTF-8
LC_NAME=zh_TW.UTF-8
LC_ADDRESS=zh_TW.UTF-8
LC_TELEPHONE=zh_TW.UTF-8
LC_MEASUREMENT=zh_TW.UTF-8
LC_IDENTIFICATION=zh_TW.UTF-8
LC_ALL=
下個指令就好了 (這問題整死我了)
LANG=zh_TW.BIG5
2. expect 是遇到某段文字就輸出某段指令的寫作方式,大部分這些文字會出現在輸入框之前,很容易發生輸入框還沒出現,指令就送出去的狀況。
解決方法是 sleep(1) (單位是秒)
最後,為了達到自動執行、自動登入 ptt、自動輸入帳號密碼、自動執行相關查詢步驟、自動資料整理,這次把會的工具、不會但聽過的工具都用上了。
linux shell 包裝整個自動化作業及將 expect 輸出的資料擷取需要的部份。
linux crontab 排程達到自動執行功能。
expect 達到自動登入、帳密輸入、查詢網友資料。
python 將收集的資料做進一步的篩選及輸出。
最後的結果還算滿意,將收集的資料排列出來,可以得到一些很私人的資訊。
透過 ip 可以推出網友的部份行蹤、透過上次上站時間可以推出網友的作息時間、透過動態可以關注網友上站的行為。
至於會不會有個資法的問題,請自行斟酌,只能說現今的網路社會,很容易在不知不覺中洩漏出一些祕密。
解決之道就是不要用網路、當個原始人。
留言
張貼留言