免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

linux指定列統計命令,linux統計文件行數命令

Linux常用命令

就是list的縮寫,通過ls 命令不僅可以查看linux文件夾包含的文件,而且可以查看文件權限(包括目錄、文件夾、文件權限)看目錄信息等等

創新互聯公司專注于企業網絡營銷推廣、網站重做改版、順河網站定制設計、自適應品牌網站建設、HTML5建站電子商務商城網站建設、集團公司官網建設、成都外貿網站建設、高端網站制作、響應式網頁設計等建站業務,價格優惠性價比高,為順河等各大城市提供網站開發制作服務。

常用參數搭配:

實例:

(changeDirectory),命令語法:cd [目錄名]。說明:切換當前目錄至dirName

實例:

查看當前工作目錄路徑

實例:

創建文件夾

實例:

刪除一個目錄中的一個或多個文件或目錄,如果沒有使用- r選項,則rm不會刪除目錄。如果使用rm 來刪除文件,通常仍可以將該文件恢復原狀

rm [選項] 文件…

常用參數搭配:

實例:

刪除空目錄,一個目錄被刪除之前必須是空的。(注意,rm -r dir 命令可以代替rmdir,但是很危險,萬一它突然就不是空的咧?),另外刪除某目錄時必須具有對父目錄的寫權限。

實例:

rmdir -p watch/avi刪掉avi目錄,watch目錄就空掉了,那還看什么?所以干脆把watch目錄一起刪掉,眼不見為不凈嘛。

mv命令是move的縮寫,可以用來移動文件或者將文件改名,是Linux系統下常用的命令,經常用來備份文件或者目錄。

命令功能:

視mv命令中第二個參數類型的不同(是目標文件還是目標目錄),mv命令將文件重命名或將其移至一個新的目錄中。當第二個參數類型是文件時,mv命令完成文件重命名,此時,源文件只能有一個(也可以是源目錄名),它將所給的源文件或目錄重命名為給定的目標文件名。當第二個參數是已存在的目錄名稱時,源文件或目錄參數可以有多個,mv命令將各參數指定的源文件均移至目標目錄中。在跨文件系統移動文件時,mv先拷貝,再將原有文件刪除,而鏈至該文件的鏈接也將丟失。

命令參數:

實例:

將源文件復制至目標文件,或將多個源文件復制至目標目錄。

注意:命令行復制,如果目標文件已經存在會提示是否覆蓋,而在shell腳本中,如果不加-i參數,則不會提示,而是直接覆蓋!

命令參數:

實例:

cat主要有三大功能:

命令參數:

實例:

功能類似于cat, more會以一頁一頁的顯示方便使用者逐頁閱讀,而最基本的指令就是按空白鍵(space)就往下一頁顯示,按 b 鍵就會往回(back)一頁顯示

命令參數:

常用操作命令:

實例:

less 與 more 類似,但使用 less 可以隨意瀏覽文件,而 more 僅能向前移動,卻不能向后移動,而且 less 在查看之前不會加載整個文件。

命令參數:

實例:

head 用來顯示檔案的開頭至標準輸出中,默認head命令打印其相應文件的開頭10行。

常用參數:

實例:

從指定點開始將文件寫到標準輸出。使用tail命令的-f選項可以方便的查閱正在改變的日志文件,tail -f filename會把filename里最尾部的內容顯示在屏幕上,并且不斷刷新,使你看到最新的文件內容。

常用參數:

實例:

用于改變linux系統文件或目錄的訪問權限。該命令有兩種用法。一種是包含字母和操作符表達式的文字設定法;另一種是包含數字的數字設定法。

每一文件或目錄的訪問權限都有三組,每組用三位表示,分別為文件屬主的讀、寫和執行權限;與屬主同組的用戶的讀、寫和執行權限;系統中其他用戶的讀、寫和執行權限。可使用ls -l test.txt查找。

以文件log2012.log為例:

-rw-r--r-- 1 root root 296K 11-13 06:03 log2012.log

第一列共有10個位置,第一個字符指定了文件類型。在通常意義上,一個目錄也是一個文件。如果第一個字符是橫線,表示是一個非目錄的文件。如果是d,表示是一個目錄。從第二個字符開始到第十個共9個字符,3個字符一組,分別表示了3組用戶對文件或者目錄的權限。權限字符用橫線代表空許可,r代表只讀,w代表寫,x代表可執行。

常用參數:

權限范圍:

權限代號:

實例:

tar命令是類Linux中比價常用的解壓與壓縮命令。

常用參數:

-c: 建立壓縮檔案

-x:解壓

-t:查看內容

-r:向壓縮歸檔文件末尾追加文件

-u:更新原壓縮包中的文件

這五個是獨立的命令,壓縮解壓都要用到其中一個,可以和別的命令連用但只能用其中一個。下面的參數是根據需要在壓縮或解壓檔案時可選的。

下面的參數-f是必須的

常見解壓/壓縮命令

chown將指定文件的擁有者改為指定的用戶或組,用戶可以是用戶名或者用戶ID;組可以是組名或者組ID;文件是以空格分開的要改變權限的文件列表,支持通配符。

常用參數:

實例:

顯示磁盤空間使用情況。獲取硬盤被占用了多少空間,目前還剩下多少空間等信息,如果沒有文件名被指定,則所有當前被掛載的文件系統的可用空間將被顯示。默認情況下,磁盤空間將以 1KB 為單位進行顯示,除非環境變量 POSIXLY_CORRECT 被指定,那樣將以512字節為單位進行顯示。

常用參數:

實例:

du命令也是查看使用空間的,但是與df命令不同的是,du能看到的文件只是一些當前存在的,沒有被刪除的,他計算的大小就是當前他認為存在的所有文件大小的累加和。du命令是對文件和目錄磁盤使用的空間的查看。

常用參數:

實例:

ln命令用于將一個文件創建鏈接,鏈接分為軟鏈接和硬鏈接,命令默認使用硬鏈接。當在不同目錄需要該文件時,就不需要為每一個目錄創建同樣的文件,通過ln創建的鏈接(link)減少磁盤占用量。

軟鏈接:

硬鏈接:

需要注意:

常用參數:

實例:

顯示或設定系統的日期與時間

命令參數:

實例:

可以用戶顯示公歷(陽歷)日歷,如只有一個參數,則表示年份(1-9999),如有兩個參數,則表示月份和年份。

常用參數:

實例:

強大的文本搜索命令,grep(Global Regular Expression Print)全局正則表達式搜索。

grep的工作方式是這樣的,它在一個或多個文件中搜索字符串模板。如果模板包括空格,則必須被引用,模板后的所有字符串被看作文件名。搜索的結果被送到標準輸出,不影響原文件內容。

命令格式:

grep [option] pattern file|dir

常用參數:

實例:

wc(word count)功能為統計指定的文件中字節數、字數、行數,并將統計結果輸出。

命令格式:

wc [option] file..

命令參數:

實例:

ps(process status),用來查看當前運行的進程狀態,一次性查看,如果需要動態連續結果使用top。

linux上進程有5種狀態:

ps工具標識進程的5種狀態碼:

命令參數:

實例:

顯示當前系統正在執行的進程的相關信息,包括進程ID、內存占用率、CPU占用率等。

常用參數:

發送指定的信號到相應進程。不指定型號將發送SIGTERM(15)終止指定進程。如果無法終止該程序可用“-KILL” 參數,其發送的信號為SIGKILL(9) ,將強制結束進程,使用ps命令或者jobs 命令可以查看進程號。root用戶將影響用戶的進程,非root用戶只能影響自己的進程。

常用參數:

實例:

顯示系統內存使用情況,包括物理內存、交互區內存(swap)和內核緩沖區內存。

命令參數:

實例:

Netstat 是一款命令行工具,可用于列出系統上所有的網絡套接字連接情況,包括 tcp, udp 以及 unix 套接字,另外它還能列出處于監聽狀態(即等待接入請求)的套接字。如果你想確認系統上的 Web 服務有沒有起來,你可以查看80端口有沒有打開。以上功能使 netstat 成為網管和系統管理員的必備利器。

命令參數:

實例

Linux常見日志統計分析命令

在上文中,我們已經詳細介紹 linux 三劍客的基本使用,接下來我們看看具體在性能測試領域的運用,本文主要介紹的是在 Tomcat 和 Nginx access日志的統計分析。

server.xml 使用配置方式,%D-請求時間,%F-響應時間

字段說明如下:

日志樣例:

使用默認 combined 的經典格式上擴展 response_timeupstream_response_time

nginx.conf 使用配置方式:

字段說明如下:

日志示例:

為了能理解 AWK 程序,我們下面概述其基本知識。

模式( pattern ) 用于匹配輸入中的每行文本。對于匹配上的每行文本,awk 都執行對應的 動作( action )。模式和動作之間使用花括號隔開。awk 順序掃描每一行文本,并使用 記錄分隔符(一般是換行符)將讀到的每一行作為 記錄,使用 域分隔符( 一般是空格符或制表符 ) 將一行文本分割為多個 域, 每個域分別可以使用 2, … 表示。1 表示第一個域,表示第二個域,n 表示第 n 個域。 $0 表示整個記錄。模式或動作都可以不指定,缺省模式的情況下,將匹配所有行。缺省動作的情況下,將執行動作 {print},即打印整個記錄。

此處使用Nginx access.log 舉例,Tomcat 日志自己舉一反三。 使用 awk 分解出Nginx access日志中的信息

以此類推…… 當我們使用默認的域分割符時,我們可以從日志中解析出下面不同類型的信息:

我們不難發現,僅使用默認的域分隔符,不方便解析出請求行、引用頁和瀏覽器類型等其他信息,因為這些信息之中包含不確定個數的空格。 因此,我們需要把域分隔符修改為 “ ,就能夠輕松讀出這些信息。

注意:這里為了避免 Linux Shell 誤解 “ 為字符串開始,我們使用了反斜杠,轉義了 “ 。 現在,我們已經掌握了 awk 的基本知識,以及它是怎樣解析日志的。

此處使用Nginx access.log 舉例,Tomcat 日志自己舉一反三。

如果我們想知道那些類型的瀏覽器訪問過網站,并按出現的次數倒序排列,我可以使用下面的命令:

此命令行首先解析出瀏覽器域,然后使用管道將輸出作為第一個 sort 命令的輸入。第一個 sort 命令主要是為了方便 uniq 命令統計出不同瀏覽器出現的次數。最后一個 sort 命令將把之前的統計結果倒序排列并輸出。

我們可以使用下面的命令行,統計服務器返回的狀態碼,發現系統可能存在的問題。

正常情況下,狀態碼 200 或 30x 應該是出現次數最多的。40x 一般表示客戶端訪問問題。50x 一般表示服務器端問題。 下面是一些常見的狀態碼:

HTTP 協議狀態碼定義可以參閱:

查找并顯示所有狀態碼為 404 的請求

統計所有狀態碼為 404 的請求

現在我們假設某個請求 ( 例如 : URI: /path/to/notfound ) 產生了大量的 404 錯誤,我們可以通過下面的命令找到這個請求是來自于哪一個引用頁,和來自于什么瀏覽器。

有時候會發現其他網站出于某種原因,在他們的網站上使用保存在自己網站上的圖片。如果您想知道究竟是誰未經授權使用自己網站上的圖片,我們可以使用下面的命令:

注意:使用前,將 修改為自己網站的域名。

統計共有多少個不同的 IP 訪問:

統計每一個 IP 訪問了多少個頁面:

將每個 IP 訪問的頁面數進行從小到大排序:

統計 2018 年 8 月 31 日 14 時內有多少 IP 訪問 :

統計訪問最多的前十個 IP 地址

查看某一個 IP訪問了哪些頁面:

統計某個 IP 的詳細訪問情況,按訪問頻率排序

列出傳輸大小最大的幾個文件

列出輸出大于 204800 byte ( 200kb) 的頁面以及對應頁面發生次數

列出訪問最頻的頁面(TOP100)

列出訪問最頻的頁面([排除php頁面】(TOP100)

列出頁面訪問次數超過100次的頁面

列出最近1000條記錄,訪問量最高的頁面

統計每分鐘的請求數,top100的時間點(精確到分鐘)

統計每小時的請求數,top100的時間點(精確到小時)

統計每秒的請求數,top100的時間點(精確到秒)

統計當天的 pv

說明:

可以使用下面的命令統計出所有響應時間超過 3 秒的日志記錄。

注意:NF 是當前記錄中域的個數。$NF 即最后一個域。

列出php頁面請求時間超過3秒的頁面,并統計其出現的次數,顯示前100條

列出相應時間超過 5 秒的請求,顯示前20條

統計蜘蛛抓取次數

統計蜘蛛抓取404的次數

通過本文的介紹,我相信同學們一定會發現 linux三劍客強大之處。在命令行中,它還能夠接受,和執行外部的 AWK 程序文件,可以對文本信息進行非常復雜的處理,可以說“只有想不到的,沒有它做不到的”。

linux命令對某一列去重/統計

cat file.csv | awk -F '\t' '{print $2}'

'\t'指的是file.csv不同列以'\t'分割,如果的是以其他符號分割,換成其她符號;

'{print $2}'是指取第2列,此處從1開始計數,第1列,第2列;

一般去重之前要進行排序

cat file.csv | awk -F '\t' '{print $2}'?| sort | uniq

前半部分與命令1一樣,后面加上| sort | uniq

比如通過命令2發現,第2列取值有兩種,分別是'neg'和‘pos’,那么我想知道有多少行的第2列取值為'pos',多少行的第2列取值為'neg'。

cat file.csv | awk -F '\t' '{print $2}'?|?grep -o 'neg'| wc -l

前半部分與命令1一樣,后面加上?|?grep -o 'neg'| wc -l

grep -o 'neg'就是取出取值為'neg'的行

wc -l 是計數有多少行

網站名稱:linux指定列統計命令,linux統計文件行數命令
網址分享:http://newbst.com/article28/hsepjp.html

成都網站建設公司_創新互聯,為您提供網站營銷靜態網站品牌網站制作響應式網站網站策劃

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

小程序開發