積累經(jīng)驗篇
做運維也快4年多了,就像游戲打怪升級,升級后知識體系和運維體系也相對變化挺大,學(xué)習了很多新的知識點。
運維工程師 是從一個呆逼進化為苦逼再成長為牛逼的過程,前提在于你要能忍能干能拼,還要具有敏銳的嗅覺感知前方潮流變化。如:今年大數(shù)據(jù),人工智能比較火。。。(相對表示就是 python 比較火) 前面也講了運維基礎(chǔ)篇,發(fā)現(xiàn)對很多人收益挺大,接下來也寫下關(guān)于這4年多的運維實踐經(jīng)驗,從事了2年多游戲運維,1年多安全運維,1年大數(shù)據(jù)運維,相關(guān)行業(yè)信息不能算非常精通嗎,但是熟悉和熟練還是相對可以的。
初級篇
詳見: 詳解Linux運維工程師入門級必備技能
拓撲詳見:
中級篇
從我后面面試經(jīng)歷和面試別人的經(jīng)歷。有些人認為,其實運維就是部署某個軟件,設(shè)置些基礎(chǔ)功能,就算會運維了。
舉個例子:安裝LAMP,LNMP,就感覺部署方法我都掌握了。其實網(wǎng)上大多數(shù)都有一鍵安裝腳本啥的根本沒有啥技術(shù)含量,在面試官眼里,這些都不是你的亮點。基本到了公司一般環(huán)境架構(gòu)都是部署好的,很少需要你去變動環(huán)境架構(gòu)。就算你安裝好 LNMP 架構(gòu)你熟悉里面的原理嗎,熟悉 Nginx 優(yōu)化嗎,熟悉 MySQL 優(yōu)化嗎?
再舉個例子:我面試遇到的問題,面試官問你既然熟悉 LNMP 架構(gòu),那么 Nginx 反向代理的作用。
你應(yīng)該不是說出懂這個軟件和配置,你盡可能的說怎么優(yōu)化,怎么深入提高網(wǎng)站性能。
1、使用反向代理可以理解為7層應(yīng)用層的負載均衡,使用負載均衡之后可以非常便捷的橫向擴展服務(wù)器集群,實現(xiàn)集群整體并發(fā)能力、抗壓能力的提高。
2、通常反向代理服務(wù)器會帶有本地 Cache 功能,通過靜態(tài)資源的 Cache,有效的減少后端服務(wù)器所承載的壓力,從而提高性能。
下面說說運維在工作中需要掌握的核心技術(shù)
注意,這是在工作中掌握的,在學(xué)習中很難掌握。
1、第一條最主要的排錯
分析部分程序不能運行或沒有按預(yù)想結(jié)果運行的原因,對程序運行跟蹤,查看系統(tǒng)調(diào)用的過程。
較深入的系統(tǒng)瓶頸點分析。
查看剩余內(nèi)存:
系統(tǒng)信息:
硬件信息:
使用分析系統(tǒng)分析web日志。(如逆火軟件,)
分析系統(tǒng)性能瓶頸點(IO/memory/cpu,常用工具,top命令中shift組合鍵的特殊用Sar/vmstat/iostat/ipcs)
日志管理常用命令:
2、優(yōu)化
優(yōu)化可以說是運維最吃香的技能,基本會優(yōu)化的運維普遍工資很高,而且優(yōu)化是要承擔風險的,并不是網(wǎng)上搜個文章改一下配置文件或者參數(shù)就叫優(yōu)化了,這樣很容易造成宕機。
優(yōu)化是根據(jù)實際的現(xiàn)場環(huán)境硬件各個參數(shù)進行部分優(yōu)化,提高軟件性能和網(wǎng)站性能。這個我只能講半知半解,當時優(yōu)化mysql和tomcat參數(shù)也是根據(jù)網(wǎng)上文章和官網(wǎng)文檔查找參數(shù)在虛擬機上測試然后查看性能。
成本優(yōu)化,性能優(yōu)化。這里我給出 tomcat 優(yōu)化 jvm 參數(shù)(做過相應(yīng)測試才放到現(xiàn)場環(huán)境的):(記住無監(jiān)控不調(diào)優(yōu))
-標準參數(shù),所有jvm都應(yīng)該支持
-X 非標,每個jvm實現(xiàn)都不同
-XX 不穩(wěn)定參數(shù),下一版本可能會取消
serial collector 單線程 序列化
parallel collector 多線程
啟動 jvisualvm.exe 監(jiān)控 dump 內(nèi)存溢出
-Xms:初始堆大小
-Xmx:最大堆大小
-Xss:線程棧大小
-XX:NewSize=n:設(shè)置年輕代大小
-XX:NewRatio=n:設(shè)置年輕代和年老代的比值,如3, 標示年輕代:年老代比值1:3,年輕代占整個年輕代年老代和的1/4
-XX:SurvivorRatio=n:年輕代中的eden區(qū)與2個Survivor區(qū)的比值。
-XX:MaxPermSize=n:設(shè)置持久代大小
收集器設(shè)置
-XX:+UseSerialGC:設(shè)置串行收集器
-XX:+UseParallelGC:設(shè)置并行收集器
-XX:+UseConcMarkSweepGC:設(shè)置并發(fā)收集器
回收統(tǒng)計信息
-XX:+PrintGC
-XX:+PrintGCDetails
-Xloggc:filename
tocmat 優(yōu)化 確認有幾個 jvm 虛擬機
set JAVA_OPTS=
-Xms4g
-Xmx4g
-Xss512k
-XX:+AggressiveOpts 進攻型的優(yōu)化選項,所有優(yōu)化項都加上
-XX:+UseBiasedLocking 優(yōu)化鎖,基本都要選上,偏執(zhí)鎖
-XX:permSize=64m 原始區(qū)大小,最大300m 類多就設(shè)置大一點
-XX:MaxPermSize=300m
-XX:+DisableExplicitGC //System.gc() 不顯示調(diào)用gc
-XX:+UseConcMarkSweepGC 使用cms縮短相應(yīng)時間,并發(fā)收集,低停頓
-XX:+UseParNewGC 并行收集新生代的垃圾
-XX:+CMSParallelRemarkEnabled 在使用UseParNewGC的情況下,盡量減少mark的時間
-XX:+UseCMSCompactAtFullCollection 使用并發(fā)收集器時,開啟對年老代的壓縮,使碎片減少
-XX:LargePageSizelnBytes=128m 內(nèi)存分頁大小對性能的提升
-XX:+UseFastAccessorMethods get/set方法轉(zhuǎn)成本地代碼
-Djava awt headless=true 修復(fù)linux下tomcat處理圖標時可能產(chǎn)生的bug
內(nèi)存調(diào)優(yōu):
tomcat 前任何參數(shù)沒參加大概每秒605 調(diào)優(yōu)后大概每秒435 接近3倍的結(jié)果
3、開發(fā)技能
優(yōu)選 shell 和 python,現(xiàn)在 shell 無法滿足你的需求或者效率很低,那么選擇自動化 python 是最好的選擇?,F(xiàn)在普遍招聘需求要求,會寫 shell 或者 python,perl 腳本,個人選擇還是選 python。
python 這門語言上手比較快,容易理解。
python 在服務(wù)器管理工具上非常豐富,配置管理(saltstack) 批量執(zhí)行( fabric, saltstack) 監(jiān)控(Zenoss, nagios 插件) 虛擬化管理( python-libvirt) 進程管理 (supervisor) 云計算(openstack) ...... 還有大部分系統(tǒng) C 庫都有 python 綁定。
對于流程確定的事情,最終一定是納入系統(tǒng)管理的體系,寫成程序,成為系統(tǒng)的一部分。而不是無法復(fù)用游離與整體的各種腳本。
隨著云計算時代的來臨,中小型公司,不需要運維了。大型公司,沒有工程開發(fā)能力的運維,是沒有競爭力的。
最重要的學(xué)好 python 可以漲工資,可以漲工資,可以漲工資 。(重要的事情說三遍。)
目前本人也是在學(xué) python,正在把以前 shell 腳本的實例轉(zhuǎn)換成 python 腳本。
python筆記: python實例手冊(一直在看)
下載鏈接: http://down.51cto.com/data/2329173
4、意識篇
1) 安全意識:
運維人員的權(quán)限很大,所以一定要保證帳號/私鑰的安全。
最好使用加密工具存儲。比如truecrypt,lpassword
基于本地存儲。切勿用網(wǎng)盤,也不建議用lastpass等
ssh私鑰添加密碼
2) 磨刀意識:
關(guān)于任何操作配置,最好先搞明白操作或配置的原理,然后再去操作。應(yīng)一句話叫做“磨刀不誤砍柴功”,而且對于類似的操作可以舉一反三。
3) 計劃意識:
復(fù)雜的變更操作比如多臺主機以及牽涉到san存儲,最好先作 操作計劃,寫計劃文檔,詳細致每條命令,然后請高手幫忙審核。 這樣能最大程度使整個操作過程安全。如果是重要的客戶業(yè)務(wù)系統(tǒng),操作最好有回退方案,而一旦變更失敗,客戶可以在短時間內(nèi)將業(yè)務(wù)回退。
4) 記錄分享意識:
遇到自己認為較特殊的案例時,記得要寫 案例過程及分析的文檔。也方便自己以后翻看,或者和其他兄弟分享,作知識的傳播以便于大家以后都能少走彎路。
5) 監(jiān)控意識:
運維來說,監(jiān)控是非常重要的,監(jiān)控是發(fā)現(xiàn)系統(tǒng)各種異常的眼睛,所以運維應(yīng)該和監(jiān)控緊密配合。
6) 業(yè)務(wù)意識:
盡量了解維護的各主機上業(yè)務(wù)類型,以及各主機業(yè)務(wù)之間的關(guān)聯(lián)性。因為任何維護工作都是為主機能提供業(yè)務(wù)服務(wù)的,當某業(yè)務(wù)中斷,能最快的知道與此業(yè)務(wù)相關(guān)的主機群,從而縮小故障排查范圍,最快定位故障。
附上運維思路拓撲圖:
可以看看: 安全運維理念(半神半仙亦民工)
意識是很重要,并不是你技術(shù)很牛,學(xué)的技術(shù)很多很熟,就不代表你不需要運維意識,其實領(lǐng)導(dǎo)很看重運維意識的,例如有沒有做好備份,權(quán)限分配問題,平臺測試情況,故障響應(yīng)時間等,這些都是意識,而不是你學(xué)了很多技術(shù)自認大牛了,平臺發(fā)現(xiàn)故障你又沒什么大不子,以為很簡單的問題喜歡處理就處理,不需要向其它部門反饋等,領(lǐng)導(dǎo)不是看你的技術(shù)如何,而是看你的運維意識如何,你沒運維意識,技術(shù)再牛也沒用,只會讓其它部門的人跟你不協(xié)調(diào)。
要知道做IT這行是苦B的,需要無盡的學(xué)習,不學(xué)習只會被淘汰,不想被年輕的淘汰,就只能不斷增值自己,不然不是你工資無法提升,而是你無法再從事這行。
這個世界,在悄悄懲罰不改變的人...