https://kaichaosun.github.io/categories/devops/index.xmlRecent content in DevOps on WhisperdHugo -- gohugo.ioen-usSat, 30 Mar 2019 00:00:00 +0000https://kaichaosun.github.io/post/shell-cheatsheet/Sat, 30 Mar 2019 00:00:00 +0000https://kaichaosun.github.io/post/shell-cheatsheet/Variables NAME="John" echo $NAME echo "$NAME" echo "${NAME}!" String NAME="John" echo "Hi $NAME" #=> Hi John echo 'Hi $NAME' #=> Hi $NAME Array Fruits=('Apple' 'Banana' 'Orange') Fruits[0]="Apple" Fruits[1]="Banana" Fruits[2]="Orange" And / Or git commit && git push git commit || echo "Commit failed" Function get_name() { echo "John" } echo "You are $(get_name)" myfunc() { echo "hello $1" } # Same as above (alternate syntax) function myfunc() { echo "hello $1" } myfunc "John" If else if [[ -z ${APP_ENV} ]]; then echo "The APP_ENV should be set to prod or staging, got: $0" exit -1 fi if [[ -z "$string" ]]; then echo "String is empty" elif [[ -n "$string" ]]; then echo "String is not empty" fi Condition [[ -z STRING ]] # Empty string [[ -n STRING ]] # Not empty string [[ STRING == STRING ]] # Equal [[ STRING !https://kaichaosun.github.io/post/master_linux_os/Sun, 03 Mar 2019 00:00:00 +0000https://kaichaosun.github.io/post/master_linux_os/[TOC] Install Manjaro Linux Burn image to usb stick: Steps: Download mankato - GNOME here Check the hash and compare with the hash provided on the site: shasum ./manjaro-gnome-18.0.2-stable-x86_64.iso Burn the iso file to USB stick on Linux diskutil list sudo umount /dev/disk2s4 sudo dd if=/path/image.iso of=/dev/rdisk2s4 bs=1m On windows, use rufus with dd mode. Bios set Insert USB stick Restart pc with F2 into bios，set secure boot to be disable，F10 save and exit Press F12 select start using USB.https://kaichaosun.github.io/post/common-cli-cheatsheet/Wed, 02 Jan 2019 00:00:00 +0000https://kaichaosun.github.io/post/common-cli-cheatsheet/Curl Post JSON curl -i -d '{"id": "111111","date": "2018-04-27T00:00:00+10:00","des": "test"}]' -H "Content-Type: application/json" -X POST https://endpoint curl -i -d '{"a":"1","b":"2"}' -H "Content-Type: application/json" -X POST https://endpoint Database MySQL SHOW VARIABLES; SELECT FROM_UNIXTIME(1510289234); SELECT NOW(); SELECT UNIX_TIMESTAMP(); MongoDB mongod --dbpath ~/data/mongodb PostgreSQL pg_dump --dbname=postgresql://user:admin@127.0.0.1:5432/database-name --table=my-table --data-only --column-inserts > data.sql Zip / tar zip filename.zip file1 file2 tar -czvf name-of-archive.tar.gz /path/to/directory-or-file -c: Create an archive. -z: Compress the archive with gzip. -v: Display progress in the terminal while creating the archive, also known as “verbose” mode.https://kaichaosun.github.io/post/kubernetes-basics/Thu, 21 Jun 2018 00:00:00 +0000https://kaichaosun.github.io/post/kubernetes-basics/Background & why kubernetes Micro services Usually we build a single “monolith” application at first time. As the business grows, the app becomes “heavy” and hard to maintain: Improved cost to communicate within different teams; Long enough time to finish the CI pipeline(run the test cases, packages, deployment); Hard to scale; … So we need to make big application to be small different services depends on a few principles, that's micro services.https://kaichaosun.github.io/post/go-channel/Sat, 29 Jul 2017 00:00:00 +0000https://kaichaosun.github.io/post/go-channel/concurrency vs parallelism 并发和并行是彼此相关的两个概念，并不能完全等价。 在程序中，并发强调的是独立执行的程序的组合；并行强调的是同时执行计算任务[1]。 计算机核心的数量决定了并行计算的能力，大多数人类作为“单核”动物(老顽童小龙女除外)，可以说自己在并发某些任务，如我在听歌写代码，但是不能说这两件事在并行，参考下图：  Golang的并发模型源于Communicating Sequential Processes (CSP)，通过提供goroutine和channel来实现并发编程模式。 Goroutine Goroutine由Go运行时创建和管理，是用于调度CPU资源的“最小单元”，和OS的线程相比更轻量[2]: 内存消耗更低只需2kB初始栈空间，而线程初始要1Mb的空间； 由golang的运行时环境创建和销毁，更加廉价，不支持手动管理； 切换效率更高等。 Goroutine和线程的关系如下图所示：  我们可以轻松地创建成百上千的goroutine，而不会降低程序的执行效率。 通过goroutine可以让一个函数和其他的函数并行执行。可以在函数调用前面加上go关键字，方便地创建一个goroutine。 main函数本身也是一个goroutine[3]。 举例如下： package main import "fmt" func main() { fmt.Println("begin main goroutine") go hello() fmt.Println("end main goroutine") } func hello() { fmt.Println("begin hello goroutine") } 输出： begin main goroutine end main goroutine 上面的例子中，并不会输出begin hello goroutine，这是因为， 通过使用goroutine，我们不需要等待函数调用的返回结果，而会接着执行下面的代码。 可以在go hello()后面添加： time.Sleep(1 * time.https://kaichaosun.github.io/post/golang-docker-ci/Wed, 05 Jul 2017 00:00:00 +0000https://kaichaosun.github.io/post/golang-docker-ci/背景 Web应用长期以来是Ruby、Java、PHP等开发语言的战场。 Ruby可以实现快速原型开发，Ruby On Rails “全能”框架实现“全栈”开发，缺点有大型应用性能差、调试困难； Java 20多年的发展历程，各种第三方库、框架健全，运行效率高， 但是随着应用的功能膨胀，臃肿的get/set方法，JVM占用大量计算机资源、性能调试困难，函数式编程不友好。 PHP，TL;DR 本文实现了一个最小化web应用，以此来了解Golang web的生态，通过使用Docker隔离开发环境， 使用Posgres持久化数据，源代码请参考这里 Why Go? 性能优越 部署简单，只需要将打包好的二进制文件部署到服务器上 内置丰富的标准库，让程序员的生活变得简单美好 静态语言，类型检查 duck typing goroutine将开发人员从并发编程中解放出来 函数作为“一等公民” … Golang第三方框架选择 Web框架: Gin，性能卓越，API友好，功能完善 ORM: GORM,支持多种主流数据库方言，文档清晰 包管理工具: Glide,类似于Ruby的bundler或者NodeJS中的npm 测试工具: GoConvey,符合BDD测试风格,支持浏览器测试结果的可视化 Testify,提供丰富的断言和Mock功能 数据库migration: migrate 日志工具: Logrus,结构化日志输出，完全兼容标准库的logger Dockerize 开发环境 发布应用 base image Dockerfile如下: FROM golang:1.8 # 包管理工具 RUN curl https://glide.sh/get | sh # 代码热加载 RUN go get github.https://kaichaosun.github.io/post/callback-promise/Wed, 05 Apr 2017 00:00:00 +0000https://kaichaosun.github.io/post/callback-promise/Javacript 提供了基于回调的异步编程模式，如回调函数，Promise对象，Async Function 等。下面是我在学习过程中总结的 一些特性和使用方式。 Javascript 运行时概念 栈(Stack) 和其他语言一样, 栈保存了函数调用的层次关系, 栈中的每一块叫做一帧(frame), 最上层的那一帧, 代表了最内层的函数, 当函数返回时, 清空帧, 当调用栈中所有的帧清空(即最外层函数返回), 当前执行的代码块结束。 JS调用栈有三个特点: 单线程, 浏览器的JS引擎本身是多线程的, 但是JS的调用栈是单线程的, 一次只能执行一段代码; 同步执行, 在栈中的任务依次执行并返回, 不能在任务之间切换 非阻塞, 在线程繁忙时, 浏览器仍然可以接收事件 堆(Heap) 堆中保存了大量的对象,垃圾收集器定期清理未被引用的对象。 事件队列(event queue) 当调用某些Web APIs时,如DOM事件(如鼠标点击操作)、XMLHttpRequest, setTimeout()等, 会添加callback函数到event queue。 Event loop Event loop将event queue中按照"FIFO"的顺序将callback取出,放入栈中,callback函数返回,清空栈, 循环执行上述步骤。 MDN提供的伪代码实现如下: while(queue.waitForMessage()) { queue.processNextMessage(); } Callback Callback函数 和其他编程语言(Java, Ruby)不同,在JS中,函数也是对象(Function instanceof Object返回为true)。 函数是JS的"一等公民”,通俗的理解是,可以将函数作为参数传给另外一个函数,也可以将一个函数作为另一个函数的返回值。 function bar(cb) { setTimeout(cb,2000); } function foo() { console.https://kaichaosun.github.io/post/hexo/Wed, 04 Jan 2017 00:00:00 +0000https://kaichaosun.github.io/post/hexo/Note: 已经使用Hugo创建博客。 Hexo 是一个博客框架,支持Markdown,通过命令行可以快速部署, 有大量的主题和插件,让你的blog飞起来… 安装 Hexo sudo npm install -g hexo-cli hexo -v 创建 Github blog project 个人习惯将source和deploy分开,在github上创建一个blog项目(保存源文件)和 xxx.github.io项目(用于部署Github个人主页,xxx为用户名,具体参考Github Pages) hexo init blog cd blog npm install Run server $ hexo s More info: Server 设置博客页个人信息 我的配置文件 _config.yml # Site title: Whisperd subtitle: description: make a difference author: kaichao language: timezone: Asia/Shanghai # URL ## If your site is put in a subdirectory, set url as 'http://yoursite.com/child' and root as '/child/' url: https://kaichaosun.