最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
日常から使えるUnix系OS業務効率up技 気分転換に、普段からLinuxで作業する上で割と便利なツールだったり小技を共有します。知ってたらごめんね 一応全部MacでもLinuxでも動くはずです。 高速化系 axel , aria2c http://qiita.com/sarumonera/items/2b30999d7d41a4747d74 https://goo.gl/gsFrCT https://wiki.archlinuxjp.org/index.php/Aria2 http://qiita.com/TokyoMickey/items/cb51805a19dcee416151 こいつらは割と有名（？）かなと思います。やってることはcurlやwgetとほとんど変わらず、サーバにHTTPリクエストを送ってレスポンスを取ってくるだけなのですが、ダウンロードを高速化するためにtcpコネクシ
ここでは、ネットワーク上のサーバー及びクライアントマシンの時刻同期をとるためのプロトコルであるNTP（Network Time Protocol ）について解説していきます。PCの時刻はマザーボード上のリアルタイムクロック（RTC)によって時間が表示されていますが、この時間はあまり正確ではなく、毎日少しづつ時間が狂っていきます（電池の消耗度にもよりますが、年間約10分程度）。NTPサーバーは、タイムサーバーに接続されたラジオ・クロックや原子時計から時刻を取得し、UTC (協定世界時)に同期させることができます。PCの時刻が狂っていると、メールの送受信時刻が狂ったり、こまめにとっているログの取得時間なども狂ってくることになります。Linuxでは標準でNTPサーバーが付属しているので是非、活用して時刻同期を行いましょう。
NTPサーバーを構築してLAN内サーバーでも日本時刻を同期する。 NTPサーバーとは時刻を同期する為のもの（説明適当）。 LAN内にNTPサーバーを構築するメリットして ・LAN内の全てのサーバーで時刻を同期できる →各サーバーで外部NTPサーバーを参照する事も可能だが多少のズレが発生する可能性あるみたい ・NTPサーバーだけが外部問い合わせをする事で、外部ネットワークへのトラフィックの削減につながる 環境 手順 NTPサーバー ※refidの値がずっと「.INIT.」の場合 ※同期確認時にタイムアウトエラーが出た場合。 ※iptablesのログでNTPのポート123がDropされていた場合。 同期確認 クライアントサーバー ※「ntpq -p」実行後タイムアウトし、NTPサーバーのiptablesのログでNTPのポート123がDropされていた場合。 参考 環境 ・サーバーA ゲストOS
Amazon Linuxにおけるシステム時計とNTP | DevelopersIO
server 0.amazon.pool.ntp.org iburst server 1.amazon.pool.ntp.org iburst server 2.amazon.pool.ntp.org iburst server 3.amazon.pool.ntp.org iburst NTP POOL PROJECT これらのサーバは、NTP POOL PROJECTが提供する、タイムサーバの仮想クラスタです。ドメイン名にamazonが入っていますが、AWSが管理するタイムサーバではないことに注意が必要です。NTP POOL PROJECTは、世界中のサーバが参加する巨大なクラスタを作ることによって、数多くのクライアントから発せられる大量の時刻同期のリクエストに安定して動作するタイムサーバを提供することを目的としています。 このNTPプールを利用したい場合、通常は 0.pool.ntp.
はじめに 脆弱性対応のためのアップデート作業というものは頻繁に発生するものですが、本番運用しているシステムではサービスへの影響を最小限にしたいものです。 アップデートした後、出来ることなら必要なプロセスだけリスタートさせることで済ませたいのですが、どのプロセスをリスタートすれば良いのか、そもそもOS再起動しないと反映されないものなのか、判断が付かない場合が少なくありません。 そのような場合のため、再起動が必要なプロセスを見つけたり、OS再起動が必要かどうかアドバイスしてくれるコマンドがあります。 Redhat系 「yum-utils」パッケージに入っている「needs-restarting」コマンドを使います。 # needs-restarting -h Usage: needs-restarting: Report a list of process ids of programs th
前回、Windowsのshutdownコマンドについて触れました。 今回は、そのついでにLinuxのshutdownコマンドについて少々。 LinuxはCUIで利用されることが多いので、当該コマンドはよく知られています（というか、基本的知識です）。 しかしLinuxには、他にもrebootやhalt、poweroffコマンドといった、再起動／電源オフのためのコマンドがあります*1。 これらのコマンドについて、Linux使いに対して、どちらを使えばよいのか？と聞くと、大抵「shutdownで」という答えが返ってきます。 サーバ技術者の方は、サーバメンテ手順書なんかで、シャットダウン／再起動手順がshutdownコマンドになっているのを、よく目にされるのではないでしょうか。 人によっては、先輩技術者から「rebootやhaltは使っちゃダメ」と言われたことがあるかもしれません。 なぜshutd
github.com @udzura さんがメインとなって実装されている mruby で実装された Linux コンテナのランタイム Ruby DSL で Linux コンテナの設定を記述することが出来て、自分だけの Linux コンテナを作成することが出来る haconiwa で何が出来ると？ 利用するコンテナ要素を自由に選択出来る Ruby DSL を使ってプログラマブルに Linux コンテナを作成出来る プログラマブルになることで動的なりソース割り当てが出来る等の柔軟な運用が可能 haconiwa 導入 haconiwa は mruby-cli でビルドされたバイナリで配布されており、packagecloud にてパッケージ配布されているので、以下のようにインストールする。 # # Ubunt/xenial に導入する # $ cat /etc/lsb-release DISTRI
実務系のWebシステムを作っていると、ファイルを日本語のファイル名のままアップロードを受け付けたり、ダウンロードして保存した時に分かりやすいように日本語ファイル名でダウンロードさせたいという希望がよくある。 お気持ちはよく分かるのですが〜、これは実は結構大変な場合があるので、その辺りの事情を解説します。プログラミング言語は私は Perl を使っています。 日本語名ファイルのアップロード・ダウンロードの際に考慮すべき問題 日本語名ファイルをアップロード・そのファイル名のまま保存・ダウンロードさせる時に、開発者が考慮しておかなければならない点があります。せっかちな人と早く終わらせて帰りたい人は、末尾のまとめだけをご覧下さい。 アップロード時のファイル名 アップロード時のファイル名は、ブラウザが送信してきます。通常はファイルをアップロードさせるページ（＝送信フォーム）と同じ文字コードでファイル名
Linux デスクトップ環境 2016 - eagletmt's blogの人に影響を受けて自作PCでLinuxデスクトップを使い始めてから約1年半が経ち、僕の使う環境が一通り満足な状態になったので今どういう構成なのか書いておく。 僕はKeynoteを使う時とか会社のマシンでmacOSも割と使う都合、基本的に操作性がmacOSに近くなるようにしているので、macOSからLinuxに移行したい人の参考になるかもしれない。 *1 そもそも何故Linuxデスクトップを使っているのか 「苦労してmacOSに近づけるくらいなら最初からmacOS使えばいいじゃん」と言われそうだが、今この瞬間は大体以下の理由でLinuxデスクトップを使っている。 趣味で作ったスペックが高めの自作PCにmacOSが入れられない *2 最新のmacOSではKarabinerが使えないが、Linuxでは自作のキーリマッパーが
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
この記事は、はてなエンジニアアドベントカレンダー2016の12月19日の記事です。 developer.hatenastaff.com 昨日はid:taketo957くんの 10ms以下のレスポンスタイムを支える継続的負荷テスト - taketo957の日記 でした！ Webオペレーションエンジニアのid:masayoshiです。 2016年に入社後、基盤チームとして仮想化、ネットワーク周りを中心に見ています。 さて、この記事ではLinuxのARPの挙動とその挙動から起こった問題を紹介しようと思います。 長々と記事を読みたくない人向けに結論をまとめるとLinuxのARPはTCP通信で使われ続ける限りキャッシュが飛ばないという挙動になるので、複数のL2スイッチにまたがったセグメントや非対称ルーティングをしている場合は気をつけましょうという話が書かれています。 今回紹介する事例自体は別に新規性
2020/05/26 追記 Docker for Mac の Mutagen-based caching で Volume のパフォーマンスが劇的に改善した Mutagen単独で試してみたことがあって、すごく速くてよかったんですが、 Docker for macに統合されそうな感じになってるんですね。 これは期待。 2017/3/15 追記 先日この問題のissueに対して、 というコメントがつけられ、それに関する というプルリクが 本体にマージされたようです。 まだ詳しく見ていませんが、マウント時に同期方法オプションが指定できるようになり、そのオプションによってキャッシュするレベルを制御して同期を軽くしよう、というような感じになるようでした。 実際にリリース版で使えるのはいつなのかわかりませんが、やはり本体が早くなるのが一番いいのでちょっと期待ですね。 ========== 追記ここまで
Environment Red Hat Enterprise Linux (RHEL) 7 Red Hat Enterprise Linux (RHEL) 8 Issue How do I change the system-wide locale (or user-specific) for a local login? How do I change the locale for a ssh login? How do I prevent a ssh client's locale from affecting an ssh session? I don't see a "file.encoding" or "sun.jnu.encoding" environmental variable set at the OS level. Can these variables be set
CentOS 7のインストーラーは、従来のCentOS 6までのインストーラーと比べると、様々な変更が施されています。今回は、CentOS 7のインストール時の注意点、インストーラーの新機能についてご紹介します。 CentOS 7のインストール前段階での注意点 CentOS 7に限らず、OSをx86サーバーにインストールする場合、目的の業務に応じたハードウェアの設定を整えておく必要があります。近年、x86サーバーに搭載できるメモリやディスクの容量が急激に増加しており、これに伴い、ハードウェア側の事前準備を適切に行わないと、購入したハードウェアの機能や性能を十分に発揮できないといった事態に陥る可能性があります。特に、データベースサーバー等で、巨大なメモリ空間を利用する場合には、注意が必要です。 例えば、1TB超を越えるメモリを装備するx86サーバーでCentOS 7を利用する場合、予めBIO
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
