OpenStack最新情報セミナー(2015年4月)のメモ

セミナー名：「OpenStack最新情報セミナー『OpenStack再入門』＆『NFV/OPNFVとは何か？』」
日時：2015年4月28日(火) 昼の部 14時00分〜18時00分（受付13時30分より）
日時：2015年4月28日(火) 夜の部 18時30分〜20時30分（受付18時00分より）

http://virtualtech.jp/release/150427/

今さら聞けない人のためのDocker超入門

省略

OpenStackネットワーク入門

History of Neutron

• 2010 Nova -> L2/DHCP
• 2011 Quantum -> L3/L2/DHCP/FloatingIP/Security Group
• 2013 Neutron -> + LBasS/FWaaS/VPNaaS/DVR/L3HA

Nova Network(Flat DHCP Manager)

• Linux Bridgeを複数VLAN分用意する

• Routing NAT

Quantum

• Network Node(DHCP/外部接続/Metadata) / Compute(L2 Agent) / Controller

• DHCP / Metadata Agent

Neutron

• ML2 Plugin

  • Type Driver(GRE/VXLAN/FLAT)
  • Mechanism Driver(OpenvSwitch/LinuxBridge/Cisco)

• XaaS Agent

Neutronでユーザができること

• 仮想ネットワーク(L2)の作成
• 仮想L3ルータの作成
• ネットワークとルータの接続
• ルータと外部ネットワークの接続
• FloatingIP
• VMのポートに対してSecurityGroupを作成し適用する

Neutron環境のパケットフロー

• 図を見た方がよい

Network Namespace

command

• ip netns
• ip netns exec qrouter-*** ip link
• ip netns exec qrouter-*** netstat -nr

パケットフロー

• 図を見た方がよい

DVR(Distribute Virtual Router)

• NeutronのL3 AgentをCompute上で動作させて分散する

• パケットフローは図を見た方がよい

• Floating IP は Floating IP用のNamespaceを通る

• 現行ではSNATはNetwork NodeにあるSNAT namespaceを通る

OVS Network Node HA deployment

• VRRP (Active/Standby)のみ対応

その他

• Metadata Proxy/Agent <-> Nova Network

• DHCPのNamespaceで取ってくることも可能

SDN

• Brocade(Vyatta / VDX ..etc)

• Cisco Nexus

• Juniper Opencontrail

• IBMSDN-VE

• Midonet + Cumulus

Midonet

• Midonet Agentは全体のtopologyを見てinbound時にすぐdropする
• first packetの転送後はactionを記憶する

• first packetの遅延はそういうこと

• Provider Router / Tenant Routerなどの説明(割愛)

• BGPでの冗長の説明(割愛)

• midonetはBPDU透過

Recap

• Overlay vs Underlay
• Intelligence at Edgeの話
• Network Stackの表がわかりやすい

OpenStack+Lagopusのご紹介

• キャリアグレードの性能が必要
• 10Gbpsワイヤーレート
• Openflow 1.3.4対応(MPLS, PBB)
• 1M フロールール
• DPDK対応

• dataplaneとI/O処理 Flow処理はスレッドを分離

• lagopusのVM接続はこれからユースケースが出てくる

• VM対応においてはLagopus以外のVMのI/Oをどうするかが課題

• KVMベースのVMとして使用できるように

• Intel DPDK <-> virtoio ユーザ空間で閉じるようにした

• Unix domain socketを使って接続相手の状態検出

NFV/OPNFV概要

アーキテクチャ

• VIマネージャにOpenstack/OpenDaylight/Controllerがあたる
• 別途、VNFマネージャ、オーケストレーター

OPNFV

• NFVIとVIマネージャを構築

エンジニアとしての注目ポイント

• 資料に記載ありのため割愛

HPのOpenNFV戦略とMWCのレポート

• 資料参照

IETFの標準化動向とNFVのユースケース

• サービスプロバイダはAggredateルータで付加価値をつけたい
• お客様ごとに設定や機器が必要
• LB/FWなど

NFVで実現できそうなもの

• ファンクションの割り当てをルール化
• サービスのスケールアウト ...etc

OPNFV詳細編

活動方針

• Phase1が終わっている
• OPNFVの中にコードは持たない
• 各コンポーネント内に実装する

プロジェクトの説明

• 資料参照
• テクニカルな話はなかった

---

マスタリングTCP/IP OpenFlow編

posted with amazlet at 15.04.23

あきみち 宮永 直樹 岩田 淳
オーム社
売り上げランキング: 134,980

Amazon.co.jpで詳細を見る

OpenFlow徹底入門

posted with amazlet at 15.04.23

翔泳社 (2013-10-30)
売り上げランキング: 16,909

Amazon.co.jpで詳細を見る

Read more

ネットワークプログラマビリティ勉強会#2@六本木に参加してきた

ネットワークプログラマビリティ勉強会 2回目

ネットワークプログラマビリティ勉強会 2回目に参加した際のメモです。

• 12/16
• 19:00-19:05 はじめに
• 19:05-20:00 結局、OpenStackとは何なのか？
• 20:15-21:00 Docker入門: コンテナ型仮想化技術の仕組みと使い方

http://network-programmability.connpass.com/event/10338/

結局、OpenStackとは何なのか？ ユーザ会 中嶋氏

今回は、OpenStackって何？という入門の話です。

■自己紹介

• 日本OpenStackユーザ会長
• @IT OpenStack超入門

■日本OpenStacckユーザ会とは

日本は世界で最も活発なコミュニティの一つ

• 22団体
• 約1800名
• メーリングリスト
• ローカライズ、翻訳

■OpenStackの概要

概要

• OSSで開発されるCloudOS
• IaaSからPaaS
• Juno→Kilo
• コンポーネント紹介（図）
• 機能で分割したマイクロコード構造
• Pythonで実装

ネットワーク例

• Linux Bridge/OVSを使った場合のネットワーク例の紹介（Virtual/Physical）
• 操作イメージ（Neutron API/SDK）

■エコシステム

どんな人が何のために使っているの？

当初、RackspaceがAWSに対抗するために始めたもの

• Phase1 IaaS基盤
  
  • PublicをターゲットにしたIaaS基盤を作りたい
  • 研究開発に大規模なリソースを使いたい
• Phase2 サービス基盤
  
  • 標準化による効率化を目的として、自社サービス基盤として採用
  • 現在、最も活発に活用されている領域
• Phase3 クラウドネイティブ
  
  • フルプログラマビリティな世界

事例に関して

• 公式サイトのユーザストーリーに事例が多数あり
• Marketplaceでも登録したユーザを多数確認可能
• BMW
• BestBuyなど

ディズニーの話。

Good/Cheap/Fast→Fast/Fast/Fastへの転換。

■よくある質問

• 一般的なk草加ソフトウェアとどう違うの？
• どんなメリットがあるの？
• 非IT企業で使うメリットは？
• ミッションクリティカルなところは・・・

→回答略

■OpenStackって何なのか？

横に見るのではなく

• 個別の技術要素（コンポーネント）をそれぞれ見ても・・・

縦に見る

• 人での作業から解放する

抽象化と標準化を進めてくれる

抽象化と標準化を良しとする

• 当然、HyperVでもVMWareでもKVMでも
• 細かい機能を細かく使うのではない
• 結果、完全な自動化を実現していこう

■まとめ

• とりあえず触ってみる(BMWがそうだった)
• OpenStack Days 2015 2/3-4
• OpenStack Summit 2015/OctはTokyo

■質問

• 規模が大きく開発チームが必要なイメージがあるがどうか？
  → 規模が大きいと大変。ただし小規模からスタートして行くことが大事である。

• OpenStackを意識して開発しておくべきか
  → PublicからPrivateに持っていくのもAPIに準拠していれば簡単です。逆も簡単です。

• IaaSからPaaSまでのPaaSってどのあたりまで？HerokuだとGitとの連携などあるけど。
  → プロジェクトが増えてきている。今回紹介したのはコアコンポーネントでPaaSでいうとHeat/Sahara/Troveあたり。

• エッジオーバーレイの話はNeutronのAPIを持っているものが多いが、ネットワーク系のデファクトはNeutornになってきている？
  → NFVはOpenStackに近づいてきている。そんな印象を受けます。

• NovaとNeutronが連携してサーバ/NWのプロビジョニングはKVMだけという話を聞いたが、他の事例は？
  → HyperVは7から盛り上がっている。VMは楽天が使っている。
  → VMだとNSX使わない場合、裏で作り込みが必要と聞いたが？
  → KVMが一番実績がある

Openstackはリソースを調達するとこまで、アプリケーションの管理はDockerという流れもある。

Docker入門: コンテナ型仮想化技術の仕組みと使い方 Cisco TAC伊藤氏

Docker入門: コンテナ型仮想化技術の仕組みと使い方 from Yuichi Ito

Dockerの基礎です。

• Dockerって何？
• なぜNEがDocker？
• 基本的な使い方と応用例
• 次回あれば：Dockerとその足回りと実運用

■自己紹介

• Cisco TAC
• Docker仕事ではなく個人利用
• 最近作ったサービスとして「ゆくも」を紹介
• 「ゆくも」の裏ではDockerが動いている

■Dockerの概要

Dockerって何？

• Linuxで利用される仮想化技術です
• コンテナと呼ばれる仮想化技術を使う

コンテナ型って何？

• OSの一部のみを仮想化
• LinuxのKernelの機能でリソースを分離
• JVMとJarに近い
• 実際はnamespacesやcgroupsをまとめている

Infrastructure as a Code

• サーバのイメージがCodeとして扱われる
• Codeをコンテナとしてイメージ化
• コンテナ切り替えが容易

Dockerの強み

• OS on OSではないのでオーバーヘッドが少ない
  
  • Linpackを使った演算性能測定でNativeとパフォーマンスが近い結果が
• 「コード」でインフラの構成を管理

なぜNetwork EngineerがなぜDockerをやるか

• ネットワーク機器への接続を意識する
• Ambassadorパターン
• コンテナがネットワーク機器の内部で使われる可能性があるよね
• トラフィックジェネレータとしてのDocker

■Dockerの使い方のデモ

Dockerのコンポーネント

• Docker Client:Daemonに対して命令を与える
• Docker Daemon:コンテナを実際に動かす
• Docker Repository:イメージを保存

Dockerの状態遷移

• running
• paused
• stopped
• image
• removed

Dockerのイメージ取扱い

• docker run
• docker build
• docker commit
• docker push
• docker pull
• docker rmi
• import

Docker Demo

1. まずはdocker searchコマンドでイメージを探す

2. docker pullでイメージを取ってくる

3. docker imageで確認

4. docker run ubuntu:14.04 echo “hello docker”で応答を確認

5. docker run ubuntu:14.04 cat /etc/issue でOSも確認

6. docker run ubuntu:14.04 cat uname -a とするとカーネルは同じに見える

7. docker run -t -i ubuntu:14.04 /bin/bash でシェルに入る(tty/interactive)

8. 新しいコンテナを立ち上げると別のコンテナでの操作は見えない

9. docker run -d -p 80:5000 コンテナ名 で外と中をマッピングして導通確認

10. docker ps で状態確認 -aで停止中のコンテナも表示

11. docker stop / start の紹介

12. docker commitでイメージ化（IDを指定）

13. docker pushでレポジトリへ追加する

14. docker fileからイメージを作成。Scriptファイルのようなもの。docker buildで実行。

■Dockerのネットワーク

Dockerのネットワーク構成

• docker0 Bridgeにvethが接続されている。
• vethの先にコンテナのeth0が接続
• eth0は不定のIPが割り当てられる
• 物理NICでNAPT

DockerのPort Forwarding

• 外部からのNAT越えはポートフォワードする
• docker run -p Port_X:PORT_Y

DockerでのIP不定対策

• IPではなく「Link」
• –linkを使用
• envで参照可能

3階層の例

• Nginx Python MySQL
• 階層間の接続には必ずLinkを使う
• イメージ化しましょう
• 各コンテナにサービスをすべて入れて、Nginxでドメイン振り分け

■まとめ

• 従来の仮想化と違いリソースを効率的に利用
• 環境を適度に分離する
• 不変なイメージをコンテナ化する
• 大規模環境ではKubernetesのようなオーケストレーションツールで管理する必要性が高まる
• Dockerを挟むとベンダ依存が減る
• コンテナ間の連携は苦労する。DNSによる連携の補足スライドあり（パフォーマンス面で難あり）

質問は大分聞き逃したので省略します・・・

次回はOpenDayLightの話を予定しています

その他のセミナー参加メモ

• 日本OpenStackユーザ会(Neutron deep dive)に参加してきた

  • http://komeiy.hatenablog.com/entry/2014/12/02/224940

• OpenStack最新情報セミナー＠渋谷に参加してきた

  • http://komeiy.blogspot.jp/2014/12/openstack.html

---

紹介がありましたがOpenStackは日本語の参考書も出ています。勉強しておいた方が良いと思います

オープンソース・クラウド基盤 OpenStack入門 構築・利用方法から内部構造の理解まで

posted with amazlet at 15.02.04

中井悦司 中島倫明
KADOKAWA/アスキー・メディアワークス
売り上げランキング: 33,738

Amazon.co.jpで詳細を見る

OpenStackクラウドインテグレーション オープンソースクラウドによるサービス構築入門

posted with amazlet at 15.02.04

日本OpenStackユーザ会
翔泳社
売り上げランキング: 2,697

Amazon.co.jpで詳細を見る

Read more

OpenStack最新情報セミナー＠渋谷に参加してきた

2014/12/04＠日本仮想化技術のOpenstack最新情報セミナーに参加しました。Ustreamでの参加だったので少し途切れている部分があるかもしれません。

openstack管理者入門-Midokura宮原氏

宣伝

Openstackディストリビューションの違いを徹底検証
http://thinkit.co.jp/story/2014/10/28/5310

本題

• 環境設定したけどその先はまだという方向け
• Openstackのユーザ権限
• マルチテナント前提
• admin, demoが用意される
• ロールの定義はpolicy.jsonを触る

Openstack ユーザの追加

操作方法 デモ

• 事前にプロジェクトの追加をしておく。ユーザ作成時に＋ボタンから追加することも可能
  管理タブ→認証パネル→ユーザ→ユーザの作成
  ユーザ/パスワード/主プロジェクト
• GUIもCLIもほぼ一緒。APIをどこから叩くか。
  ほんと一握りがCLIのみ

新しいユーザでログイン。最初にログインすると。

• パブリックなイメージが存在
• ネットワークトポロジーはext-netのみ存在
• ネットワーク、ルータは何も設定されていない

テナントのリソース制限

• adminユーザで設定可能
• 管理→プロジェクト→クォータの変更
• デフォルトのセキュリティグループは何も設定されていない

Openstack ネットワーク作成

インスタンス(DHCP) – demo-net-subet(10.5.5.0/24) – demo router – ext-net-subnet(10.0.0.0/24) – client
※demo routerがFloating IPへの変換を行う。実際はNetwork Nodeのiptablesで実現
ネットワーク作成デモ

• ネットワーク名
• サブネット名
  
  • ネットワークアドレス
  • ゲートウェイ
  • DNS(サブネットの詳細タブ)※見落としがち

※ゲートウェイを省略すると.1が採用される
外部ネットワークとの接続

• ゲートウェイの設定→ext-netを選択

内部ネットワークとの接続

• ルータ名をクリックしインタフェースを追加

各種公式OSイメージのダウンロード
- http://docs.openstack.org/ja/image-guide/content/
※独自OSイメージを作成した場合はcloud-initの導入をおすすめ。というよりスタンダード。

• イメージからボリュームを作成し、そのボリュームから起動することも可能LVMでやっている。iscsi。

鍵の登録

• アクセスとセキュリティ→キーペア
• 公開鍵をペースト

Compute Nodeの追加

• 仮想マシンインスタンスの起動はスケジューラーが自動的に空きCompute Nodeを選択
• ノードを指定できるスケジューラもある
• /etc/nova/nova.confを設定（my_ip, vncserver_proxyclient_address）
• /etc/neutron/plugins/openvswitch/ovs_neutron_plugin.ini
• Compute Nodeの削除はNovaコマンドから実施

Openstackの監視監視

• 各コンポーネント毎にポート監視、プロセス監視を行う。
• swift、neutronをはじめ1つのコンポーネントが多数のプロセスで動いているので逐一監視をする
• コマンドのマニュアルを読もう
• Open vSwitch以外のSDNとの連携
• Juno版手順書絶賛改訂中

OpenStack運用管理最前線 ミラクル・リナックス 林氏

宣伝

Hatohol + OpenStack

本題

議題
Openstack Summit Parisで聴講運用管理３つの事例
　１．大量のVMの一斉起動の高速化（CERN）
　２．Ceilometerを使った不適切行為の検出（Cisco、Kent Unlv）
　３．大規模環境の監視における大量アラートの対策（RackSpace）
- Openstack Summit Parisでの発表のフィードバック
運用管理っていうと何？

• 監視
• 障害対応
• パフォーマンス
• HA
• DR

１．大量のVMの一斉起動の高速化（CERN）

1秒間に40テラのデータが生成される環境。パラレルで計算するために1000台くらいのサーバを用意
課題

• 起動時間がVMの同時起動と正比例に増加
• 当初、1200VMで4時間かかってしまった
• スケジューラとGlanceがボトルネック
  　- スケジューラがNOVAへリクエストを送る
  　- リクエストを受け取ったNOVAはGlanceを参照し仮想ディスクを取得
• 解析ソフトウェアのVMイメージの更新が頻繁でキャッシュの効率が悪い

対策

• VMイメージをNovaのキャッシュに事前配布
• Glace –> Apache + Squid –> Nova

Squidに入れば再配布される、他にも圧縮している
gzip-6が速度と圧縮率のバランスが良い

２．Ceilometerを使った不適切行為の検出（Cisco、Kent Unlv）

Ceilometer + データマイニングでリアルタイムで検出
学習段階

• 適切な使用時のホスト情報
  
  • ベンチマーク(HBench)
  • 高負荷状態（CPU）
  • アイドル状態
• 不適切な使用時のホスト情報
  
  • DDOS
  • 仮想通貨のマイニングツール

分類

• OSSのデータマイニングツール「Orange」を使用
• アルゴリズムで最適解を求めて検出

３．大規模環境の監視における大量アラートの対策（RackSpace）

（監視による）対策

• 障害発生後、素早く原因を特定
  
  • 相関と抑制(Alertの相関関係マッピングを作成)
  • Apacheが落ちたらHorizon AuthやHorizon Contentも落ちるよね
    　
• リソース枯渇の事前防止
  
  • 増加率を計測して時期を予測

Hatohol + OpenStack

様々なOSSと連携してくれる統合監視

統合監視

• ZabbixやNagiosなどとCeilometerを併用する
• 管理画面を統合

インシデント管理

• redmine

問題切り分け

• zabbix
• fluentd

その他

• OpenStack Days 2015に出展・デモ
• OpenStack監視用のZabbixテンプレートを公開
• Zabbix/Hatoholも含めた構築手順書

Openstack Neurtonの機能概要 Juniper中嶋氏

コンポーネントの説明（略）

Neutronの実現するネットワークとは

• マルチテナントネットワーク
• API経由の制御
• ネットワーク抽象化
• ベンダー固有のコンフィグ排除

Neutronの基本的なモデル

• 図による説明のため割愛

Neutronの実装

• L2ネットワーク
• L3ネットワーク
• DHCPサーバ
• メタデータ（メタデータサーバのProxy）

コンポーネント

• API Client
• Neutron Server
  
  • neutron api
  • neutorn plugin
  • neutron api extentions
  • db
• Nova Compute

ML2Plugin

• 複数のプラグインの機能を同時利用可能
• Type Driver
  　ネットワークの方式を決定（Flat,VLAN,GRE,VXLAN）
• Mechanism Driver
  　- Open vSwich
  　- Linux Bridge
  　- L2 Population
  　- Vender(Ciscoとか)

各コンポーネントの実装

• Network node
  
  • neutron openvswitch agent
  • l3Agent
  • dhcp agent
  • metadata-agent
• Compute Node
  
  • Nova compute
  • neutron openvswitch agent
• Controller Node
  
  • neutron-server

qrouterはNamespaceで作られているよ

• ip netns
• ip netns exec qrouter-XXXX ip addr
• dhcpやSNATも同じように確認できる

icehouce以前のまとめ

• ペースメーカーで冗長化が手間問題
• トラフィック集中問題
• dnsmsqプロセス集中問題

L3HA

• NetworkノードをVRRPで冗長化
• keepalived
• 実MAC使用
• GARPで切り替え

DVR

• DirectにCompute Nodeがルーティングする
• br-extとqrouterが各Compute Nodeにできる
• Holizon上のパッと見は変わらない。マウスオーバーすると。
• dhcpは変わらない

バグ？

• fipのnamespaceはあるが、qrouterに飛んでいっている。
• 使う時はfipのnamespaceを確認してみる。qrouterのiptablesを確認

Ml2-Plugin IPv6

• サポートするようになった
• 仮想マシンへのアドレス割当方法
  　- SLAAC
  　- DHCPv6 Stateful
  　- DHCPv6 Stateless
  ※動かない時があるのでバグFix待ったほうがいいかも
  　
  プロセス大量問題とNameSpace大量問題が残る

OpenContrail

• やれることはML2と同様
• Service Chainingが付加価値
• ゲートウェイルータとの動的連携
• アナリティクス機能

BGPベースのVPN

Network Node→OpenContrail Controller

• Configuration Node
• Analytics Node
• Control Node

Compute Node

• Nova compute
• vRouter Agent

その他

• dhcpはvRouter Agent
• snatはSNATのname spaceを使用
• snatはAct-StbなのでNodeまたぐ通信が発生する

サービスチェイニング

• 仮想ネットワークとルートターゲット

アナリティクス機能

• 仮想マシン/仮想ネットワーク単位
• フローの収集
• syslog

まとめ

• プロセス大量問題とNameSpace大量問題を解決
• オープンソース
• ヨーロッパのtcp cloudで事例あり

OpenStack Fast Track 若葉マークStackerのStacker教習所 サイバーエージェント長谷川氏、田上氏

• Openstackを組んだことがある人 会場は8割くらい？

スペック

• Compute Node
• E5-2470v220Core / 16GB / 480GB SSD *4 / Intel X540 *1
• 1020C/2040T 8TB Memory

設計

• 公式のInstall Documentationに従って作れば一応動く
• できるだけ従った方がよい

公式から変更した点

• コントロールプレーンを冗長
• データプレーンを冗長しない（で済むようにする）
• データプレーンをソフトウェアで冗長するのは非常に大変
• 冗長化されたL2スイッチ・L3スイッチ・アプライアンスLB

必要な周辺機能

• ベアメタルプロビジョニング
• パッケージレポジトリ
• DNS
• syslog

パッケージレポジトリはローカルに持った方がよい。インターネット負荷の観点。
アンダークラウド

• Openstackのコントロールプレーン
• 共有ストレージ無しでライブマイグレーション

Computeまわり

• KVM、Open vSwitch
• オーバーコミットしない。パフォーマンスのリクエストを考慮した。

フレーバー

• CPUが2倍ならメモリも2倍でディスクも2倍。余りが無いように。

ネットワーク

• L3 Agentは使わない
• Neurtonの標準機能のみ
• VLAN Type Driver
• Metadata Agentが使えないため、自前で169.254.169.254を対処

ストレージ

• ブロックストレージはなし
• インスタンスストアはSSDのRAID5
• Gralceの冗長化のためにSwiftが必要なため準備した

MariaDB

• MariaDB ClusterはVIPで冗長
• 常に1台だけ使う設計にした方がベター
• 複数のDBにかかれるとロールバックが頻発しログが大変なことに
• Openstack側にtimeout設定は入れておいた方がよい

RabbitMQ

• 公式のHighAvailavilityGuideをみよ

Openstackコンポーネント

• VIPで
• glance-apiはデフォルトはfileになってしまうのでバックエンドSwiftにした
• nova-consoleauthはmemcachedを指定しておこう
• neutron-dhcp-agentは3つ起動

構築

• 汎用ツールで作りましょう

構成管理

• SCMにコミット
• 複数環境に対応
• 冪等
• 完全自動化

運用

• jenkins
  
  • ビルドトリガの観点
  • ローカルのマシンからAnsible流していると・・・
  • ロギングの観点
  • ワークフロー作成
    　
    初期設定はShelscriptで別に実施

Q＆A

• VLAN4096についてどんな考え？
  　　-> VLAN設計から4096まで必要なかった
• VLANを使うとL3Agentを使わない理由は？
  　　-> 物理の世界が機能を持っているから
  　　
• 外部と内部のIPマッピングは？
  　　-> グローバルとプライベートは外部でNAT。楽。
  　　-> テナントが好きにできる構成ではない
  　　
• Novaネットワーク/Linux Bridgeの選択は？
  　　-> Novaネットワークの寿命を考慮。Linux Bridgeでも良かったといえば良かったが、管理面ではOVSで正解と感じている
  　　-> VLANでやる限りはOVSでも問題にはなっていない。
  　　
• Memorryが10枚なのはなぜ？4チャネル単位は？
  　　-> コスト的な判断。メモリ使い回ししたいので16GBのみで検討
  　　-> パブリックとのコスト比較を考えると、コストは重要と判断
  　　
• これからは？
  　　-> ネットワークのテナント隔離、ストレージはブロックストレージをソフトウェアで

NTTドコモ様 検証事例：OpenStack Summit 2014 Paris 講演「Design and Operation of OpenStack Cloud on 100 Physical Servers (NTT DOCOMO)」

課題

• 高可用性
• Neutronの組み方

環境

• トータル3200vCPU / 12.8TB Memorry

ネットワーク冗長

• Nova Computeから外に出ていく部分をどうするか
• Multi-Chassis LAG＋Bonding / ECMP(quagga)
• ECMPが意外と楽だったが、パフォーマンスに難あり

VXLAN

• OVSでVXLANは500VM to 500VMで10Gbpsくらいしか出なかった
• mellanoxを使用した
• MTU9000にするとでも1.5～1.6倍は効果があった
• オフロードは1.3～5.5倍

HA

• LBベース
• 冗長化とってるが1台しかサービスしていない（Act-stbの4台構成）
• MySQLの競合が起きるのでそれを避けるため
• SSD使ってない場合切り替わりに大幅な差が出た
• L3Agentは冗長できないため、マイグレーションできるようにした
• 仮想ルータの復旧は10秒程度

その他

• デフォルトのセキュリティグループは削除する
• 全Nodeのiptablesの書き換えが発生する

---

openstackは日本語の参考書も出ています。勉強しておいた方が良いと思います

オープンソース・クラウド基盤 OpenStack入門 構築・利用方法から内部構造の理解まで

posted with amazlet at 14.12.13

中井悦司 中島倫明
KADOKAWA/アスキー・メディアワークス
売り上げランキング: 18,659

Amazon.co.jpで詳細を見る

OpenStackクラウドインテグレーション オープンソースクラウドによるサービス構築入門

posted with amazlet at 14.12.13

日本OpenStackユーザ会
翔泳社
売り上げランキング: 16,976

Amazon.co.jpで詳細を見る

Read more